발표자 | 나철원 |
---|---|
발표일자 | 2021-04-07 |
저자 | Linyang Li, Routian Ma, Qipeng Guo, Xiangyang Xue, Xipeng Qiu |
학회명 | EMNLP 2020 |
논문지 |
BERT-ATTACK: Adversarial Attack Against BERT Using BERT
댓글 16
-
신효정
2021.04.07 19:42
-
조영성
2021.04.07 19:50
저 sample을 추가적으로 학습한다면 original acc가 어떻게 변할지 궁금하네요 -
이지형
2021.04.07 19:52
그것이 adversarial training 방식이므로, 아마 오리지날 데이터에 대한 성능을 떨어지겠지만, 공격방어율은 올라 갈 것 같군요. -
이지형
2021.04.07 19:50
자연어 처리 모델에 대한 attack 기법이 최근에 막 시작된 분야로, 우리가 기여할 수 있는 부분이 많을 것으로 판단됨. 기존 공격 방법의 정리해 보면 기존의 방법대비 더 새로운 공격 기법을 제안하는 것이 가능할 것으로 생각됨. 더우기 최근 공격기법은 제안되고 있으나 방어기법은 발표되고 있지 않아서 이것에 대해서 관심을 갖는 것도 중요함. -
임지영
2021.04.07 20:01
자연어 처리에서 attack에 대한 흥미로운 발표 잘 들었습니다. task도 굉장히 흥미로운 내용으로 보입니다.
실험 결과에서 적게 변경해서 attack이 성공한 부분이 있었는데 그 비율을 계산한 것이 단어에 대한 레벨로 계산한 것인지 아니면 단어 레벨인지 궁금합니다. 그 전 연구들은 한글자만 바꾸는 부분이고 이 논문은 단어 자체를 바꾸는건데 그 비율을 기준으로 보자면 기존의 연구들이 더 좋은 방법이 아니였나 싶어서요( 물론 단어를 변경하는 것이 더 자연스러운 방법이라고 생각은 듭니다) 중요한 기준인가 싶어져서 질문 드립니다. -
김누리
2021.04.07 20:07
28페이지의 IMDB 예제와 같이 story가 plot으로 변했을 뿐인데, Negative가 Positive로 변한다는 것은 현재 자연어 분류 모델에서 Sentiment에 대하여 각 word가 지나치게 over-fitting되고 있다고 생각해도 될까요? 잘 학습된 Language Model에서 story와 plot의 embedding이 크게 차이가 나지 않을 것 같기 때문에 위와 같은 생각이 듭니다. 위와 같은 결과가 나온다는 것이 자연어 분류 모델에 대한 생각 및 개선 해 볼 부분이 있는 것 같습니다. -
김호승
2021.04.07 20:10
좋은 내용 감사히 잘 들었습니다.
교수님께서 잠깐 언급하신 단어 여러개를 바꾸는 것과 관련해서,
사람이 인식가능하다는 가정하(동의어 이용) 여러 개를 바꾼다면 attack이 더 잘 되지 않을까 생각하였습니다. -
이지형
2021.04.07 20:22
그럴 수 있겠군요.. -
jinsuby
2021.04.07 20:22
저번에 발표해주셨던 BAE와 같은 부류의 논문으로, NLP에서 Adversarial Attack 현상을 말하고 있는 논문이었습니다.
어떤 token을 attack해야 하는지에 대한 알고리즘에서 차별성이 있었고, 조금더 미세한 control을 하는 듯 했습니다.
재미있는 주제의 발표 감사합니다. -
김사무엘
2021.04.07 22:21
논문 (https://arxiv.org/abs/2004.09984) 3.1의 두번째 문단에서 보면 "... oy(S) denote the logit output by the target model for correct label y ..." 라고 되어있는걸 보니, 제안 방법 첫 부분에 바꿀 단어를 선택할 때는 Original문장과 단어 한개를 Masking한 문장을 Target Model에 넣어서 나온 Logit을 활용하여 선택하는게 맞는거 같습니다. 문장을 representation 하는 USE는 실험에서 similarity 계산 시에만 쓰이는거 같습니다. -
노순철
2021.04.08 18:05
자연어에서 Adversarial example을 생성하는 여러 방법들이 제시되고 있는 것이 아주 재미있습니다. 자연어에 익숙하지 않은 저로서는 지난 세미나에서 김사무엘님이 발표해주신 논문에서 Negative example을 생성하는 방법이 다시금 떠오릅니다. semantic적으로는 유사하지만 representation은 다른 곳에 찍히는 문장을 만들어서 모델을 혼란스럽게 만든다고 생각할 수도 있을까요? 좋은 발표 감사드립니다. -
박은미
2021.04.09 01:11
자연어 처리에서도 Adversarial example 이 논의될 수 있다는 Task자체가 흥미로웠습니다. 소개해 주셔서 감사합니다. -
신재민
2021.04.20 16:42
자연어 처리 관련 정리를 매번 잘 설명해 주셔서 잘 듣고 있습니다. 이 건은 데이터 분해 후 재조합 하는 것 같은데 나름 인상적이었습니다. 고맙습니다. -
강석규
2021.08.20 12:18
새로운 task를 제안하는 것에 대한 중요성을 다시금 깨닫고 있습니다. -
강용훈
2021.08.20 13:26
지난번 발표하셨던 BAE랑 비슷한 논문 같습니다. Task 가 상당히 흥미로웠습니다. 발표 감사합니다. -
홍만수
2021.11.08 15:17
마지막 예시에서 story와 plot의 변화는 내용적으로 차이가 없다시피 할텐데, 레이블을 바꾸는 것을 보면, 언젠가 단어를 넘어 문장, 문단 전체의 의미적 해석을 파악하고 적용하는 단계로 서서히 나아가야할 것 같습니다.
2022
FedBABU: Toward Enhanced Representation for Federated Image Classification
2022.03.04
발표자: 홍만수
발표일자: 2022-03-04
저자: Jaehoon Oh, Sangmook Kim, Se-Young Yun
학회명: ICLR 2022
Deep Learning for Symbolic Mathematics
2022.02.22
발표자: 고설준
발표일자: 2022-02-22
저자: Guillaume Lample, François Charton
학회명: ICLR2020
Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples
2022.02.22
발표자: 김유성
발표일자: 2022-02-22
저자: Mahmoud Assran et al.
학회명: ICCV 2021
Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering
2022.02.22
발표자: 김누리
발표일자: 2022-02-22
저자: Lerner, Boaz, Guy Shiran, and Daphna Weinshall
학회명: arXiv preprint arXiv:2012.00504 (2020)
Universal Domain Adaptation through Self-Supervision
2022.02.22
발표자: 이진섭
발표일자: 2022-02-22
저자: Kuniaki Saito , Donghyun Kim, Stan Sclaroff, Kate Saenko
학회명: NIPS 2020
GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism
2022.02.22
발표자: 조영성
발표일자: 2022-02-22
저자: Yanping Huang, Youlong Cheng, Ankur Bapna, Orhan Firat, Mia Xu Chen, Dehao Chen, HyoukJoong Lee, Jiquan Ngiam, Quoc V. Le, Yonghui Wu, Zhifeng Chen
논문지: https://arxiv.org/abs/1811.06965
Dual Attention Transfer in Session-based Recommendation with Multi-dimensional Integration
2022.02.15
발표자: 양희윤
발표일자: 2022-02-15
저자: Chen Chen, Jie Guo, Bin Song
학회명: ACM SIGIR 2021
Contrastive Code Representation Learning
2022.02.15
발표자: 최윤석
발표일자: 2022-02-15
저자: Paras Jain, Ajay Jain, Tianjun Zhang, Pieter Abbeel, Joseph E. Gonzalez, Ion Stoica
학회명: EMNLP 2021
Do transformers really perform bad for graph representation?
2022.02.15
발표자: 김가형
발표일자: 2022-02-15
저자: Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Shen, Tie-Yan Liu
학회명: NeurIPS 2021
AUM: Identifying Mislabeled Data using the Area Under the Margin Ranking
2022.01.16
발표자: 강석규
발표일자: 2022-01-18
저자: Geoff Pleiss, Tianyi Zhang, Ethan R. Elenberg, Kilian Q. Weinberger
학회명: NIPS2022
Collaborative Unsupervised Visual Representation Learning from Decentralized Data
2022.01.18
발표자: 강용훈
발표일자: 2022-01-18
저자: Weiming Zhuang, Xin Gan , Yonggang Wen , Shuai Zhang , Shuai Yi
학회명: ICCV 2021
Can We Gain More from Orthogonality Regularizations in Training Deep CNNs?
2022.01.18
발표자: 안재한
발표일자: 2022-01-18
저자: Nitin Bansal, Xiaohan Chen, Zhangyang Wang
학회명: NeurIPS 2018
Federated Semi-supervised Learning with Inter-client Consistency & Disjoint Learning
2022.01.10
발표자: 홍만수
발표일자: 2022-01-11
저자: Wonyong Jeong, Jaehong Yoon, Eunho Yang, Sung Ju Hwang
학회명: ICLR 2021
CutPaste: Self-Supervised Learning for Anomaly Detection and Localization
2022.01.11
발표자: 박은미
발표일자: 2022-01-11
저자: Chun-Liang Li
논문지: CVPR2021
MUTUAL INFORMATION STATE INTRINSIC CONTROL
2022.01.11
발표자: 길창배
발표일자: 2022-01-11
저자: Rui Zhao, Yang Gao, Pieter Abbeel, Volker Tresp, Wei Xu
학회명: ICLR 2021
Asynchronous Methods for Deep Reinforcement Learning (A3C)
2022.01.11
발표자: 채경훈
발표일자: 2022-01-11
저자: Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Tim Harley, Timothy P. Lillicrap, David Silver, Koray Kavukcuoglu
학회명: ICML-2016
2021
Directional Graph Networks
2021.12.28
발표자: 신재민
발표일자: 2022-01-04
저자: Dominique Beaini, Saro Passaro
학회명: ICML 2021
Anomaly detection in multidimensional time series - a graph-based approach
2021.12.28
발표자: 신효정
발표일자: 2022-01-04
저자: Marcus Erz, Jeremy Floyd Kielman, Bahar Selvi Uzun and Gabriele Stefanie Gühring
논문지: Journal of Physics: Complexity 2021
GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation
2022.01.04
발표자: 윤수현
발표일자: 2022-01-04
저자: Weixuan Sun, Jing Zhang, Zheyuan Liu, Yiran Zhong, Nick Barnes
학회명: arXiv 2021
SimCSE: Simple Contrastive Learning of Sentence Embeddings
2021.12.20
발표자: 김호승
발표일자: 2021-12-21
저자: Tianyu Gao, Xingcheng Yao, Danqi Chen
학회명: EMNLP2021
BERT를 통해 만들어낸 c들은 사람이 해석이 가능한 단어였던 건지 궁금합니다. 추출된 sub-word를 단순히 이어붙여 단어로 만들었다면 문법적으로 맞는 단어가 안나올 수도 있겠다는 생각이 들어서요.
실험의 결과를 보니 변경한 단어들이 다 문법적으로 맞는 단어들만 있네요.
sub-word가 1개였기 때문이었을까요? 만약 sub-word가 여러개 였다면 어떤 결과가 나왔을지 궁금하네요.