| 발표자 | 최윤석 |
|---|---|
| 발표일자 | 2021-05-13 |
| 저자 | Hongqiu Wu, Hai Zhao, Min Zhang |
| 학회명 | |
| 논문지 |
SIT3 : Code Summarization with Structure-Induced Transformer
arXiv 2021
댓글 11
-
이지형
2021.05.13 18:13
나름 새로운 아이디어가 있다고 할 수는 있으나.. 어떤 breakthrough가 있다고 하기는 어려운.. 이 분야에는 아직도 목마름이 있음. 어떤 breakthrough가 가능할까?? -
김호승
2021.05.13 18:13
요즘 graph 관련 발표가 많아서 많은 관심이 가는데, adjacent matrix attention score 를 계산하는 과정에 multi-graph를 이용한 것이 흥미로웠습니다.
좋은 발표 내용 감사합니다. -
jinsuby
2021.05.13 18:14
Text의 Structure의 정보를 잘 반영하기 위한 Self-Attention 방법을 제안하여 Code Summarization Task에서 좋은 성능을 갖도록 했습니다.
재미있는 발표 잘 들었습니다. 감사합니다. -
김가형
2021.05.13 18:15
Structured-induced self attention representation에 대해 알 수 있어서 좋았습니다. 그냥 GAT를 사용하는 것과 어떤 차이점이 있는지 궁금합니다. 감사합니다. -
최윤석
2021.05.13 18:33
저도 Graph Attention Network와 Structure-Induced Self Attention가 똑같다고 생각을 하는데요.
기존의 Graph Attention Network는 Graph를 Flatten하게 바꾸지 않고 Graph의 Structure한 구조를 그대로 유지하면서 Attention을 계산하는 것이고,
여기서 말하는 Structure-Induced Self-Attention은 Structure 정보를 Adjancy Matrix로 정보를 갖고 Structure를 Flatten하여 Sequence로 보고 Attention을 계산하기 때문에,
Flatten을 해서 Sequential 한 정보를 갖고 있냐, 아니냐의 차이 인듯합니다. -
김가형
2021.05.13 18:42
아! 그렇군요. 이제 차이점이 이해가 되었습니다. 답변 감사합니다. -
김누리
2021.05.13 18:29
Structure-Induced Transformer를 통해 structure 정보를 학습하고자 하는 방법이 재미있었습니다. 다만, 구조적 정보를 잘(?) 반영했다고 하기에는 부족해 보입니다. 고민해 봐야 할 부분이 많이 있는 것 같습니다. -
나철원
2021.05.13 18:37
structure 정보를 학습하는 새로운 self-attention 구조를 소개해 주셔서 감사합니다. 인접행렬을 활용하여 연결된 것들만 계산한다는 방법으로 기존 self-attention 의 한계점인 qaudratic 한 복잡도 문제를 잘 해결한 것 같습니다. -
강석규
2021.05.13 18:58
graph attention 부분은 흥미로웠습니다. 하지만 연구들이 비슷하고 얼마나 더 잘 최적화를 하는가에 집중되는 것 같아, 좀 더 구조적 변화를 통한 성능향상을 기대합니다. -
신재민
2021.05.13 20:21
Attention을 Global/Local 구분해서 단계적으로 사용한 부분이 흥미로웠습니다. 서로 동작 방법이 다를 것 같은데, 단순히 기능을 사용하는 것인지 구체적인 동작 차이에 대한 설명이 있는지 확인 부탁 드립니다. -
김사무엘
2021.05.14 02:08
구조적 정보를 잘 반영하고자 하는 여러 시도들이 있는데 만족할만한 성능 향상이 없는듯합니다. 어떤 근본적인 문제가 있는건지도 궁금합니다.
2021
STRUCTURED PREDICTION AS TRANSLATION BETWEEN AUGMENTED NATURAL LANGUAGES
2021.08.04
발표자: 김호승
발표일자: 2021-08-04
저자: Giovanni Paolini, Ben Athiwaratkun, Jason Krone, Jie Ma, Alessandro Achille, RISHITA ANUBHAI, Cicero Nogueira dos Santos, Bing Xiang, Stefano Soatto, Amazon Web Services
학회명: ICLR2021
Improved Representation Learning for Session-based Recommendation
2021.08.04
발표자: 양희윤
발표일자: 2021-08-04
저자: Sai Mitheran, Abhinav Java, Surya Kant Sahu, Arshad Shaikh
학회명: arXiv 2021
USAD: UnSupervised Anomaly Detection on Multivariate Time Series
2021.08.04
발표자: 신효정
발표일자: 2021-08-04
저자: Julien Audibert , Pietro Michiardi, Frédéric Guyard, Sébastien Marti, Maria A Zuluaga
학회명: KDD '20
Retrieval-Augmented Generation for Code Summarization Via Hybrid GNN
2021.08.04
발표자: 최윤석
발표일자: 2021-08-04
저자: Shangqing Liu, Yu Chen, Xiaofei Xie, Jingkai Siow, Yang Liu
학회명: ICLR 2021
Alleviating Cold Start Problems in Recommendation through pseudo labelling over knowledge graph
2021.08.04
발표자: 김가형
발표일자: 2021-08-04
저자: Riku Togashi, Mayu Otani, Shin'ichi Satoh
학회명: WSDM 2021
Unified Pre-training for Program Understanding and Generation (PLBART)
2021.08.04
발표자: 김사무엘
발표일자: 2021-08-04
저자: Wasi Uddin Ahmad, Saikat Chakraborty, Baishakhi Ray, Kai-Wei Chang
학회명: NAACL 2021
about confidence calibration
2021.07.29
발표자: 강석규
발표일자: 2021-07-29
저자: Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger
학회명: ICLR2017
Data-Free Knowledge Distillation for Heterogeneous Federated Learning
2021.07.29
발표자: 임지영
발표일자: 2021-07-29
저자: Zhuangdi Zhu
학회명: ICML 2021
CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances
2021.07.29
발표자: 강용훈
발표일자: 2021-07-29
저자: JiHoon Tack, Sangwoo Mo, Jongheon Jeong, Jinwoo Shin
학회명: NIPS 2020
Bayesian Deep Learning and a Probabilistic Perspective of Generalization
2021.07.21
발표자: 박은미
발표일자: 2021-07-21
저자: Adrew Golden wilson
학회명: NeurIPS_2020
CondenseNet V2: Sparse Feature Reactivation for Deep Networks
2021.07.21
발표자: 홍만수
발표일자: 2021-07-21
저자: Le Yang, Haojun Jiang, Ruojin Cai, Yulin Wang, Shiji Song, Gao Huang, Qi Tain
학회명: CVPR 2021
SSD : A Unified Framework for Self-Supervised Outlier Detection
2021.07.21
발표자: 노순철
발표일자: 2021-07-21
저자: Vikash Sehwag, Mung Chiang, Prateek Mittal
학회명: ICLR2021
Focal Self-attention for Local-Global Interactions in Vision Transformers
2021.07.21
발표자: 윤수현
발표일자: 2021-07-21
저자: Jianwei Yang, Chunyuan Li, Pengchuan Zhang, Xiyang Dai, Bin Xiao, Lu Yuan, Jianfeng Gao
학회명: arXiv 2021
The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks
2021.07.14
발표자: 조영성
발표일자: 2021-07-14
저자: Nicholas Carlini 외
학회명: USENIX Security Symposium 2019
CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial Text Generation
2021.07.14
발표자: 나철원
발표일자: 2021-07-14
저자: Tianlu Wang , Xuezhi Wang, Yao Qin, Ben Packer, Kang Lee, Jilin Chen, Alex Beutel, Ed Chi
학회명: EMNLP 2020
NEVER GIVE UP: LEARNING DIRECTED EXPLORATION STRATEGIES
2021.07.14
발표자: 채경훈
발표일자: 2021-07-14
저자: Adrià Puigdomènech Badia∗ Pablo Sprechmann∗ Alex Vitvitskyi Daniel Guo Bilal Piot Steven Kapturowski Olivier Tieleman Martín Arjovsky Alexander Pritzel Andew Bolt Charles Blundell
학회명: ICLR
Consistency-based Semi-supervised Learning for Object Detection
2021.06.30
발표자: 김유성
발표일자: 2021-06-30
저자: Jisoo Jeong, Seungeui Lee, Jeesoo Kim, Nojun Kwak
학회명: NeurIPS 2019
FixBi : Bridging Domain Spaces for Unusupervised Domain Adaptation
2021.06.30
발표자: 이진섭
발표일자: 2021-06-30
저자: Jaemin Na , Heechul Jung , Hyung Jin Chang , and Wonjun Hwang
학회명: CVPR 2021
LEWIS: Levenshtein Editing for Unsupervised Text Style Transfer
2021.06.30
발표자: Eden
발표일자: 2021-06-30
저자: Machel Reid, Victor Zhong
학회명: ACL-IJCNLP 2021 (Findings)
MINILM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers
2021.06.30
발표자: 신재민
발표일자: 2021-06-30
저자: Wenhui Wang, Furu Wei, Li Dong, Hangbo Bao, Nan Yang, Ming Zhou
학회명: NeurIPS 2020