발표자 | 최윤석 |
---|---|
발표일자 | 2021-05-13 |
저자 | Hongqiu Wu, Hai Zhao, Min Zhang |
학회명 | |
논문지 |
SIT3 : Code Summarization with Structure-Induced Transformer
arXiv 2021
댓글 11
-
이지형
2021.05.13 18:13
나름 새로운 아이디어가 있다고 할 수는 있으나.. 어떤 breakthrough가 있다고 하기는 어려운.. 이 분야에는 아직도 목마름이 있음. 어떤 breakthrough가 가능할까?? -
김호승
2021.05.13 18:13
요즘 graph 관련 발표가 많아서 많은 관심이 가는데, adjacent matrix attention score 를 계산하는 과정에 multi-graph를 이용한 것이 흥미로웠습니다.
좋은 발표 내용 감사합니다. -
jinsuby
2021.05.13 18:14
Text의 Structure의 정보를 잘 반영하기 위한 Self-Attention 방법을 제안하여 Code Summarization Task에서 좋은 성능을 갖도록 했습니다.
재미있는 발표 잘 들었습니다. 감사합니다. -
김가형
2021.05.13 18:15
Structured-induced self attention representation에 대해 알 수 있어서 좋았습니다. 그냥 GAT를 사용하는 것과 어떤 차이점이 있는지 궁금합니다. 감사합니다. -
최윤석
2021.05.13 18:33
저도 Graph Attention Network와 Structure-Induced Self Attention가 똑같다고 생각을 하는데요.
기존의 Graph Attention Network는 Graph를 Flatten하게 바꾸지 않고 Graph의 Structure한 구조를 그대로 유지하면서 Attention을 계산하는 것이고,
여기서 말하는 Structure-Induced Self-Attention은 Structure 정보를 Adjancy Matrix로 정보를 갖고 Structure를 Flatten하여 Sequence로 보고 Attention을 계산하기 때문에,
Flatten을 해서 Sequential 한 정보를 갖고 있냐, 아니냐의 차이 인듯합니다. -
김가형
2021.05.13 18:42
아! 그렇군요. 이제 차이점이 이해가 되었습니다. 답변 감사합니다. -
김누리
2021.05.13 18:29
Structure-Induced Transformer를 통해 structure 정보를 학습하고자 하는 방법이 재미있었습니다. 다만, 구조적 정보를 잘(?) 반영했다고 하기에는 부족해 보입니다. 고민해 봐야 할 부분이 많이 있는 것 같습니다. -
나철원
2021.05.13 18:37
structure 정보를 학습하는 새로운 self-attention 구조를 소개해 주셔서 감사합니다. 인접행렬을 활용하여 연결된 것들만 계산한다는 방법으로 기존 self-attention 의 한계점인 qaudratic 한 복잡도 문제를 잘 해결한 것 같습니다. -
강석규
2021.05.13 18:58
graph attention 부분은 흥미로웠습니다. 하지만 연구들이 비슷하고 얼마나 더 잘 최적화를 하는가에 집중되는 것 같아, 좀 더 구조적 변화를 통한 성능향상을 기대합니다. -
신재민
2021.05.13 20:21
Attention을 Global/Local 구분해서 단계적으로 사용한 부분이 흥미로웠습니다. 서로 동작 방법이 다를 것 같은데, 단순히 기능을 사용하는 것인지 구체적인 동작 차이에 대한 설명이 있는지 확인 부탁 드립니다. -
김사무엘
2021.05.14 02:08
구조적 정보를 잘 반영하고자 하는 여러 시도들이 있는데 만족할만한 성능 향상이 없는듯합니다. 어떤 근본적인 문제가 있는건지도 궁금합니다.
2022
FedBABU: Toward Enhanced Representation for Federated Image Classification
2022.03.04
발표자: 홍만수
발표일자: 2022-03-04
저자: Jaehoon Oh, Sangmook Kim, Se-Young Yun
학회명: ICLR 2022
Deep Learning for Symbolic Mathematics
2022.02.22
발표자: 고설준
발표일자: 2022-02-22
저자: Guillaume Lample, François Charton
학회명: ICLR2020
Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples
2022.02.22
발표자: 김유성
발표일자: 2022-02-22
저자: Mahmoud Assran et al.
학회명: ICCV 2021
Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering
2022.02.22
발표자: 김누리
발표일자: 2022-02-22
저자: Lerner, Boaz, Guy Shiran, and Daphna Weinshall
학회명: arXiv preprint arXiv:2012.00504 (2020)
Universal Domain Adaptation through Self-Supervision
2022.02.22
발표자: 이진섭
발표일자: 2022-02-22
저자: Kuniaki Saito , Donghyun Kim, Stan Sclaroff, Kate Saenko
학회명: NIPS 2020
GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism
2022.02.22
발표자: 조영성
발표일자: 2022-02-22
저자: Yanping Huang, Youlong Cheng, Ankur Bapna, Orhan Firat, Mia Xu Chen, Dehao Chen, HyoukJoong Lee, Jiquan Ngiam, Quoc V. Le, Yonghui Wu, Zhifeng Chen
논문지: https://arxiv.org/abs/1811.06965
Dual Attention Transfer in Session-based Recommendation with Multi-dimensional Integration
2022.02.15
발표자: 양희윤
발표일자: 2022-02-15
저자: Chen Chen, Jie Guo, Bin Song
학회명: ACM SIGIR 2021
Contrastive Code Representation Learning
2022.02.15
발표자: 최윤석
발표일자: 2022-02-15
저자: Paras Jain, Ajay Jain, Tianjun Zhang, Pieter Abbeel, Joseph E. Gonzalez, Ion Stoica
학회명: EMNLP 2021
Do transformers really perform bad for graph representation?
2022.02.15
발표자: 김가형
발표일자: 2022-02-15
저자: Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Shen, Tie-Yan Liu
학회명: NeurIPS 2021
AUM: Identifying Mislabeled Data using the Area Under the Margin Ranking
2022.01.16
발표자: 강석규
발표일자: 2022-01-18
저자: Geoff Pleiss, Tianyi Zhang, Ethan R. Elenberg, Kilian Q. Weinberger
학회명: NIPS2022
Collaborative Unsupervised Visual Representation Learning from Decentralized Data
2022.01.18
발표자: 강용훈
발표일자: 2022-01-18
저자: Weiming Zhuang, Xin Gan , Yonggang Wen , Shuai Zhang , Shuai Yi
학회명: ICCV 2021
Can We Gain More from Orthogonality Regularizations in Training Deep CNNs?
2022.01.18
발표자: 안재한
발표일자: 2022-01-18
저자: Nitin Bansal, Xiaohan Chen, Zhangyang Wang
학회명: NeurIPS 2018
Federated Semi-supervised Learning with Inter-client Consistency & Disjoint Learning
2022.01.10
발표자: 홍만수
발표일자: 2022-01-11
저자: Wonyong Jeong, Jaehong Yoon, Eunho Yang, Sung Ju Hwang
학회명: ICLR 2021
CutPaste: Self-Supervised Learning for Anomaly Detection and Localization
2022.01.11
발표자: 박은미
발표일자: 2022-01-11
저자: Chun-Liang Li
논문지: CVPR2021
MUTUAL INFORMATION STATE INTRINSIC CONTROL
2022.01.11
발표자: 길창배
발표일자: 2022-01-11
저자: Rui Zhao, Yang Gao, Pieter Abbeel, Volker Tresp, Wei Xu
학회명: ICLR 2021
Asynchronous Methods for Deep Reinforcement Learning (A3C)
2022.01.11
발표자: 채경훈
발표일자: 2022-01-11
저자: Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Tim Harley, Timothy P. Lillicrap, David Silver, Koray Kavukcuoglu
학회명: ICML-2016
2021
Directional Graph Networks
2021.12.28
발표자: 신재민
발표일자: 2022-01-04
저자: Dominique Beaini, Saro Passaro
학회명: ICML 2021
Anomaly detection in multidimensional time series - a graph-based approach
2021.12.28
발표자: 신효정
발표일자: 2022-01-04
저자: Marcus Erz, Jeremy Floyd Kielman, Bahar Selvi Uzun and Gabriele Stefanie Gühring
논문지: Journal of Physics: Complexity 2021
GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation
2022.01.04
발표자: 윤수현
발표일자: 2022-01-04
저자: Weixuan Sun, Jing Zhang, Zheyuan Liu, Yiran Zhong, Nick Barnes
학회명: arXiv 2021
SimCSE: Simple Contrastive Learning of Sentence Embeddings
2021.12.20
발표자: 김호승
발표일자: 2021-12-21
저자: Tianyu Gao, Xingcheng Yao, Danqi Chen
학회명: EMNLP2021