발표자 | 최윤석 |
---|---|
발표일자 | 2021-05-13 |
저자 | Hongqiu Wu, Hai Zhao, Min Zhang |
학회명 | |
논문지 |
SIT3 : Code Summarization with Structure-Induced Transformer
arXiv 2021
댓글 11
-
이지형
2021.05.13 18:13
나름 새로운 아이디어가 있다고 할 수는 있으나.. 어떤 breakthrough가 있다고 하기는 어려운.. 이 분야에는 아직도 목마름이 있음. 어떤 breakthrough가 가능할까?? -
김호승
2021.05.13 18:13
요즘 graph 관련 발표가 많아서 많은 관심이 가는데, adjacent matrix attention score 를 계산하는 과정에 multi-graph를 이용한 것이 흥미로웠습니다.
좋은 발표 내용 감사합니다. -
jinsuby
2021.05.13 18:14
Text의 Structure의 정보를 잘 반영하기 위한 Self-Attention 방법을 제안하여 Code Summarization Task에서 좋은 성능을 갖도록 했습니다.
재미있는 발표 잘 들었습니다. 감사합니다. -
김가형
2021.05.13 18:15
Structured-induced self attention representation에 대해 알 수 있어서 좋았습니다. 그냥 GAT를 사용하는 것과 어떤 차이점이 있는지 궁금합니다. 감사합니다. -
최윤석
2021.05.13 18:33
저도 Graph Attention Network와 Structure-Induced Self Attention가 똑같다고 생각을 하는데요.
기존의 Graph Attention Network는 Graph를 Flatten하게 바꾸지 않고 Graph의 Structure한 구조를 그대로 유지하면서 Attention을 계산하는 것이고,
여기서 말하는 Structure-Induced Self-Attention은 Structure 정보를 Adjancy Matrix로 정보를 갖고 Structure를 Flatten하여 Sequence로 보고 Attention을 계산하기 때문에,
Flatten을 해서 Sequential 한 정보를 갖고 있냐, 아니냐의 차이 인듯합니다. -
김가형
2021.05.13 18:42
아! 그렇군요. 이제 차이점이 이해가 되었습니다. 답변 감사합니다. -
김누리
2021.05.13 18:29
Structure-Induced Transformer를 통해 structure 정보를 학습하고자 하는 방법이 재미있었습니다. 다만, 구조적 정보를 잘(?) 반영했다고 하기에는 부족해 보입니다. 고민해 봐야 할 부분이 많이 있는 것 같습니다. -
나철원
2021.05.13 18:37
structure 정보를 학습하는 새로운 self-attention 구조를 소개해 주셔서 감사합니다. 인접행렬을 활용하여 연결된 것들만 계산한다는 방법으로 기존 self-attention 의 한계점인 qaudratic 한 복잡도 문제를 잘 해결한 것 같습니다. -
강석규
2021.05.13 18:58
graph attention 부분은 흥미로웠습니다. 하지만 연구들이 비슷하고 얼마나 더 잘 최적화를 하는가에 집중되는 것 같아, 좀 더 구조적 변화를 통한 성능향상을 기대합니다. -
신재민
2021.05.13 20:21
Attention을 Global/Local 구분해서 단계적으로 사용한 부분이 흥미로웠습니다. 서로 동작 방법이 다를 것 같은데, 단순히 기능을 사용하는 것인지 구체적인 동작 차이에 대한 설명이 있는지 확인 부탁 드립니다. -
김사무엘
2021.05.14 02:08
구조적 정보를 잘 반영하고자 하는 여러 시도들이 있는데 만족할만한 성능 향상이 없는듯합니다. 어떤 근본적인 문제가 있는건지도 궁금합니다.
2021
Revisiting Skeleton-based Action Recognition
2021.12.21
발표자: 배현재
발표일자: 2021-12-21
저자: Haodong Duan, Yue Zhao, Kai Chen, Dian Shao, Dahua Lin, Bo Dai
학회명: CVPR 2021
On the Transferability of Adversarial Attacks against Neural Text Classifier
2021.12.21
발표자: 나철원
발표일자: 2021-12-21
저자: Liping Yuan et al.
학회명: EMNLP 2021
A2-FPN: Attention Aggregation based Feature Pyramid Network for Instance Segmentation
2021.12.21
발표자: 임지영
발표일자: 2021-12-21
저자: Miao Hu
학회명: CVPR 2021
Unsupervised Out-of-Distribution Detection by Maximum Classifier Discrepancy(cover)
2021.12.15
발표자: 노순철
발표일자: 2021-12-15
저자: Qing Yu, Kiyoharu Aizawa
학회명: ICCV 2019
CMT: Convolutional Neural Networks Meet Vision Transformers
2021.12.15
발표자: 김유성
발표일자: 2021-12-15
저자: Jianyuan Guo, et al.
논문지: arXiv
Proximal Policy Optimization Algorithms
2021.12.15
발표자: 길창배
발표일자: 2021-12-15
저자: John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov
논문지: arxiv 2017
Understanding Dimensional Collapse In Contrastive Self-Supervised Learning
2021.11.30
발표자: 이진섭
발표일자: 2021-11-30
저자: Li Jing , Pascal Vincent, Yann LeCun, Yuandong Tian
학회명: ICLR 2022
Adversarial Robustness Across Representation Spaces
2021.11.30
발표자: 조영성
발표일자: 2021-11-30
저자: Pranjal Awasthi, George Yu, Chun-Sung Ferng, Andrew Tomkins, Da-Cheng Juan
학회명: CVPR 2021
Generating Adversarial Computer Programs using Optimized Obfuscations
2021.11.30
발표자: 김사무엘
발표일자: 2021-11-30
저자: Shashank Srikant, Sijia Liu, Tamara Mitrovska, Shiyu Chang, Quanfu Fan, Gaoyuan Zhang, Una-May O’Reilly
학회명: ICLR 2021
MAE: Masked Autoencoders Are Scalable Vision Leanrners
2021.11.23
발표자: 강석규
발표일자: 2021-11-23
저자: Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Doll´ar, and Ross Girshick
FlexMatch: Boosting Semi-Supervised Learning with Curriculum Pseudo Labeling
2021.11.23
발표자: 김누리
발표일자: 2021-11-23
저자: Zhang, Bowen, et al.
학회명: Advances in Neural Information Processing Systems 34 (2021)
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
2021.11.23
발표자: 강용훈
발표일자: 2021-11-23
저자: Lokesh Nagalapatti, Ramasuri Narayanam
학회명: AAAI 2021
Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss
2021.11.23
발표자: 안재한
발표일자: 2021-11-23
저자: Jeff Z. HaoChen, Colin Wei, Adrien Gaidon, Tengyu Ma
학회명: NeurIPS2021
DGMN: Dynamic Graph Message Passing Networks
2021.11.16
발표자: 신재민
발표일자: 2021-11-16
저자: Li Zhang, Dan Xu, Anurag Arnab, Philip H.S. Torr
학회명: CVPR 2020
Dynamically Weighted Balanced Loss: Class Imbalanced Learning and Confidence Calibration of Deep Neural Networks
2021.11.16
발표자: 박은미
발표일자: 2021-11-16
저자: K. Ruwani M. Fernando
논문지: IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS
Dual Sparse Attention Network for Session-based Recommendation(AAAI-21)
2021.11.16
발표자: 김가형
발표일자: 2021-11-16
저자: Jiahao Yuan, Zihan Song, Mingyou Sun, Xiaoling Wang, Wayne Xin Zhao
학회명: AAAI 2021
Graph-Enhanced Multi-Task Learning of Multi-Level Transition Dynamics for Session-based Recommendation
2021.11.16
발표자: 양희윤
발표일자: 2021-11-16
저자: Chao Huang, Jiahui Chen, Lianghao Xia, Yong Xu, Peng Dai, Yanqing Chen, Liefeng Bo, Jiashu Zhao, Jimmy Xiangji Huang
학회명: AAAI 2021
Cross-lingual Language Model Pretraining
2021.11.09
발표자: 고설준
발표일자: 2021-11-09
저자: Alexis Conneau, Guillaume Lample
학회명: NeurIPS 2019
A Strong Baseline for Query Efficient Attacks in a Black Box Setting
2021.11.09
발표자: 나철원
발표일자: 2021-11-09
저자: Rishabh Maheshwary∗, Saket Maheshwary∗ and Vikram Pudi
학회명: EMNLP 2021
Deep Leakage from Gradients
2021.11.09
발표자: 홍만수
발표일자: 2021-11-09
저자: Ligeng Zhu, Zhijian Liu, Song Han
학회명: NeurIPS 2019