| 발표자 | 최윤석 |
|---|---|
| 발표일자 | 2021-06-23 |
| 저자 | hengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Dalian |
| 학회명 | |
| 논문지 |
제목 : Do Transformers Really Perform Bad for Graph Representation?
저자 : Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Dalian
기관 : University of Technology, Princeton University, Peking University, Microsoft Research Asia
댓글 6
-
노순철
2021.06.23 18:59
-
이지형
2021.06.23 19:01
Graph data를 transformer로 처리하기 위한 아이디어를 제시했는데, node representation, edge encoding, spatial encoding 등을 제시한 것을 흥미로움. 그래도 여전히 개선의 여지가 있어 보이는데, 누구 조금 더 고민해 보면 좋을 듯 함 -
김누리
2021.06.23 19:12
그래프를 어떻게 encoding 할 것인가에 대해 아직 고민해봐야 할 issue가 많이 남아있는 것 같습니다. -
김호승
2021.06.23 19:24
그래프에서 전체 정보를 담는게 많이 힘들다고 생각했는데, 좋은 idea를 적용한 것 같습니다. 좋은 발표 감사합니다! -
김가형
2021.06.23 19:25
Experiment 결과를 보니 Regression task임에도 불구하고 기존 GNN 모델들 보다 성능이 좋다는 걸 보니 정말 실용적인 모델이 나온 것 같아서 좋았습니다! 특히 Graphomer layer로 기존 GNN의 aggregation, combine 부분을 대체할 수 있다는 점이 흥미로웠습니다. 좋은 발표 감사합니다. -
나철원
2021.06.23 20:06
자연어와 이미지 분야에서 transformer가 적극적으로 사용되어지고 있는데 graph 분야에서 어떻게 활용 되는지 알 수 있었습니다. 좋은 발표 잘 들었습니다.
2021
How Well Do Self-Supervised Models Transfer
2021.08.18
발표자: 이진섭
발표일자: 2021-08-18
저자: Linus Ericsson¹ , Henry Gouk¹, Timothy M.Hospedales¹
학회명: CVPR 2021
Object-Centric Learning with Slot Attention
2021.08.18
발표자: 신재민
발표일자: 2021-08-18
저자: Francesco Locatello
학회명: NeurIPS 2020
Out-of-Distribution Detection Using Union of 1-Dimensional Subspaces
2021.08.18
발표자: 안재한
발표일자: 2021-08-18
저자: Alireza Zaeemzadeh, Niccolò Bisagno, Zeno Sambugaro, Nicola Conci, Nazanin Rahnavard, Mubarak Shah
학회명: CVPR 2021
WORD TRANSLATION WITHOUT PARALLEL DATA
2021.08.18
발표자: 고설준
발표일자: 2021-08-18
저자: Alexis Conneau∗ † ‡ , Guillaume Lample∗ † § , Marc’Aurelio Ranzato† , Ludovic Denoyer§ , Herve J ´ egou ´ †
학회명: ICLR 2018
Class-Imbalanced Semi-Supervised Learning
2021.08.11
발표자: 김누리
발표일자: 2021-08-11
저자: Hyun, Minsung, Jisoo Jeong, and Nojun Kwak.
학회명: arXiv preprint arXiv:2002.06815 (2020).
Interactive Self-Training with Mean Teachers for Semi-supervised Object Detection
2021.08.11
발표자: 김유성
발표일자: 2021-08-11
학회명: CVPR 2021
Deep High-Resolution Representation Learning for Human Pose Estimation
2021.08.11
발표자: 배현재
발표일자: 2021-08-11
저자: Ke Sun, Bin Xiao, Dong Liu, Jingdong Wang
학회명: CVPR 2019
Alleviating Cold Start Problems in Recommendation through pseudo labelling over knowledge graph
2021.08.04
발표자: 김가형
발표일자: 2021-08-04
저자: Riku Togashi, Mayu Otani, Shin'ichi Satoh
학회명: WSDM 2021
Retrieval-Augmented Generation for Code Summarization Via Hybrid GNN
2021.08.04
발표자: 최윤석
발표일자: 2021-08-04
저자: Shangqing Liu, Yu Chen, Xiaofei Xie, Jingkai Siow, Yang Liu
학회명: ICLR 2021
USAD: UnSupervised Anomaly Detection on Multivariate Time Series
2021.08.04
발표자: 신효정
발표일자: 2021-08-04
저자: Julien Audibert , Pietro Michiardi, Frédéric Guyard, Sébastien Marti, Maria A Zuluaga
학회명: KDD '20
STRUCTURED PREDICTION AS TRANSLATION BETWEEN AUGMENTED NATURAL LANGUAGES
2021.08.04
발표자: 김호승
발표일자: 2021-08-04
저자: Giovanni Paolini, Ben Athiwaratkun, Jason Krone, Jie Ma, Alessandro Achille, RISHITA ANUBHAI, Cicero Nogueira dos Santos, Bing Xiang, Stefano Soatto, Amazon Web Services
학회명: ICLR2021
Unified Pre-training for Program Understanding and Generation (PLBART)
2021.08.04
발표자: 김사무엘
발표일자: 2021-08-04
저자: Wasi Uddin Ahmad, Saikat Chakraborty, Baishakhi Ray, Kai-Wei Chang
학회명: NAACL 2021
Improved Representation Learning for Session-based Recommendation
2021.08.04
발표자: 양희윤
발표일자: 2021-08-04
저자: Sai Mitheran, Abhinav Java, Surya Kant Sahu, Arshad Shaikh
학회명: arXiv 2021
about confidence calibration
2021.07.29
발표자: 강석규
발표일자: 2021-07-29
저자: Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger
학회명: ICLR2017
CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances
2021.07.29
발표자: 강용훈
발표일자: 2021-07-29
저자: JiHoon Tack, Sangwoo Mo, Jongheon Jeong, Jinwoo Shin
학회명: NIPS 2020
Data-Free Knowledge Distillation for Heterogeneous Federated Learning
2021.07.29
발표자: 임지영
발표일자: 2021-07-29
저자: Zhuangdi Zhu
학회명: ICML 2021
CondenseNet V2: Sparse Feature Reactivation for Deep Networks
2021.07.21
발표자: 홍만수
발표일자: 2021-07-21
저자: Le Yang, Haojun Jiang, Ruojin Cai, Yulin Wang, Shiji Song, Gao Huang, Qi Tain
학회명: CVPR 2021
Bayesian Deep Learning and a Probabilistic Perspective of Generalization
2021.07.21
발표자: 박은미
발표일자: 2021-07-21
저자: Adrew Golden wilson
학회명: NeurIPS_2020
SSD : A Unified Framework for Self-Supervised Outlier Detection
2021.07.21
발표자: 노순철
발표일자: 2021-07-21
저자: Vikash Sehwag, Mung Chiang, Prateek Mittal
학회명: ICLR2021
질문이 하나 있는데요, Centrality Encoding 과정에서 학습하게되는 "z" 가 특정 deg에 대한 representation 이라고 설명해주신 것 같은데 그렇다면 z를 추출해내는 Neural Network가 따로 존재하여 학습을 따로 시켜주는 것인가요?