| 발표자 | 나철원 |
|---|---|
| 발표일자 | 2021-05-26 |
| 저자 | William Fedus, Barret Zoph, Noam Shazeer (Google Brain) |
| 학회명 | arXiv 2021 |
| 논문지 |
댓글 7
-
이지형
2021.05.26 20:32
계산량은 증가시키지 않으면서 더 큰 네트워크를 만드는 switch 기법을 활용한 Transformer 구조로, 여기에서 사용된 기법을 우리도 적용해 볼만하다고 판단됨. -
신재민
2021.05.27 11:10
많은 파라미터를 사용하면서도 연산량을 증가시키지 않는 방법 잘 들었습니다. 모델 설계함에 있어서 배울 점이 많은 내용이었습니다. -
김호승
2021.06.09 17:06
연산량을 생각하면서 모델을 보통 구성하는데, 파라미터가 많음에도 불구하고 비용이 저렴한 모델이라는 점에서 노벨티가 있다고 생각하였습니다. 좋은 논문 내용 감사드립니다. -
김가형
2021.06.09 17:11
논문을 찾아보니 저자들이 계산량을 줄이기 위해 수 많은 실험을 했다는 것을 알 수 있었습니다. 개인적으로 distillation 기법을 활용한 부분이 흥미로웠습니다. 학습 할 때, knowledge만 distillation하는 방법들을 보다가 모델 경량화를 위해 distillation할 수 있는 부분도 있다는 것을 이번 논문을 통해 알게 되었습니다. 좋은 발표 감사합니다. -
임지영
2021.06.09 17:48
구조적으로는 얼마나 줄어들까 싶었는데 실험 결과를 보니 생각보다 좋은 실험결과를 보고 놀랐습니다. 발표 잘 들었습니다. 감사합니다. -
강석규
2021.08.20 13:00
배포하려는 입장에서도 나쁘지 않겠네요. 그럼에도 저희가 손쉽게 사용할 만큼 가벼울지는 의문입니다. -
김누리
2021.08.23 18:29
switch를 위한 router 및 전체적인 설계가 매우 재미있었습니다. 다른 방법에 비슷한 아이디어를 적용할 수 있을 것 같습니다.
2021
How Well Do Self-Supervised Models Transfer
2021.08.18
발표자: 이진섭
발표일자: 2021-08-18
저자: Linus Ericsson¹ , Henry Gouk¹, Timothy M.Hospedales¹
학회명: CVPR 2021
Object-Centric Learning with Slot Attention
2021.08.18
발표자: 신재민
발표일자: 2021-08-18
저자: Francesco Locatello
학회명: NeurIPS 2020
Out-of-Distribution Detection Using Union of 1-Dimensional Subspaces
2021.08.18
발표자: 안재한
발표일자: 2021-08-18
저자: Alireza Zaeemzadeh, Niccolò Bisagno, Zeno Sambugaro, Nicola Conci, Nazanin Rahnavard, Mubarak Shah
학회명: CVPR 2021
WORD TRANSLATION WITHOUT PARALLEL DATA
2021.08.18
발표자: 고설준
발표일자: 2021-08-18
저자: Alexis Conneau∗ † ‡ , Guillaume Lample∗ † § , Marc’Aurelio Ranzato† , Ludovic Denoyer§ , Herve J ´ egou ´ †
학회명: ICLR 2018
Class-Imbalanced Semi-Supervised Learning
2021.08.11
발표자: 김누리
발표일자: 2021-08-11
저자: Hyun, Minsung, Jisoo Jeong, and Nojun Kwak.
학회명: arXiv preprint arXiv:2002.06815 (2020).
Interactive Self-Training with Mean Teachers for Semi-supervised Object Detection
2021.08.11
발표자: 김유성
발표일자: 2021-08-11
학회명: CVPR 2021
Deep High-Resolution Representation Learning for Human Pose Estimation
2021.08.11
발표자: 배현재
발표일자: 2021-08-11
저자: Ke Sun, Bin Xiao, Dong Liu, Jingdong Wang
학회명: CVPR 2019
Alleviating Cold Start Problems in Recommendation through pseudo labelling over knowledge graph
2021.08.04
발표자: 김가형
발표일자: 2021-08-04
저자: Riku Togashi, Mayu Otani, Shin'ichi Satoh
학회명: WSDM 2021
Retrieval-Augmented Generation for Code Summarization Via Hybrid GNN
2021.08.04
발표자: 최윤석
발표일자: 2021-08-04
저자: Shangqing Liu, Yu Chen, Xiaofei Xie, Jingkai Siow, Yang Liu
학회명: ICLR 2021
USAD: UnSupervised Anomaly Detection on Multivariate Time Series
2021.08.04
발표자: 신효정
발표일자: 2021-08-04
저자: Julien Audibert , Pietro Michiardi, Frédéric Guyard, Sébastien Marti, Maria A Zuluaga
학회명: KDD '20
STRUCTURED PREDICTION AS TRANSLATION BETWEEN AUGMENTED NATURAL LANGUAGES
2021.08.04
발표자: 김호승
발표일자: 2021-08-04
저자: Giovanni Paolini, Ben Athiwaratkun, Jason Krone, Jie Ma, Alessandro Achille, RISHITA ANUBHAI, Cicero Nogueira dos Santos, Bing Xiang, Stefano Soatto, Amazon Web Services
학회명: ICLR2021
Unified Pre-training for Program Understanding and Generation (PLBART)
2021.08.04
발표자: 김사무엘
발표일자: 2021-08-04
저자: Wasi Uddin Ahmad, Saikat Chakraborty, Baishakhi Ray, Kai-Wei Chang
학회명: NAACL 2021
Improved Representation Learning for Session-based Recommendation
2021.08.04
발표자: 양희윤
발표일자: 2021-08-04
저자: Sai Mitheran, Abhinav Java, Surya Kant Sahu, Arshad Shaikh
학회명: arXiv 2021
about confidence calibration
2021.07.29
발표자: 강석규
발표일자: 2021-07-29
저자: Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger
학회명: ICLR2017
CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances
2021.07.29
발표자: 강용훈
발표일자: 2021-07-29
저자: JiHoon Tack, Sangwoo Mo, Jongheon Jeong, Jinwoo Shin
학회명: NIPS 2020
Data-Free Knowledge Distillation for Heterogeneous Federated Learning
2021.07.29
발표자: 임지영
발표일자: 2021-07-29
저자: Zhuangdi Zhu
학회명: ICML 2021
CondenseNet V2: Sparse Feature Reactivation for Deep Networks
2021.07.21
발표자: 홍만수
발표일자: 2021-07-21
저자: Le Yang, Haojun Jiang, Ruojin Cai, Yulin Wang, Shiji Song, Gao Huang, Qi Tain
학회명: CVPR 2021
Bayesian Deep Learning and a Probabilistic Perspective of Generalization
2021.07.21
발표자: 박은미
발표일자: 2021-07-21
저자: Adrew Golden wilson
학회명: NeurIPS_2020
SSD : A Unified Framework for Self-Supervised Outlier Detection
2021.07.21
발표자: 노순철
발표일자: 2021-07-21
저자: Vikash Sehwag, Mung Chiang, Prateek Mittal
학회명: ICLR2021