
발표자 | 김누리 |
---|---|
발표일자 | 2021-06-23 |
저자 | Hieu Pham, Zihang Dai, Qizhe Xie, Quoc V. Le |
학회명 | Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021. |
논문지 |
We present Meta Pseudo Labels, a semi-supervised learning method that achieves a new state-of-the-art top-1 accuracy of 90.2% on ImageNet, which is 1.6% better than the existing state-of-the-art. Like Pseudo Labels, Meta Pseudo Labels has a teacher network to generate pseudo labels on unlabeled data to teach a student network. However, unlike Pseudo Labels where the teacher is kept fixed, in Meta Pseudo Labels, the teacher is constantly adapted by the feedback of how well the student performs on the labeled dataset. As a result, the teacher generates better pseudo labels to teach the student.

댓글 6
-
이지형
2021.06.23 18:34
Teacher-student 모델에서 간단한 아이디어를 추가한 것으로, 아이디어 자체는 흥미로움. -
김호승
2021.06.23 18:34
Pseudo Labels를 더 발전시켜서 만ㄷ르어낸 Meta Pseudo Labels에 대한 논문이었습니다.
학습이 잘 될까에 대한 의문점이 있었는데, 실험결과로 과정을 증명한 논문이라고 생각되었습니다.
좋은 발표 감사합니다 -
노순철
2021.06.23 18:35
"Teacher가 잘못된 Pseudo-label을 제시했을때 Student가 잘못된 정보를 배우게 된다" 라는 문제점을 해결하는 데에 본 논문이 어떤 긍정적인 영향을 미치는지가 직관적으로 이해가 잘 되지는 않습니다. Student가 잘못된 Pseudo-label을 받은 경우 그 Loss로 Teacher를 학습하는 경우에도 똑같은 문제가 발생할 것 같은 생각이 듭니다. 그렇지만 Student가 뱉은 output으로 다시 Teacher에 영향을 준다는 아이디어는 신선하고 간단하며 직관적인것 같습니다. 좋은 발표 감사드립니다! -
조영성
2021.06.23 18:37
semi에서 noisy student를 이용한 기법이 있었는데 그걸 좀더 정제한 것 같은 느낌이 듭니다. -
jinsuby
2021.06.23 18:54
아이디어가 간단하여 구현을 쉽게 해볼만한 아이디어 같습니다. 좋은 발표 감사합니다. -
강석규
2021.08.20 13:10
Sota 일 수 밖에 없는 이유가 있었네요. 다만, testset에 지나치게 fitting하는 것은 아닌가 싶습니다.
2021

How Well Do Self-Supervised Models Transfer
2021.08.18
발표자: 이진섭
발표일자: 2021-08-18
저자: Linus Ericsson¹ , Henry Gouk¹, Timothy M.Hospedales¹
학회명: CVPR 2021

Object-Centric Learning with Slot Attention
2021.08.18
발표자: 신재민
발표일자: 2021-08-18
저자: Francesco Locatello
학회명: NeurIPS 2020

Out-of-Distribution Detection Using Union of 1-Dimensional Subspaces
2021.08.18
발표자: 안재한
발표일자: 2021-08-18
저자: Alireza Zaeemzadeh, Niccolò Bisagno, Zeno Sambugaro, Nicola Conci, Nazanin Rahnavard, Mubarak Shah
학회명: CVPR 2021
WORD TRANSLATION WITHOUT PARALLEL DATA
2021.08.18
발표자: 고설준
발표일자: 2021-08-18
저자: Alexis Conneau∗ † ‡ , Guillaume Lample∗ † § , Marc’Aurelio Ranzato† , Ludovic Denoyer§ , Herve J ´ egou ´ †
학회명: ICLR 2018
Class-Imbalanced Semi-Supervised Learning
2021.08.11
발표자: 김누리
발표일자: 2021-08-11
저자: Hyun, Minsung, Jisoo Jeong, and Nojun Kwak.
학회명: arXiv preprint arXiv:2002.06815 (2020).

Interactive Self-Training with Mean Teachers for Semi-supervised Object Detection
2021.08.11
발표자: 김유성
발표일자: 2021-08-11
학회명: CVPR 2021

Deep High-Resolution Representation Learning for Human Pose Estimation
2021.08.11
발표자: 배현재
발표일자: 2021-08-11
저자: Ke Sun, Bin Xiao, Dong Liu, Jingdong Wang
학회명: CVPR 2019

Alleviating Cold Start Problems in Recommendation through pseudo labelling over knowledge graph
2021.08.04
발표자: 김가형
발표일자: 2021-08-04
저자: Riku Togashi, Mayu Otani, Shin'ichi Satoh
학회명: WSDM 2021

Retrieval-Augmented Generation for Code Summarization Via Hybrid GNN
2021.08.04
발표자: 최윤석
발표일자: 2021-08-04
저자: Shangqing Liu, Yu Chen, Xiaofei Xie, Jingkai Siow, Yang Liu
학회명: ICLR 2021

USAD: UnSupervised Anomaly Detection on Multivariate Time Series
2021.08.04
발표자: 신효정
발표일자: 2021-08-04
저자: Julien Audibert , Pietro Michiardi, Frédéric Guyard, Sébastien Marti, Maria A Zuluaga
학회명: KDD '20
STRUCTURED PREDICTION AS TRANSLATION BETWEEN AUGMENTED NATURAL LANGUAGES
2021.08.04
발표자: 김호승
발표일자: 2021-08-04
저자: Giovanni Paolini, Ben Athiwaratkun, Jason Krone, Jie Ma, Alessandro Achille, RISHITA ANUBHAI, Cicero Nogueira dos Santos, Bing Xiang, Stefano Soatto, Amazon Web Services
학회명: ICLR2021
Unified Pre-training for Program Understanding and Generation (PLBART)
2021.08.04
발표자: 김사무엘
발표일자: 2021-08-04
저자: Wasi Uddin Ahmad, Saikat Chakraborty, Baishakhi Ray, Kai-Wei Chang
학회명: NAACL 2021

Improved Representation Learning for Session-based Recommendation
2021.08.04
발표자: 양희윤
발표일자: 2021-08-04
저자: Sai Mitheran, Abhinav Java, Surya Kant Sahu, Arshad Shaikh
학회명: arXiv 2021

about confidence calibration
2021.07.29
발표자: 강석규
발표일자: 2021-07-29
저자: Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger
학회명: ICLR2017

CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances
2021.07.29
발표자: 강용훈
발표일자: 2021-07-29
저자: JiHoon Tack, Sangwoo Mo, Jongheon Jeong, Jinwoo Shin
학회명: NIPS 2020

Data-Free Knowledge Distillation for Heterogeneous Federated Learning
2021.07.29
발표자: 임지영
발표일자: 2021-07-29
저자: Zhuangdi Zhu
학회명: ICML 2021

CondenseNet V2: Sparse Feature Reactivation for Deep Networks
2021.07.21
발표자: 홍만수
발표일자: 2021-07-21
저자: Le Yang, Haojun Jiang, Ruojin Cai, Yulin Wang, Shiji Song, Gao Huang, Qi Tain
학회명: CVPR 2021
Bayesian Deep Learning and a Probabilistic Perspective of Generalization
2021.07.21
발표자: 박은미
발표일자: 2021-07-21
저자: Adrew Golden wilson
학회명: NeurIPS_2020
SSD : A Unified Framework for Self-Supervised Outlier Detection
2021.07.21
발표자: 노순철
발표일자: 2021-07-21
저자: Vikash Sehwag, Mung Chiang, Prateek Mittal
학회명: ICLR2021