Online Knowledge Distillation for Efficient Pose Estimation

by배현재 2022.03.03 18:25

발표자	배현재
발표일자	2022-03-04
저자	Zheng Li¹ , Jingwen Ye², Mingli Song², Ying Huang1, Zhigeng Pan1
학회명	ICCV 2021
논문지

첨부 [2]

이지형

2022.03.04 16:47

Online knowledge distillation이 구체적으로 어떤 연산인지 다시 한번 확인할 필요가 있음.

댓글
배현재

2022.03.07 10:16

네 교수님 말씀하신 부분 좀 더 공부하고 말씀드리겠습니다. 감사합니다.

댓글
홍만수

2022.03.04 17:29

제가 이해한 게 맞다면 (1) Shared Hourglass에서 Intermediate Heatmap을 생성하고, (2) 이를 각 Branch의 입력으로 써서 Predicted Heatmap을 생성한 다음, (3) 학습 막단에서 Feature Aggregation Unit(FAU)이 Feature Vector와 Predicted Heatmap을 곱하여 Ensemble Heatmap를 생성합니다. (4) FAU의 출력 Heatmap이 다시 Shared Hourglass와 각 Branch의 KD를 위한 Teacher로 작동하는데, (5) 최종적으로 사용하게 되는 것은 Branch의 네트워크입니다.
한 번의 학습으로 여러 사이즈의 Student를 생성할 수 있는 것이 큰 강점이네요. 다양한 스펙의 기기에 대응할 수 있겠습니다.

댓글
배현재

2022.03.07 10:14

네 만수님이 이해하신 내용이 맞습니다.
저도 한 번의 학습으로 compression rate를 조절하여 Student를 생성할 수 있는 것이 큰 장점이라고 생각합니다.
이러한 방법론을 나중에 CCTV와 연동이 되는 NVIDIA Jetson 시리즈(Nano, Xavier 등)에 연동시켜도 좋을 것 같네요.
감사합니다.

댓글

2022

Rep VGG: Making VGG-style ConvNet Again

2022.07.14

발표자: 장성인 발표일자: 2022-07-13 저자: Xiaohan Ding 학회명: CVPR

Perturbed and Strict Mean Teachers for Semi-supervised Semantic Segmentation

2022.07.13

발표자: 윤수현 발표일자: 2022-07-13 저자: Yuyuan Liu, Yu Tian, Yuanhong Chen, Fengbei Liu, Vasileios Belagiannis, Gustavo Carneiro 학회명: CVPR 2022

CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation

2022.07.13

발표자: 나철원 발표일자: 2022-07-13 저자: Yue Wang, Weishi Wang, Shafiq Joty, and Steven C.H. Hoi 학회명: EMNLP 2021

On the Evaluation of Neural Code Summarization

2022.06.29

발표자: 최윤석 발표일자: 2022-06-29 저자: Ensheng Shi; Yanlin Wang; Lun Du; Junjie Chen; Shi Han; Hongyu Zhang; Dongmei Zhang; Hongbin Sun 학회명: ICSE 2022

Consistent Explanations by Contrastive Learning

2022.06.29

발표자: 김누리 발표일자: 2022-06-29 저자: Pillai, Vipin, et al. 학회명: CVPR 2022

Large Loss Matters in Weakly Supervised Multi-Label Classification

2022.06.29

발표자: 송경렬 발표일자: 2022-06-29 저자: Youngwook Kim1* , Jae Myung Kim2*, Zeynep Akata2,3,4, Jungwoo Lee1,5 학회명: CVPR 2022

Improved Transformer for High-Resolution GANs

2022.06.22

발표자: 신재민 발표일자: 2022-06-22 저자: Long Zhao 학회명: NeurIPS 2021

Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection

2022.06.22

발표자: 지혜림 발표일자: 2022-06-22 저자: Dong Gong1 , Lingqiao Liu1 , Vuong Le2 , Budhaditya Saha2 , Moussa Reda Mansour3 , Svetha Venkatesh2 , Anton van den Hengel 학회명: ICCV 2019