High-Performance Large-Scale Image Recognition Without Normalization

by박은미 2021.04.21 17:13

발표자	박은미
발표일자	2021-04-21
저자	Andrew Brock
학회명
논문지

제목: High-Performance Large-Scale Image Recognition Without Normalization

저자: Andrew Brock, Soham De, Samuel L. Smith, Karen Simonyan

For completeness, in Table 6 of the Appendix we also report the performance of our model architectures when trained with batch normalization instead of the NF strategy. These models achieve slightly lower test accuracies than their NF counterparts and they are between 20% and 40% slower to train, even when using highly optimized batch normalization implementations without cross-replica syncing.

Drop here!

첨부 [3]

이지형

2021.04.21 19:15

Normalization을 왜 사용하는지 왜 작동을 하는지 한번 더 고찰한 논문. 고찰로부터 얻은 intuition을 기반으로 새로운 Normalization을 제안함.

댓글
김호승

2021.04.21 19:17

Normalization에 대하여 잘 정리된 논문과 설명 감사드립니다. 단순하게 공식처럼 사용하고 있는 것들이 왜 있는지, 어떻게 변형하면 좋을지 생각해보는 시간이었습니다.

댓글
신재민

2021.04.21 19:37

좋은 접근이라고 생각합니다. 기존의 것을 대체할 새로운 파라미터를 개발할 때 활용하면 도움이 될 것 같은 방법론이라고 생각합니다.

댓글
jinsuby

2021.04.21 19:41

Batch Normalization 을 진행하는 과정이 Computing 시간이 다른 작업들에 비해 어느정도 차지하는지 궁금합니다.

댓글
박은미

2021.04.22 00:29

논문의 Appendix의 table 6를 본문에 넣었습니다. 동일 model에 NF를 제외하고 batch-normalization으로 train 했을 때 time과 accuracy 를 비교하실 수 있습니다.
deep 해질 수록 batch normalization이 차지하는 비율이 줄어들긴 하지만 16%~50% 가량 차지하고 있습니다.

댓글
김누리

2021.04.21 19:56

Technique에 집중한 듯한 내용이었습니다. Batch norm. 외에도 고려해 볼 만한 부분이 있는지 생각해 봐야겠습니다.

댓글
박은미

2021.04.22 07:57

네~ 워낙 Batch normalization을 remove 하는데 중점을 둔 논문이라... 다만 Appendix에 실험 방법이나, negative result등이 자세히 적혀 있어서 실험하거나 모델을 새로 만들 때 필요한 관점 정도가 재밌게 읽을 수 있는 부분인 것 같습니다.
본 논문 저자들의 20년도 Resnet에서의 B/N 역할 을 연구한 "Batch normalization biases residual blocks towards the identity function in deep networks.",
21년도 NF-Net 구조를 만든 "Characterizing signal propagation to close the performance gap in unnormalized ResNets," 그리고 오늘 발표한 논문까지 'B/N 삭제' 주제가 계속되고 있는데요. 제가 SOTA 달성을 위한 논문을 발표해서 더 technique에 치중한 것처럼 느껴질 수도 있으나, 앞에 2편 논문에서는 B/N을 대체하기 위해 ResNet에서의 BN의 역할, 메커니즘을 연구, 규명하고 있습니다. "BYOL works even without batch statistic" 등의 논문도 검색되는 것을 보니, B/N 대체할 수 있는 효율적인 regularization 방법과 B/N 을 삭제해도 performance를 유지하게 해주는 기법을 계속 연구하는 것 같습니다.

댓글
채경훈

2021.04.27 18:08

Batch normalization 이 최대 50%나 computing 시간을 잡는다는것이 놀라웠고 저자가 제안한 방법은 네트워크가 클 수록 효용성이 좋아질 것 같습니다. computing cost 가 적은거 대비 cost 수렴 속도가 좋은것 같습니다. 향후 연구가 더 되서, 컴퓨팅 파워가 약하거나 하이퍼 파라미터 튜닝 등의 연구를 할 때 유용 할 것 같습니다.

댓글
임지영

2021.04.28 17:26

그냥 그렇구나 하고 생각했던 normalization 에 대해 다시 한번 생각하게 되었습니다. 실험이 많아서 좀 더 자세히 살펴 보아야 할 것 같았습니다. 발표 잘 들었습니다. 감사합니다. :)

댓글
김가형

2021.04.28 17:29

Batch Norm.을 당연하게 사용했었는데, Batch Norm이 가지는 단점들에게 대해 생각해보는 시간이었습니다. Gradient Clipping 방식도 이번 발표를 통해 알게 되었습니다. 배치 사이즈를 크게 가지고 갈 수 있다는 점에서 앞으로 실험 시 필요하면 사용하면 좋겠다는 생각이 들었습니다. 좋은 발표 감사합니다.

댓글
윤수현

2021.04.28 17:40

최근 SOTA에서 종종 보이던 NFNet 모델에 대해 궁금했었는데 좋은 발표 감사합니다. 후반부에는 normalization보다는 튜닝 기법에 집중한 듯한 느낌도 있어 batch norm을 사용했어도 좋은 성능이 나오지 않았을까 하는 생각도 듭니다.

댓글

2022

Recurrent Auto-Encoder with Multi-Resolution Ensemble and Predictive Coding for Multivariate Time-Series Anomaly Detection(RAE-MEPC)

2022.03.22

발표자: 신효정 발표일자: 2022-03-22 저자: Heejeong Choi, Subin Kim, and Pilsung Kang 학회명: arXiv, 21 Feb 2022

Camouﬂaged Object Segmentation with Distraction Mining

2022.03.22

발표자: 임지영 발표일자: 2022-03-22

WIRING UP VISION:MINIMIZING SUPERVISED SYNAPTIC UPDATES NEEDED TO PRODUCE A PRIMATE VENTRAL STREAM

2022.03.23

발표자: 안재한 발표일자: 2022-03-22 저자: Franziska Geiger ~Franziska_Geiger1 , Martin Schrimpf, Tiago Marques, James J. DiCarlo 학회명: ICLR2022

Online Knowledge Distillation for Efficient Pose Estimation

2022.03.03

발표자: 배현재 발표일자: 2022-03-04 저자: Zheng Li¹ , Jingwen Ye², Mingli Song², Ying Huang1, Zhigeng Pan1 학회명: ICCV 2021

Input Complexity and Out-of-distribution Detection with Likelihood-based Generative Models

2022.03.04

발표자: 노순철 발표일자: 2022-03-04

Channelized Axial Attention – Considering Channel Relation within Spatial Attention for Semantic Segmentation

2022.03.04

발표자: 윤수현 발표일자: 2022-03-04 저자: Ye Huang, Di Kang, Wenjing Jin, *Xiangjian He, Liu Liu 학회명: AAAI 2022

FedBABU: Toward Enhanced Representation for Federated Image Classification

2022.03.04

발표자: 홍만수 발표일자: 2022-03-04 저자: Jaehoon Oh, Sangmook Kim, Se-Young Yun 학회명: ICLR 2022

Deep Learning for Symbolic Mathematics

2022.02.22

발표자: 고설준 발표일자: 2022-02-22 저자: Guillaume Lample, François Charton 학회명: ICLR2020

Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples

2022.02.22

발표자: 김유성 발표일자: 2022-02-22 저자: Mahmoud Assran et al. 학회명: ICCV 2021

Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering

2022.02.22

발표자: 김누리 발표일자: 2022-02-22 저자: Lerner, Boaz, Guy Shiran, and Daphna Weinshall 학회명: arXiv preprint arXiv:2012.00504 (2020)

Universal Domain Adaptation through Self-Supervision

2022.02.22

발표자: 이진섭 발표일자: 2022-02-22 저자: Kuniaki Saito , Donghyun Kim, Stan Sclaroff, Kate Saenko 학회명: NIPS 2020

GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism

2022.02.22

발표자: 조영성 발표일자: 2022-02-22 저자: Yanping Huang, Youlong Cheng, Ankur Bapna, Orhan Firat, Mia Xu Chen, Dehao Chen, HyoukJoong Lee, Jiquan Ngiam, Quoc V. Le, Yonghui Wu, Zhifeng Chen 논문지: https://arxiv.org/abs/1811.06965