| 발표자 | 강용훈 |
|---|---|
| 발표일자 | 2021-04-28 |
| 저자 | *Xin Yao, Lifeng Sun **Neta Shoham , Tomer Avidor , Aviv Keren , Nadav Israel , Daniel Benditkis , Liron Mor-Yosef , Itai Zeitak |
| 학회명 | ICIP 2020, NIPS2019 Workshop |
| 논문지 |
Continual Local Training for Better Initialization of Federated Models
Overcoming Forgetting in Federated Learning on Non-IID Data
댓글 12
-
강석규
2021.04.28 19:26
FedCL의 경우 batch 학습과 크게 다르지 않아 시간이 상당히필요해 동시다발적인 학습이 힘들고, 일부이지만 prox data를 보내주는 등 비판의 여지가 상당해보입니다. 개선의 여지가 많아 우리가 본 분야로 학술적 기여를 할 수 있으리라 기대합니다. -
임지영
2021.04.28 19:30
federated learning에 continual learning을 적용한 흥미로운 방법이었습니다.
다만 동시에 학습하지 않고 옆으로 전달하는 방법을 고치면 더 좋을 것 같다는 생각이 들고, 실험이 조금 아쉬운 ( 그새 시간이 지나서 그런지 ) 부분이 있었습니다.
발표 잘 들었습니다.. 감사합니다. -
이지형
2021.04.28 19:32
이 논문의 contribution이 incremental 해 보이는.. 그러나.. 아직 이것 밖에는 continual learning + federated learning 분에에 없다는.. 흠.. -
서호용
2021.04.28 19:32
Global model에 대한 importance weight를 구하는 것이 핵심 내용 중 하나인것 같은데, 이 과정이 추가됨으로써 기존 연합학습 대비해서 시간은 얼마나 더 걸리게 되는 건가요?
수식만으로는 상기 계산 과정이 단순한지 복잡한지 알수가 없어서 질문드립니다.
발표 감사합니다. -
jinsuby
2021.04.28 19:33
Global 모델에서 proxy dataset으로 inference한 후 parameter를 구해서 이를 client의 update 하는데에 추가적인 정보를 주어 Non-iid를 해결했다는 방법인 듯 합니다. 발표 잘 들었습니다 감사합니다. -
김호승
2021.04.28 19:33
일방향으로 정보를 하는 과정에서 정보손실이 많다면 bidirectional한 방법을 사용해보는건 어떨까 하고 생각을 하였습니다.
FL, Continual learning 관련하여 몇번 들어본 논문이지만 잘 몰랐는데 이번 기회에 다시 한번 개념을 잡을 수 있었습니다. 감사합니다. -
윤수현
2021.04.28 19:36
각 client로부터 수집한 proxy data로 학습한 모델을 잊지 않으려는 continual learning 기법을 적용했지만, proxy data가 iid 상황이라는 강한 가정을 전제로 실험한 것처럼 보입니다. 앞으로의 발전 가능성이 많아 보이는 분야인 것 같습니다. 좋은 발표 감사합니다. -
김가형
2021.04.28 19:37
Fisher Information Matrix의 diagonal을 사용해서 parameter 를 계속 조정해주는 방법이 재밌다고 생각했습니다. 발표 잘 들었습니다. 감사합니다. -
김누리
2021.04.28 19:40
제가 놓친 부분이 있는것 같은데, Federated learning에서 특별히 forgetting 문제에 대해 고려해야 하는 이유와 특징(?)이 어떻게 될까요? 일반적인 딥러닝 모델에서의 forgetting을 상정하면 되는지, federated learning에서만 추가적으로 발생하는 특별한 문제가 있는지 궁금합니다. -
신효정
2021.04.28 19:46
importance weight가 algorithm(page 9)의 θ이고, θ는 모든 클라이언트의 θk 를 종합하여 만든다 라고 이해하는 것이 맞는 해석인지 확인 부탁드리겠습니다. -
노순철
2021.04.28 19:56
federated learning과 continual learning을 연관지어서 생각해 본적이 없었는데 신선한 분야라고 생각이 됩니다. 두 분야가 어느정도 서로 공유하는 부분이 있다는 느낌을 받았습니다. 소개해주셔서 감사합니다. 발표 잘들었습니다. -
나철원
2021.04.28 19:59
Federated learning에 EWC기반 continual learning을 적용한 것이 흥미로웠습니다.
논문과 별개로 문득 든 생각입니다, Federated learning 에서 heterogeneous / non-iid 인 상황을 가정하고 시작하는데 이러한 상황을 학습 단계에서 해결하는 것이 아니라 데이터를 수집하거나 전처리 과정에서 해결할 수 있지 않을까 라는 생각이 들었습니다.
2022
Recurrent Auto-Encoder with Multi-Resolution Ensemble and Predictive Coding for Multivariate Time-Series Anomaly Detection(RAE-MEPC)
2022.03.22
발표자: 신효정
발표일자: 2022-03-22
저자: Heejeong Choi, Subin Kim, and Pilsung Kang
학회명: arXiv, 21 Feb 2022
WIRING UP VISION:MINIMIZING SUPERVISED SYNAPTIC UPDATES NEEDED TO PRODUCE A PRIMATE VENTRAL STREAM
2022.03.23
발표자: 안재한
발표일자: 2022-03-22
저자: Franziska Geiger ~Franziska_Geiger1 , Martin Schrimpf, Tiago Marques, James J. DiCarlo
학회명: ICLR2022
Online Knowledge Distillation for Efficient Pose Estimation
2022.03.03
발표자: 배현재
발표일자: 2022-03-04
저자: Zheng Li¹ , Jingwen Ye², Mingli Song², Ying Huang1, Zhigeng Pan1
학회명: ICCV 2021
Input Complexity and Out-of-distribution Detection with Likelihood-based Generative Models
2022.03.04
발표자: 노순철
발표일자: 2022-03-04
Channelized Axial Attention – Considering Channel Relation within Spatial Attention for Semantic Segmentation
2022.03.04
발표자: 윤수현
발표일자: 2022-03-04
저자: Ye Huang, Di Kang, Wenjing Jin, *Xiangjian He, Liu Liu
학회명: AAAI 2022
FedBABU: Toward Enhanced Representation for Federated Image Classification
2022.03.04
발표자: 홍만수
발표일자: 2022-03-04
저자: Jaehoon Oh, Sangmook Kim, Se-Young Yun
학회명: ICLR 2022
Deep Learning for Symbolic Mathematics
2022.02.22
발표자: 고설준
발표일자: 2022-02-22
저자: Guillaume Lample, François Charton
학회명: ICLR2020
Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples
2022.02.22
발표자: 김유성
발표일자: 2022-02-22
저자: Mahmoud Assran et al.
학회명: ICCV 2021
Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering
2022.02.22
발표자: 김누리
발표일자: 2022-02-22
저자: Lerner, Boaz, Guy Shiran, and Daphna Weinshall
학회명: arXiv preprint arXiv:2012.00504 (2020)
Universal Domain Adaptation through Self-Supervision
2022.02.22
발표자: 이진섭
발표일자: 2022-02-22
저자: Kuniaki Saito , Donghyun Kim, Stan Sclaroff, Kate Saenko
학회명: NIPS 2020
GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism
2022.02.22
발표자: 조영성
발표일자: 2022-02-22
저자: Yanping Huang, Youlong Cheng, Ankur Bapna, Orhan Firat, Mia Xu Chen, Dehao Chen, HyoukJoong Lee, Jiquan Ngiam, Quoc V. Le, Yonghui Wu, Zhifeng Chen
논문지: https://arxiv.org/abs/1811.06965
Dual Attention Transfer in Session-based Recommendation with Multi-dimensional Integration
2022.02.15
발표자: 양희윤
발표일자: 2022-02-15
저자: Chen Chen, Jie Guo, Bin Song
학회명: ACM SIGIR 2021
Contrastive Code Representation Learning
2022.02.15
발표자: 최윤석
발표일자: 2022-02-15
저자: Paras Jain, Ajay Jain, Tianjun Zhang, Pieter Abbeel, Joseph E. Gonzalez, Ion Stoica
학회명: EMNLP 2021
Do transformers really perform bad for graph representation?
2022.02.15
발표자: 김가형
발표일자: 2022-02-15
저자: Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Shen, Tie-Yan Liu
학회명: NeurIPS 2021
AUM: Identifying Mislabeled Data using the Area Under the Margin Ranking
2022.01.16
발표자: 강석규
발표일자: 2022-01-18
저자: Geoff Pleiss, Tianyi Zhang, Ethan R. Elenberg, Kilian Q. Weinberger
학회명: NIPS2022
Collaborative Unsupervised Visual Representation Learning from Decentralized Data
2022.01.18
발표자: 강용훈
발표일자: 2022-01-18
저자: Weiming Zhuang, Xin Gan , Yonggang Wen , Shuai Zhang , Shuai Yi
학회명: ICCV 2021
Can We Gain More from Orthogonality Regularizations in Training Deep CNNs?
2022.01.18
발표자: 안재한
발표일자: 2022-01-18
저자: Nitin Bansal, Xiaohan Chen, Zhangyang Wang
학회명: NeurIPS 2018
Federated Semi-supervised Learning with Inter-client Consistency & Disjoint Learning
2022.01.10
발표자: 홍만수
발표일자: 2022-01-11
저자: Wonyong Jeong, Jaehong Yoon, Eunho Yang, Sung Ju Hwang
학회명: ICLR 2021
CutPaste: Self-Supervised Learning for Anomaly Detection and Localization
2022.01.11
발표자: 박은미
발표일자: 2022-01-11
저자: Chun-Liang Li
논문지: CVPR2021