FedBE:Making Bayesian Model Ensemble Applicable to Federated Learning

by강용훈 2021.06.17 18:20

발표자	강용훈
발표일자	2021-06-17
저자	Hong-You Chen, Wei-Lun Chao
학회명	ICLR 2021
논문지

FedBE Making Bayesian Model Ensemble Applicable to Federated Learning

첨부 [3]

이지형

2021.06.17 19:40

unlabeled data를 서버에서 사용하는 새로운 방식의 FL 문제를 제시하는 논문인데, 방법론 자체에는 의문이 좀 있음. Bayesian Ensemble을 왜 사용했는지..

댓글
김호승

2021.06.17 19:43

Dirichlet과 같은 Bayesian 기법을 적용한 Ensemble 방법이었습니다. 랜덤성을 활용한다고 하였을 때, 다양한 inference 기법을 적용하였을 때 어떤 실험결과가 나올까라고 고민할 수 있는 시간이었습니다. 발표 감사드립니다.

댓글
김누리

2021.06.17 19:52

Server에서 unlabeled data를 활용하는 점이 재미있었습니다. unlabeled data의 역할을 생각 해 볼 때, training data와 어느정도(?) 이질적이어도 잘 동작 할 수 있을 것으로 보입니다. 실험에서는 cifar100, tinyimagenet 말고 다른 data를 이용하는 예도 보여주면 어땠을까 합니다.

댓글
윤수현

2021.06.17 20:00

Bayesian Ensemble을 사용해서 server aggregation framework를 깔끔하게 정의한 것이 흥미로웠습니다. 개인적으로는 client의 unlabeled data를 사용하는 것이 data privacy를 침해할 수 있다고 생각되네요. 발표 감사합니다.

댓글
강석규

2021.08.20 13:06

제가 하고 있는 실험에서 Unlabeled data를 통한 distillation이 가능하다는 아이디어를 차용할 만 하네요.

댓글

2021

How Well Do Self-Supervised Models Transfer

2021.08.18

발표자: 이진섭 발표일자: 2021-08-18 저자: Linus Ericsson¹ , Henry Gouk¹, Timothy M.Hospedales¹ 학회명: CVPR 2021

Object-Centric Learning with Slot Attention

2021.08.18

발표자: 신재민 발표일자: 2021-08-18 저자: Francesco Locatello 학회명: NeurIPS 2020

Out-of-Distribution Detection Using Union of 1-Dimensional Subspaces

2021.08.18

발표자: 안재한 발표일자: 2021-08-18 저자: Alireza Zaeemzadeh, Niccolò Bisagno, Zeno Sambugaro, Nicola Conci, Nazanin Rahnavard, Mubarak Shah 학회명: CVPR 2021

WORD TRANSLATION WITHOUT PARALLEL DATA

2021.08.18

발표자: 고설준 발표일자: 2021-08-18 저자: Alexis Conneau∗ † ‡ , Guillaume Lample∗ † § , Marc’Aurelio Ranzato† , Ludovic Denoyer§ , Herve J ´ egou ´ † 학회명: ICLR 2018

Class-Imbalanced Semi-Supervised Learning

2021.08.11

발표자: 김누리 발표일자: 2021-08-11 저자: Hyun, Minsung, Jisoo Jeong, and Nojun Kwak. 학회명: arXiv preprint arXiv:2002.06815 (2020).

DISTRIBUTED PRIORITIZED EXPERIENCE REPLAY

2021.08.11

발표자: 길창배 발표일자: 2021-08-11

Interactive Self-Training with Mean Teachers for Semi-supervised Object Detection

2021.08.11

발표자: 김유성 발표일자: 2021-08-11 학회명: CVPR 2021

Deep High-Resolution Representation Learning for Human Pose Estimation

2021.08.11

발표자: 배현재 발표일자: 2021-08-11 저자: Ke Sun, Bin Xiao, Dong Liu, Jingdong Wang 학회명: CVPR 2019

Alleviating Cold Start Problems in Recommendation through pseudo labelling over knowledge graph

2021.08.04

발표자: 김가형 발표일자: 2021-08-04 저자: Riku Togashi, Mayu Otani, Shin'ichi Satoh 학회명: WSDM 2021

Retrieval-Augmented Generation for Code Summarization Via Hybrid GNN

2021.08.04

발표자: 최윤석 발표일자: 2021-08-04 저자: Shangqing Liu, Yu Chen, Xiaofei Xie, Jingkai Siow, Yang Liu 학회명: ICLR 2021

USAD: UnSupervised Anomaly Detection on Multivariate Time Series

2021.08.04

발표자: 신효정 발표일자: 2021-08-04 저자: Julien Audibert , Pietro Michiardi, Frédéric Guyard, Sébastien Marti, Maria A Zuluaga 학회명: KDD '20

STRUCTURED PREDICTION AS TRANSLATION BETWEEN AUGMENTED NATURAL LANGUAGES

2021.08.04

발표자: 김호승 발표일자: 2021-08-04 저자: Giovanni Paolini, Ben Athiwaratkun, Jason Krone, Jie Ma, Alessandro Achille, RISHITA ANUBHAI, Cicero Nogueira dos Santos, Bing Xiang, Stefano Soatto, Amazon Web Services 학회명: ICLR2021

Unified Pre-training for Program Understanding and Generation (PLBART)

2021.08.04

발표자: 김사무엘 발표일자: 2021-08-04 저자: Wasi Uddin Ahmad, Saikat Chakraborty, Baishakhi Ray, Kai-Wei Chang 학회명: NAACL 2021