발표자 | 조영성 |
---|---|
발표일자 | 2021-04-28 |
저자 | Benjamin Recht, Rebecca Roelofs, Ludwig Schmidt, Vaishaal Shankar |
학회명 | International Conference on Machine Learning |
논문지 |
댓글 14
-
이지형
2021.04.28 20:49
-
강석규
2021.04.28 20:54
데이터셋 자체에 대한 흥미로운 접근이었습니다. 사실 인공지능, 딥러닝은 전부 학습하는 데이터의 문제겠죠. 좋은 모델, 좋은 학습방법론이란 무엇일지. 어떻게 평가해야할 지에 대해 제시하는 데에 의미가 있다고 봅니다. 인간은 실제로 어떻게 학습을 해왔을까에 대해서 같이 고민해야 해결될 문제 같습니다. -
나철원
2021.04.28 20:55
기존 오래된 데이터셋에 대해 지금까지 만들어진 모델들이 오래된 데이터셋에 overfit 되었는가에 대한 문제를 생각해 본적이 없었는데 그러한 관점으로 바라보게 해주는 재밌는 논문이었습니다. 좋은 발표 감사합니다. -
김누리
2021.04.28 20:55
누구나 궁금할 수 있지만, 확인 해 보기 귀찮은(?) 작업에 대해서 여러 생각과 함게 많은 실험을 보여준 논문이었습니다. 재미있게 잘 들었습니다. -
김호승
2021.04.28 20:55
데이터셋에 대한 깊은 생각이 묻어나는 논문이었던 것 같습니다. 좋은 발표 감사합니다. -
서호용
2021.04.28 20:57
데이터셋의 변화와 오버피팅이라는 딥러닝의 근본적인 이슈를 다시 한번 상기해볼 수 있는 논문이었다고 생각합니다.
발표 감사합니다. -
임지영
2021.04.28 20:57
데이터셋에 대한 흥미로운 내용 잘 들었습니다. 잼있는 내용이고 흥미로운 내용이라고 생각합니다. 모델도 데이터셋도 기존 방법과 비교 하다보니 같은 상황을 위해서 계속 해서 쓰게 되는 부분이 있는게 아닐까 하는 생각도 들긴 합니다. 발표 감사합니다. -
노순철
2021.04.28 21:01
사실 딥러닝에서 모델도 중요하지만 학습시킬 데이터가 상당히 중요하다고 생각합니다. 그런 관점에서 이러한 데이터 자체에 대한 연구가 더욱 활성화 되어야 더 큰 발전이 있을 것이라는 생각이 들었습니다. 발표감사합니다. -
신효정
2021.04.29 07:54
학습데이터가 실제로 모델에 어떻게 영향을 미치는지 학술적으로 해석하려는 접근이 굉장히 흥미로웠습니다.
발표 감사합니다. -
채경훈
2021.05.03 20:53
대체로 정형화된 데이터셋으로 연구가 진행되어 데이터 셋에 특화 된 모델이 라는 의견도 있었던것으로 알고 있었지만, 이에 반하는 실험 결과가 매우 흥미로웠습니다.
새로운 data set 에도 여러 알고리즘들이 기존 data set 으로 테스트 했을때와 같이 모델의 accuracy 가 선형성을 띄며 유의미하게 비례하여 좋았다라는 사실이 놀라웠습니다.
좋은 논문 발표 해주셔서 감사합니다. -
윤수현
2021.05.10 15:52
Sampling을 거친 새로운 데이터로 학습시킨 결과가 원본 ImageNet과의 차이를 얼마나 나타낼 수 있는지는 조금 더 고민해봐야겠지만, 최근 딥러닝 연구가 학습 데이터에 overfitting되지는 않았는지 상기시키는 주제였다고 생각합니다. 좋은 발표 감사합니다. -
김가형
2021.05.12 18:19
다양한 논문과 task들에 쓰이는 CIFAR-10과 ImageNet 데이터셋의 실질적인 정규화 가능성에 대해 깊이 고민해본 적이 없었는데, 이 논문을 통해 좀 더 깊게 생각해 보게 된 것 같습니다. 막연히 연구에서 사용하고 있는 유명한 Benchmark datasets의 효과에 대해 다양한 실험을 통해 검증 후 사용해야겠다는 생각이 들었습니다. 발표 감사합니다. -
김사무엘
2021.05.12 23:31
데이터셋에 대해 overfit 되지 않았다는 점이 흥미로웠습니다. 이런 결과를 실험적으로 얻으려면 상당히 많은 실험이 필요했을텐데 그 수고도 대단합니다. -
강용훈
2021.08.20 13:41
최근의 모델들이 데이터셋에 Overfitting이 된게 아닌가 한 적도 있었는데 그렇게 되지 않았다는 점이 흥미로웠습니다. 실험을 많이 하여 좋은 결과를 얻어낸 것이 좋다고 생각합니다. 데이터에 대해서도 중요도가 높아진 논문이라고 생각합니다. 발표 감사합니다.
2022
FedBABU: Toward Enhanced Representation for Federated Image Classification
2022.03.04
발표자: 홍만수
발표일자: 2022-03-04
저자: Jaehoon Oh, Sangmook Kim, Se-Young Yun
학회명: ICLR 2022
Deep Learning for Symbolic Mathematics
2022.02.22
발표자: 고설준
발표일자: 2022-02-22
저자: Guillaume Lample, François Charton
학회명: ICLR2020
Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples
2022.02.22
발표자: 김유성
발표일자: 2022-02-22
저자: Mahmoud Assran et al.
학회명: ICCV 2021
Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering
2022.02.22
발표자: 김누리
발표일자: 2022-02-22
저자: Lerner, Boaz, Guy Shiran, and Daphna Weinshall
학회명: arXiv preprint arXiv:2012.00504 (2020)
Universal Domain Adaptation through Self-Supervision
2022.02.22
발표자: 이진섭
발표일자: 2022-02-22
저자: Kuniaki Saito , Donghyun Kim, Stan Sclaroff, Kate Saenko
학회명: NIPS 2020
GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism
2022.02.22
발표자: 조영성
발표일자: 2022-02-22
저자: Yanping Huang, Youlong Cheng, Ankur Bapna, Orhan Firat, Mia Xu Chen, Dehao Chen, HyoukJoong Lee, Jiquan Ngiam, Quoc V. Le, Yonghui Wu, Zhifeng Chen
논문지: https://arxiv.org/abs/1811.06965
Dual Attention Transfer in Session-based Recommendation with Multi-dimensional Integration
2022.02.15
발표자: 양희윤
발표일자: 2022-02-15
저자: Chen Chen, Jie Guo, Bin Song
학회명: ACM SIGIR 2021
Contrastive Code Representation Learning
2022.02.15
발표자: 최윤석
발표일자: 2022-02-15
저자: Paras Jain, Ajay Jain, Tianjun Zhang, Pieter Abbeel, Joseph E. Gonzalez, Ion Stoica
학회명: EMNLP 2021
Do transformers really perform bad for graph representation?
2022.02.15
발표자: 김가형
발표일자: 2022-02-15
저자: Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Shen, Tie-Yan Liu
학회명: NeurIPS 2021
AUM: Identifying Mislabeled Data using the Area Under the Margin Ranking
2022.01.16
발표자: 강석규
발표일자: 2022-01-18
저자: Geoff Pleiss, Tianyi Zhang, Ethan R. Elenberg, Kilian Q. Weinberger
학회명: NIPS2022
Collaborative Unsupervised Visual Representation Learning from Decentralized Data
2022.01.18
발표자: 강용훈
발표일자: 2022-01-18
저자: Weiming Zhuang, Xin Gan , Yonggang Wen , Shuai Zhang , Shuai Yi
학회명: ICCV 2021
Can We Gain More from Orthogonality Regularizations in Training Deep CNNs?
2022.01.18
발표자: 안재한
발표일자: 2022-01-18
저자: Nitin Bansal, Xiaohan Chen, Zhangyang Wang
학회명: NeurIPS 2018
Federated Semi-supervised Learning with Inter-client Consistency & Disjoint Learning
2022.01.10
발표자: 홍만수
발표일자: 2022-01-11
저자: Wonyong Jeong, Jaehong Yoon, Eunho Yang, Sung Ju Hwang
학회명: ICLR 2021
CutPaste: Self-Supervised Learning for Anomaly Detection and Localization
2022.01.11
발표자: 박은미
발표일자: 2022-01-11
저자: Chun-Liang Li
논문지: CVPR2021
MUTUAL INFORMATION STATE INTRINSIC CONTROL
2022.01.11
발표자: 길창배
발표일자: 2022-01-11
저자: Rui Zhao, Yang Gao, Pieter Abbeel, Volker Tresp, Wei Xu
학회명: ICLR 2021
Asynchronous Methods for Deep Reinforcement Learning (A3C)
2022.01.11
발표자: 채경훈
발표일자: 2022-01-11
저자: Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Tim Harley, Timothy P. Lillicrap, David Silver, Koray Kavukcuoglu
학회명: ICML-2016
2021
Directional Graph Networks
2021.12.28
발표자: 신재민
발표일자: 2022-01-04
저자: Dominique Beaini, Saro Passaro
학회명: ICML 2021
Anomaly detection in multidimensional time series - a graph-based approach
2021.12.28
발표자: 신효정
발표일자: 2022-01-04
저자: Marcus Erz, Jeremy Floyd Kielman, Bahar Selvi Uzun and Gabriele Stefanie Gühring
논문지: Journal of Physics: Complexity 2021
GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation
2022.01.04
발표자: 윤수현
발표일자: 2022-01-04
저자: Weixuan Sun, Jing Zhang, Zheyuan Liu, Yiran Zhong, Nick Barnes
학회명: arXiv 2021
SimCSE: Simple Contrastive Learning of Sentence Embeddings
2021.12.20
발표자: 김호승
발표일자: 2021-12-21
저자: Tianyu Gao, Xingcheng Yao, Danqi Chen
학회명: EMNLP2021
- 구 데이터에서 성능이 낮은 모델은 신 데이터에서도 성능이 낮다는 점이 모델이 어떤 측면에서 데이터에 대해서 overfit 되지 않는다는 뜻이지만,
- 같은 모델이 구 데이터보다 신 데이터의 성능이 낮다는 것은 그래도 데이터에 의존적인 부분이 있다는 것을 의미하는 것 같음.