발표자 | 노순철 |
---|---|
발표일자 | 2021-04-07 |
저자 | Chandramouli S. Sastry, Sageev Oore 1 |
학회명 | ICML2020 |
논문지 |
Detecting Out-of-Distribution Examples with Gram Matrices
댓글 14
-
신효정
2021.04.07 20:13
-
이지형
2021.04.07 20:17
계산량이 매우 많을 것 같은 방식이고, 중간 중간에 생성되는 많은 feature를 관찰해서 OOD를 판별하는 것인데, 어쩌면 OOD 판별에 overfitting 같은 현상이 생기지 않을까 하는 생각이.. 학습데이터에 존재하는 inductive bias를 학습해서 주어진 학습환경에만 optimize 된 결과가 생길 수도 있을 것 같은.. -
임지영
2021.04.07 20:18
발표 잘 들었습니다. 방법 자체는 간단해 보이는데 gram matrix가 어떤 의미인지 궁금합니다 그게 어떤 도움을 주는지 잘 이해가 안가서요 -
김누리
2021.04.07 20:22
특정 dataset의 in/out 조합 (cifar10/cifar100, cifar100/cifar10, svhn/cifar10)에서 제안 기법의 성능이 유독 떨어지는 결과에 대한 해석이 필요 해 보입니다. -
jinsuby
2021.04.07 20:22
Pretrained model에 각 Stage에서의 Feature간 Similarity(?)를 계산하여 Gram Matrix를 구성하고, Gram Matrix의 Min과 Max값을 이용해
OOD score를 계산한다는 아이디어가 참신했으며, 어떠한 철학에서 Feature간 Similarity를 계산한후 Min과 Max 값을 가져가
OOD를 판별하는 기준으로 사용했을지 궁금합니다. -
조영성
2021.04.07 20:23
adversarial example에 대한 ood 판정은 보통 ood라 하는지 궁금점이 생깁니다. 피쳐 correlation의 패턴을 본다면 이 논문 방법은 adversarial example은 ood라고 판단하기 힘들지 않을까 생각이 드네요. -
강석규
2021.04.07 20:44
gram matrix 자체는 흥미롭지만 계산량을 담보로 성능을 끌어올린 느낌인데, 사실 task 자체가 배경/질감정보/공통 노이즈(신호) 등으로 인해 쉽게 fitting 되는 것은 아닌가 싶습니다.
연합학습 환경에서 ood를 진행하고자 할 때 변형된 gram matrix를 사용할 수 있을 것 같아서 관심 있게 들었습니다. -
김가형
2021.04.07 20:47
발표 잘 들었습니다. Output layer와 Intermediate layer 사이의 activity pattern을 사용해서 OOD하는 방법이 흥미롭습니다. Gram Matrix 외에 다른 방법으로 layer 사이의 feature correlation detecting하는 다른 방법들은 없는지 궁금합니다. -
최윤석
2021.04.07 20:51
Model의 각 layer당 feature의 correlation을 이용하여 OOD detection 방법을 제안한 점에서 흥미로웠습니다.
보통 Image에서는 Pre-train 모델을 비교할 때, 성능 뿐만 아니라 Computation/Model size/Training dataset 대비 성능들을 많이 보여주었는데,
이 논문에서는 단순 성능에 대한 지표만 보여준 점에 대해서 실제로 쉽게 활용할 수 있는 모델 방법인지에 대해서는 고민해볼 필요가 있어보입니다. -
김호승
2021.04.07 20:59
좋은 논문 소개 감사합니다.
feature계산에 대하여 계산량이 많아질 것 같다고 우려되었습니다만, OOD의 새로운 방법에 흥미로웠습니다. -
김사무엘
2021.04.07 22:16
논문에서 제안한 Gram Matrix가 왜 OOD Detection에 쓰일 수 있는지 직관적으로 잘 와닿지가 않습니다. -
노순철
2021.04.12 16:37
논문에서는 Gram Matrix의 의미는 하나의 이미지(D)가 input으로 들어갔을 때 여러 채널로부터 나온 각각의 output 사이의 correlation이라고 설명하고 있습니다. 저는 Gram Matrix의 값이 가지고 있는 의미가 중요하다기 보다는, OoD와 In-distribution data 를 구별할 수 있는 지표를 잘 찾아낸 것이 아닐까 정도로 이해하였습니다. 모델의 모든 채널은 In-distribution data에 대해서 학습이 되었으므로 OoD가 input으로 들어왔을 때는 Gram Matrix의 값이 지금 까지 보았던 값과는 달리 구별할 수 있을 정도로 다르게 나올 것이라는 것은 어느 정도 직관적인 해석이 가능한 것 같습니다. -
신재민
2021.04.20 16:43
Gram matrix 아이디어는 매우 인상적입니다. 다만 메모리 사용량 크게 증가 할 것 같아서 연구가 추가적으로 어떻게 진행되는지 추적해 볼 가치가 있다고 생각합니다. -
홍만수
2021.11.08 12:06
매트릭스 계산량이 클 것 같은데 실현 시 효율성을 잘 모르겠습니다. 그리고 CIFAR-100과 CIFAR-10 OOD 성능 저하는 잘 이해가 가질 않습니다. 가령 클래스 수만 늘어났을 뿐 비슷한 요소가 많아서 그러하다라고 치더라도 너무 과하게 어려워하는 것 같아요. 그리고 그 정도의 문제였다면 분류 태스크에서 성능 차가 크게 나지 않았을 겁니다.
2022
FedBABU: Toward Enhanced Representation for Federated Image Classification
2022.03.04
발표자: 홍만수
발표일자: 2022-03-04
저자: Jaehoon Oh, Sangmook Kim, Se-Young Yun
학회명: ICLR 2022
Deep Learning for Symbolic Mathematics
2022.02.22
발표자: 고설준
발표일자: 2022-02-22
저자: Guillaume Lample, François Charton
학회명: ICLR2020
Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples
2022.02.22
발표자: 김유성
발표일자: 2022-02-22
저자: Mahmoud Assran et al.
학회명: ICCV 2021
Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering
2022.02.22
발표자: 김누리
발표일자: 2022-02-22
저자: Lerner, Boaz, Guy Shiran, and Daphna Weinshall
학회명: arXiv preprint arXiv:2012.00504 (2020)
Universal Domain Adaptation through Self-Supervision
2022.02.22
발표자: 이진섭
발표일자: 2022-02-22
저자: Kuniaki Saito , Donghyun Kim, Stan Sclaroff, Kate Saenko
학회명: NIPS 2020
GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism
2022.02.22
발표자: 조영성
발표일자: 2022-02-22
저자: Yanping Huang, Youlong Cheng, Ankur Bapna, Orhan Firat, Mia Xu Chen, Dehao Chen, HyoukJoong Lee, Jiquan Ngiam, Quoc V. Le, Yonghui Wu, Zhifeng Chen
논문지: https://arxiv.org/abs/1811.06965
Dual Attention Transfer in Session-based Recommendation with Multi-dimensional Integration
2022.02.15
발표자: 양희윤
발표일자: 2022-02-15
저자: Chen Chen, Jie Guo, Bin Song
학회명: ACM SIGIR 2021
Contrastive Code Representation Learning
2022.02.15
발표자: 최윤석
발표일자: 2022-02-15
저자: Paras Jain, Ajay Jain, Tianjun Zhang, Pieter Abbeel, Joseph E. Gonzalez, Ion Stoica
학회명: EMNLP 2021
Do transformers really perform bad for graph representation?
2022.02.15
발표자: 김가형
발표일자: 2022-02-15
저자: Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Shen, Tie-Yan Liu
학회명: NeurIPS 2021
AUM: Identifying Mislabeled Data using the Area Under the Margin Ranking
2022.01.16
발표자: 강석규
발표일자: 2022-01-18
저자: Geoff Pleiss, Tianyi Zhang, Ethan R. Elenberg, Kilian Q. Weinberger
학회명: NIPS2022
Collaborative Unsupervised Visual Representation Learning from Decentralized Data
2022.01.18
발표자: 강용훈
발표일자: 2022-01-18
저자: Weiming Zhuang, Xin Gan , Yonggang Wen , Shuai Zhang , Shuai Yi
학회명: ICCV 2021
Can We Gain More from Orthogonality Regularizations in Training Deep CNNs?
2022.01.18
발표자: 안재한
발표일자: 2022-01-18
저자: Nitin Bansal, Xiaohan Chen, Zhangyang Wang
학회명: NeurIPS 2018
Federated Semi-supervised Learning with Inter-client Consistency & Disjoint Learning
2022.01.10
발표자: 홍만수
발표일자: 2022-01-11
저자: Wonyong Jeong, Jaehong Yoon, Eunho Yang, Sung Ju Hwang
학회명: ICLR 2021
CutPaste: Self-Supervised Learning for Anomaly Detection and Localization
2022.01.11
발표자: 박은미
발표일자: 2022-01-11
저자: Chun-Liang Li
논문지: CVPR2021
MUTUAL INFORMATION STATE INTRINSIC CONTROL
2022.01.11
발표자: 길창배
발표일자: 2022-01-11
저자: Rui Zhao, Yang Gao, Pieter Abbeel, Volker Tresp, Wei Xu
학회명: ICLR 2021
Asynchronous Methods for Deep Reinforcement Learning (A3C)
2022.01.11
발표자: 채경훈
발표일자: 2022-01-11
저자: Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Tim Harley, Timothy P. Lillicrap, David Silver, Koray Kavukcuoglu
학회명: ICML-2016
2021
Directional Graph Networks
2021.12.28
발표자: 신재민
발표일자: 2022-01-04
저자: Dominique Beaini, Saro Passaro
학회명: ICML 2021
Anomaly detection in multidimensional time series - a graph-based approach
2021.12.28
발표자: 신효정
발표일자: 2022-01-04
저자: Marcus Erz, Jeremy Floyd Kielman, Bahar Selvi Uzun and Gabriele Stefanie Gühring
논문지: Journal of Physics: Complexity 2021
GETAM: Gradient-weighted Element-wise Transformer Attention Map for Weakly-supervised Semantic segmentation
2022.01.04
발표자: 윤수현
발표일자: 2022-01-04
저자: Weixuan Sun, Jing Zhang, Zheyuan Liu, Yiran Zhong, Nick Barnes
학회명: arXiv 2021
SimCSE: Simple Contrastive Learning of Sentence Embeddings
2021.12.20
발표자: 김호승
발표일자: 2021-12-21
저자: Tianyu Gao, Xingcheng Yao, Danqi Chen
학회명: EMNLP2021
특정 클래스에 속한 트레이닝 데이터가 많으면 다양한 분포를 가지게 될테니 회전이나 크롭같은 perturbation에도 robust한 gram matrices를 갖는 모델이 만들어질 것 같다는 생각도 듭니다.