NBDT: NEURAL-BACKED DECISION TREE

by강석규 2021.06.17 18:01

발표자	강석규
발표일자	2021-06-17
저자	Alvin Wan, Lisa Dunlap, Daniel Ho, Jihan Yin, Scott Lee, Henry Jin, Suzanne Petryk, Sarah Adel Bargal, Joseph E. Gonzalez
학회명	ICLR2021
논문지

첨부 [4]

이지형

2021.06.17 19:01

계층 구조가 없는 레이블들을 계층 구조화 하여, 이를 NN의 학습에 사용하거나 결과를 해석하는 방법으로 나름 참신하고 활용의 가능성이 높다고 판단됨. CAM과 연결하면 뭔가 재미있는 결과가 나올 듯..

댓글
김누리

2021.06.17 19:10

Decision Tree를 구축하고, Word Net의 information을 결합하는 방법이 재미있었습니다. 다른 방법론에 비해 성능이 하락하지 않거나 오히려 상승하는 것은 word net을 통해 class의 계층 구조를 비롯한 추가적인 정보가 학습에 도움이 된 것이 아닌가 싶습니다. 다만, interpretability 측면에서는 아쉬움이 남습니다.

댓글
노순철

2021.06.17 19:16

weight를 단순 평균내서 상위클래스의 weight로 삼는 방법이 합리적인 방법인지 저에게는 직관적으로 이해가 잘 되지는 않습니다... 특정 클래스의 weight에 충분히 가까운데도 불구하고 상위 클래스로 만들어진 weight보다 멀어서 분류가 잘못되는 상황이 상상됩니다. weight를 Clustering 해서 최종Layer가 하는 판단을 설명해보고자 하는 아이디어는 신선한것 같습니다. 좋은 발표 감사드립니다.

댓글
윤수현

2021.06.17 19:18

Neural Network와 Decision Tree를 동시에 Training하는 방법은 재미있었는데, Tree에 존재하는 superclass들을 이용한 해석이 모델의 예측을 해석하는 방법이라고 보기엔 어려워 보입니다. Tree를 구성하는 방법에서 개선이 이루어질 수 있을 것 같습니다. 발표 감사합니다.

댓글
김호승

2021.06.17 19:40

Neural Network, Decision Tree, Word Net 이라는 누구나 다 알만한 기본적인 방법을 이용하여 새로운 시도를 한 것이 아니었나 생각하였습니다. Appendix 내용들도 상당히 재미가 있는 것 같아서 한번 읽어봐야 겠다고 생각했습니다. 좋은 발표 감사드립니다.

댓글

2021

How Well Do Self-Supervised Models Transfer

2021.08.18

발표자: 이진섭 발표일자: 2021-08-18 저자: Linus Ericsson¹ , Henry Gouk¹, Timothy M.Hospedales¹ 학회명: CVPR 2021

Object-Centric Learning with Slot Attention

2021.08.18

발표자: 신재민 발표일자: 2021-08-18 저자: Francesco Locatello 학회명: NeurIPS 2020

Out-of-Distribution Detection Using Union of 1-Dimensional Subspaces

2021.08.18

발표자: 안재한 발표일자: 2021-08-18 저자: Alireza Zaeemzadeh, Niccolò Bisagno, Zeno Sambugaro, Nicola Conci, Nazanin Rahnavard, Mubarak Shah 학회명: CVPR 2021

WORD TRANSLATION WITHOUT PARALLEL DATA

2021.08.18

발표자: 고설준 발표일자: 2021-08-18 저자: Alexis Conneau∗ † ‡ , Guillaume Lample∗ † § , Marc’Aurelio Ranzato† , Ludovic Denoyer§ , Herve J ´ egou ´ † 학회명: ICLR 2018

Class-Imbalanced Semi-Supervised Learning

2021.08.11

발표자: 김누리 발표일자: 2021-08-11 저자: Hyun, Minsung, Jisoo Jeong, and Nojun Kwak. 학회명: arXiv preprint arXiv:2002.06815 (2020).

DISTRIBUTED PRIORITIZED EXPERIENCE REPLAY

2021.08.11

발표자: 길창배 발표일자: 2021-08-11

Interactive Self-Training with Mean Teachers for Semi-supervised Object Detection

2021.08.11

발표자: 김유성 발표일자: 2021-08-11 학회명: CVPR 2021

Deep High-Resolution Representation Learning for Human Pose Estimation

2021.08.11

발표자: 배현재 발표일자: 2021-08-11 저자: Ke Sun, Bin Xiao, Dong Liu, Jingdong Wang 학회명: CVPR 2019

Alleviating Cold Start Problems in Recommendation through pseudo labelling over knowledge graph

2021.08.04

발표자: 김가형 발표일자: 2021-08-04 저자: Riku Togashi, Mayu Otani, Shin'ichi Satoh 학회명: WSDM 2021

Retrieval-Augmented Generation for Code Summarization Via Hybrid GNN

2021.08.04

발표자: 최윤석 발표일자: 2021-08-04 저자: Shangqing Liu, Yu Chen, Xiaofei Xie, Jingkai Siow, Yang Liu 학회명: ICLR 2021

USAD: UnSupervised Anomaly Detection on Multivariate Time Series

2021.08.04

발표자: 신효정 발표일자: 2021-08-04 저자: Julien Audibert , Pietro Michiardi, Frédéric Guyard, Sébastien Marti, Maria A Zuluaga 학회명: KDD '20

STRUCTURED PREDICTION AS TRANSLATION BETWEEN AUGMENTED NATURAL LANGUAGES

2021.08.04

발표자: 김호승 발표일자: 2021-08-04 저자: Giovanni Paolini, Ben Athiwaratkun, Jason Krone, Jie Ma, Alessandro Achille, RISHITA ANUBHAI, Cicero Nogueira dos Santos, Bing Xiang, Stefano Soatto, Amazon Web Services 학회명: ICLR2021

Unified Pre-training for Program Understanding and Generation (PLBART)

2021.08.04

발표자: 김사무엘 발표일자: 2021-08-04 저자: Wasi Uddin Ahmad, Saikat Chakraborty, Baishakhi Ray, Kai-Wei Chang 학회명: NAACL 2021