PR-106 "Learning to Explain: An Information-Theoretic Perspective on Model Interpretation" Review (2018 ICML)

1. Citations & Abstract 읽기

Citations : 2021.12.15 기준 264회

Abstract

모델해석의 방법론으로써 instancewise feature selection을 제안한다. 우리들의 방법은 주어진 예시들로부터 가장 유익한 feature들의 부분집합을 추출하는 함수를 학습하는 것을 기반으로 한다. 이 feature selection은 선택된 feature들과 반응 변수들 사이에서 mutual information을 최대화하는 방향으로 훈련된다. 이 때 주어진 입력에 대한 반응 변수들의 조건부 분포는 설명되어져야하는 모델이다. 우리는 mutual information으로의 효과적인 variational approximation (변동 근사치)를 발전시키고 정량적 척도와 인간 평가를 사용하는 다양한 합성 및 실제 데이터 세트에서 우리들의 모델의 효과성을 보여준다.

2. 발표 정리

PR-106 Junsung Yoon 발표 영상, 2018.10.01

공식 논문 링크

http://proceedings.mlr.press/v80/chen18j/chen18j.pdf

Presentation Slide

없음

하고자 하는 것 : Mutual Information 기반으로 Black box model을 어떻게 잘 설명할 수 있을지에 대한 내용을 담고 있음.

Objective

- Maximize the mutual information ($MI$) between selected features($X_S$) and the response variable($Y$).

- Using variational approximation of $MI$

Related Works

LIME, DeepLIFT, CAM(PR-047)

Mutual Information

$$I(X;Y)=\mathbb{E}_{X,Y}[log \frac{P_{XY}(X,Y)}{P_X(X)P_Y(Y)}]$$

Explainer

$$S \sim \mathcal{E} (X)$$

$|S|=k$라는 constraint를 줌

Optimization Problem

Mutual Information을 계산하기 위해서는 Joint Dist와 Marginal Dist 모두를 알아야하지만 그것은 불가능하기 때문에 Lower Bound를 활용함.

Variational family for approximation

Lower Bounds of Mutual Information (KL Divergence > 0)

Optimization Problem 변경

본 논문에서는 Gumbel-softmax trick (PR-071)을 활용

Distribution을 통한 feature selection에서 Softmax에서 Backpropagation이 끊기는 것을 방지하기 위해 (5) VAE에서 활용하는 reparameterization 방법도 있고 (3)처럼 RL Policy Gradient처럼 사용하는 방법도 있음. (우회 Bypass를 통한 미분 업데이트)

본 논문에서는 (5)처럼 사용. 단 이 때 Gaussian 대신 Gambel 사용