A Unified Approach to Interpreting Model Predictions

A Unified Approach to Interpreting Model Predictions - 세미나 자료

저자: Scott Lundberg, Su-In Lee
발행년도: 2017년
인용수: None회
논문 링크: http://arxiv.org/abs/1705.07874v2
arXiv ID: 1705.07874

---

0. TL;DR

📌 핵심 요약

• SHAP는 LIME·DeepLIFT·LRP·Shapley 계열까지 6개 설명법이 사실 **"additive feature attribution"**이라는 한 가지 형태를 공유함을 밝힌 통합 프레임워크다.
• 게임이론의 Shapley value가 local accuracy·missingness·consistency 세 속성을 동시에 만족하는 **유일한 해**임을 증명했다.
• 통합 과정에서 나온 Kernel SHAP·Deep SHAP는 더 적은 모델 평가로 같은 정확도를 냈고, 인간 직관과의 일치도도 높였다.

---

1. 왜 이 논문이 흥미로운가

XAI(설명가능 AI)에서 2016~2017년은 방법론이 폭발하던 시기였다. LIME이 나오고, DeepLIFT가 나오고, LRP가 나오고, 고전 Shapley 계열이 따로 돌아갔다. 문제는 "이것들이 서로 어떤 관계인지, 언제 무엇을 써야 하는지" 아무도 정리하지 못했다는 점이다. Lundberg와 Lee는 여기서 의외의 한 수를 던졌다. "어떤 설명이든 그 자체가 하나의 모델(explanation model)이다"라는 관점을 세우자, 난립하던 6개 방법이 전부 똑같은 수식 형태로 수렴했다.

진짜 반전은 그다음이다. 이 공통 형태 안에서 "좋은 설명이 갖춰야 할 세 가지 상식적 속성"을 동시에 만족하는 답은 딱 하나뿐이고, 그 답이 1953년 Lloyd Shapley가 협조 게임이론에서 이미 정의해 둔 값이라는 사실이다. 정확도와 해석가능성 사이의 긴장을 정면으로 다루면서, 좋은 설명은 휴리스틱하게 고르는 게 아니라 공리에서 유도된다고 보였다. 오늘날 SHAP가 모델 해석의 사실상 표준 도구가 된 출발점이 이 NeurIPS 2017 논문이다.

---

2. Problem & Why now

큰 데이터 시대에 정확도는 ensemble과 deep network 같은 복잡 모델이 가져갔다. 그런데 정작 전문가조차 그 모델이 "왜 이렇게 예측했는가"를 읽어내지 못하면서, 정확도와 해석가능성 사이의 trade-off가 표면으로 올라왔다. 개별 예측을 신뢰가능하게 해석하는 일은 사용자 신뢰를 만들고 모델 개선의 단서를 주기에, 정확도만큼 중요한 과제가 됐다.

대응으로 여러 방법이 쏟아졌지만 정리는 따라오지 못했다. 저자들이 짚은 첫 번째 한계는 방법들 사이의 관계와 우열 조건이 불명확하다는 점이다. LIME, DeepLIFT, LRP, Shapley 계열이 각자 따로 존재했고, 어느 상황에서 무엇이 우월한지 판단할 기준이 없었다.

두 번째 한계는 LIME 같은 방법이 손실 함수·가중 커널·정규화 항을 휴리스틱하게 골랐다는 데 있다. 논문은 이 임의 선택 탓에 LIME이 local accuracy나 consistency를 위반할 수 있고, 그 결과 직관에 어긋나는 귀속이 나온다고 지적했다.

세 번째 한계는 계산이다. 고전 Shapley value를 정확히 구하려면 모든 feature 부분집합에 대해 모델을 다시 학습·평가해야 해서, feature 수 $|F|$에 대해 $2^{|F|}$ 규모의 비용이 든다. 이론은 깔끔했지만 실제로는 사실상 계산 불가였다.

핵심 인사이트는 이 모든 문제를 한 번에 푸는 관점 전환이었다. "어떤 설명도 그 자체로 하나의 모델"이라는 시각을 세우면, 난립하던 방법들이 같은 클래스로 묶이고, 그 클래스 안에서 유일성을 증명할 길이 열린다. 통합과 유일성 증명이 같은 출발점에서 나온 셈이다.

---

3. Background

먼저 사전지식이다. 원모델을 $f$, 설명모델을 $g$라 두고, 이 논문은 단일 입력 $x$의 예측 $f(x)$를 해석하는 local 설명에 집중했다. 핵심 장치는 단순화 입력 $x'$로, 각 feature의 존재/부재를 0과 1로 표현한 이진 벡터다. 매핑 함수 $h_x$가 이 이진 벡터를 원래 입력 공간으로 되돌리며(예: 이미지에서 1은 슈퍼픽셀 유지, 0은 평균값으로 대체해 "결측"을 표현), 설명모델은 $g(z') \approx f(h_x(z'))$가 되도록 맞춘다.

또 하나의 축은 협조 게임이론의 Shapley value다. 여러 참가자가 협력해 만든 이득을 각자에게 공정하게 배분하는 방법으로, 한 참가자의 기여를 가능한 모든 합류 순서에 대해 평균 내어 구한다. Lundberg와 Lee는 feature를 "참가자", 예측값을 "이득"으로 대응시켜 이 50년대 이론을 모델 해석으로 끌어왔다.

관련 연구 계보를 보면, 한쪽에는 고전 Shapley regression·Shapley sampling과 QII(Quantitative Input Influence)가 있었고, 다른 쪽에는 2016년 LIME, 그리고 DeepLIFT·LRP가 있었다. 본 논문의 기여는 이 갈래들을 additive feature attribution이라는 단일 클래스로 묶고, 직전 SOTA들과의 결정적 차이를 드러낸 데 있다. LIME과 DeepLIFT가 개별 휴리스틱에 의존한 반면, SHAP는 세 속성을 만족하는 유일성이 보장된 이론적 기반을 제시했다.

방법	핵심 아이디어	이론적 보장	한계
LIME	국소 선형 근사 회귀	휴리스틱 파라미터	local accuracy/consistency 위반 가능
DeepLIFT	참조값 대비 기여 역전파	summation-to-delta	선형화 규칙이 휴리스틱
Classic Shapley	부분집합별 재학습 차이 평균	세 속성 만족	$2^{
SHAP (본 논문)	Shapley value = 통합 측도	유일해 증명	정확 계산 난해 → 근사 필요

---

4. Method

SHAP의 파이프라인은 단순했다. 원모델 $f$와 해석 대상 입력 $x$가 들어오면, 각 feature의 존재/부재를 이진 벡터 $x' \in {0,1}^M$로 단순화하고 매핑 $h_x$로 원공간에 되돌린다. 그 위에서 additive 설명모델 $g$를 맞추면, 출력은 각 feature의 기여 $\phi_i$ — 곧 SHAP value다. 핵심은 이 $\phi_i$를 임의로 고르지 않고, 만족해야 할 속성에서 거꾸로 유도했다는 데 있다.

flowchart LR
    A["원모델 f + 입력 x"] --> B["단순화 입력 x′ ∈ {0,1}^M"]
    B --> C["매핑 h_x: 존재=원값 / 부재=조건부 기댓값"]
    C --> D["additive 설명모델 g(z′)=φ₀+Σφᵢz′ᵢ"]
    D --> E["SHAP value φᵢ 출력"]
    E --> F["f(x) = φ₀ + Σφᵢ 로 정확 복원"]

모듈 A: Additive Feature Attribution 클래스

저자들이 던진 첫 장치는 Definition 1이었다. 어떤 local 설명이든 이진 변수의 선형 함수로 쓸 수 있다고 봤다.

$$g(z') = \phi_0 + \sum_{i=1}^{M} \phi_i z'_i$$

이 한 줄이 LIME·DeepLIFT·LRP·고전 Shapley 세 갈래를 전부 빨아들였다. LIME은 가중 선형회귀로 이 형태를 직접 맞췄고, DeepLIFT는 summation-to-delta 속성 $\sum_i C_{\Delta x_i \Delta o} = \Delta o$에서 $\phi_i = C_{\Delta x_i \Delta o}$, $\phi_0 = f(r)$로 두면 그대로 식 (1)이 됐다. 형태가 같다. 그래서 비교가 가능해졌다.

각 $\phi_i$는 feature $i$가 예측에 보탠 몫이고, 다 더하면 원모델 출력 $f(x)$를 근사한다. "설명은 곧 더하기 분해"라는 관점이 여기서 굳어졌다.

모듈 B: 세 속성과 유일성(Theorem 1)

그다음이 이 논문의 진짜 한 방이었다. 좋은 설명이 갖춰야 할 세 가지를 공리로 박았다. local accuracy($g(x') = f(x)$, 설명이 원출력과 일치), missingness($x'_i=0 \Rightarrow \phi_i=0$, 빠진 feature는 기여 0), consistency(어떤 feature의 한계 기여가 커지면 그 귀속도 줄지 않음). 셋 다 상식이다.

Theorem 1은 이 셋을 동시에 만족하는 $g$가 딱 하나뿐임을 증명했다.

$$\phi_i(f,x) = \sum_{z' \subseteq x'} \frac{|z'|!,(M - |z'| - 1)!}{M!},\big[f_x(z') - f_x(z' \setminus i)\big]$$

이 수식이 곧 1953년 Lloyd Shapley가 정의한 Shapley value다. $z' \setminus i$는 $z'_i$를 0으로 끈 벡터이고, 대괄호 안은 "feature $i$가 합류할 때의 한계 기여"다. 앞의 계수는 그 기여를 가능한 모든 합류 순서에 대해 평균 내는 가중치다. Young(1985)의 결과를 빌리면 이 세 공리를 만족하는 값은 Shapley value 외에 없다. 휴리스틱하게 손실·커널을 고른 LIME이 직관에 어긋나는 이유가 여기서 드러났다. 공리를 어기면 답이 어긋난다.

모듈 C: Kernel SHAP — 회귀가 Shapley를 복원하게 만들기

문제는 식 (8)이 $2^M$ 부분집합을 훑어야 한다는 점이었다. 사실상 계산 불가다. 저자들은 LIME의 회귀 틀(식 2)에 정답이 숨어 있다고 봤다. LIME도 additive 클래스이므로, 손실 $L$·가중 커널 $\pi_{x'}$·정규화 $\Omega$만 제대로 고르면 회귀해가 Shapley value를 복원할 수 있다. LIME은 이걸 휴리스틱하게 골라서 빗나갔을 뿐이다.

Theorem 2가 그 정답 가중치를 줬다. $\Omega(g)=0$, 손실은 제곱 가중오차, 그리고 커널은:

$$\pi_{x'}(z') = \frac{M-1}{\binom{M}{|z'|},|z'|,(M - |z'|)}$$

이 Shapley kernel이 핵심이었다. $|z'| \in {0, M}$일 때 가중치가 무한대로 발산해 $\phi_0 = f_x(\emptyset)$와 $f(x) = \sum_i \phi_i$를 제약으로 강제한다. 직관은 간단하다. 식 (8)은 평균의 차이이고, 평균은 최소제곱 추정량이다. 그러니 최소제곱 회귀가 Shapley를 토해내게 만드는 커널이 존재할 수밖에 없다. 덕분에 모델 비의존(model-agnostic) 추정이 가중 선형회귀 한 번으로 풀렸다.

모듈 D: Deep SHAP — 신경망 합성구조 활용

신경망은 단순 컴포넌트의 합성이다. 저자들은 DeepLIFT의 multiplier를 SHAP value로 재정의해, 컴포넌트별 해석해를 역전파로 이어 붙였다.

$$m_{y_i f_3} = \sum_{j=1}^{2} m_{y_i f_j}, m_{x_j f_3}, \qquad \phi_i(f_3, y) \approx m_{y_i f_3},(y_i - E[y_i])$$

DeepLIFT의 참조값을 식 (12)의 $E[x]$로 해석하면, DeepLIFT는 feature 독립·모델 선형 가정 아래 SHAP를 근사하는 셈이 된다. 선형·max pooling·단일입력 활성 같은 작은 조각은 SHAP 값을 해석적으로 즉시 구할 수 있어, 휴리스틱한 선형화 규칙을 고를 필요가 사라졌다. 빠르다. 그러면서 일관성도 챙겼다.

위 그림에서 왼쪽(A)의 파란 Shapley 커널은 양 끝($|z'|$이 0이나 $M$ 근처)에서 가중치가 치솟고 가운데서 가라앉는 대칭형을 보였다. 반면 초록색 LIME 커널(코사인·L2 거리)은 단조롭게 깔려 본질적으로 다른 모양이었다 — 이 차이가 LIME이 Shapley를 복원하지 못한 직접 원인이었다. 오른쪽(B)은 $2^{15}$개 부분집합 규모의 신경망에서도 컴포넌트 해석해를 chain rule로 이어 붙여 전체 근사를 빠르게 만드는 Deep SHAP의 역전파 구조를 보여줬다.

마지막으로 학습 전략이다. SHAP는 별도 학습이 없다. 결측 feature를 조건부 기댓값 $f(h_x(z')) = E[f(z) \mid z_S]$로 정의하고, feature 독립을 가정하면 $E_{z_{\bar S}}[f(z)]$로, 모델 선형까지 가정하면 $f([z_S, E[z_{\bar S}]])$로 단순화한다. 정규화는 $\Omega(g)=0$으로 끈다. 가정을 얹을수록 계산은 가벼워지고, 보장은 그만큼 느슨해진다. 이 trade-off가 뒤의 한계로 이어진다.

---

5. Experiments

검증은 세 갈래였다. 계산 효율은 decision tree 두 종 — dense(10개 feature 전부 사용)와 sparse(100개 중 3개만 사용) — 에서 단일 입력을 설명하며 쟀다. 인간 직관 일치는 Amazon Mechanical Turk로 각각 30명·52명을 모아 비교했고, 이미지 판별은 MNIST에 학습된 conv net(conv 2층 + dense 2층 + 10-way softmax)으로 따졌다. 베이스라인은 LIME·Shapley sampling·DeepLIFT였고, 메트릭은 모델 평가 횟수 대비 feature importance 추정 수렴, 그리고 마스킹 시 log-odds 변화였다.

메인 결과는 Kernel SHAP의 샘플 효율이었다. 200~1000회 함수 평가 구간에서 200번 반복 추정의 10·90 퍼센타일을 그렸는데, debiased lasso를 얹은 Kernel SHAP는 적은 평가로 true Shapley value에 빠르게 안착했다. Shapley sampling은 같은 정확도에 더 많은 평가를 요구했다. LIME은 아예 다른 값으로 수렴했다 — 같은 additive 클래스인데도 local accuracy·consistency를 어겨 SHAP 값에서 크게 벗어났다.

위 그림에서 가로축은 원모델 평가 횟수, 세로축은 한 feature의 importance 추정값이었다. 파란 SHAP와 보라 Shapley sampling은 회색 true 값 선에 수렴했지만, 보라 쪽 분산 띠가 더 넓어 같은 정확도에 더 많은 평가가 필요함이 드러났다. 초록 LIME은 dense·sparse 양쪽 모두 true 선과 동떨어진 자리에 평평하게 깔렸다. 정규화를 더한 SHAP의 띠가 가장 좁았다 — 이게 ablation 성격의 관찰이다. debiased lasso라는 한 컴포넌트가 추정 분산을 눈에 띄게 줄였다.

두 번째는 인간과의 일치였다. 첫 과제는 sickness score 모델로, 출력은 fever·cough 둘 다 있으면 2, 하나만 있으면 5, 없으면 0이었다. 두 번째는 max allocation 이야기로, 세 사람이 각각 5·4·0문제를 맞혀 최대값에 따라 $5를 번 상황을 두고 공을 배분하게 했다. SHAP는 양쪽 다 인간 분포와 가장 가깝게 붙었다. LIME은 fever·cough에 음수 기여를 줬고, Orig. DeepLIFT는 1번 사람에게 전부 몰아주는 어긋난 귀속을 냈다.

위 그림 (A)에서 SHAP(파랑)는 fever·cough에 인간과 같은 양의 기여를 줬지만 LIME(초록)은 –1 부근의 음수로 떨어졌다. (B)에서는 1·2번 사람에게 3·2 수준으로 나눈 인간·SHAP와 달리, Orig. DeepLIFT(빨강)는 1번에게 5를 통째로 줬다. max pooling 함수에서 DeepLIFT가 풀지 못한 미해결 문제를, SHAP가 정면으로 메운 장면이다.

세 번째는 MNIST 판별이었다. 8을 3으로 바꾸도록 고른 픽셀의 20%를 마스킹한 뒤 log-odds 변화를 20장에 걸쳐 쟀다. SHAP의 중앙값이 약 45로 가장 컸고, New DeepLIFT가 약 42, LIME이 약 40, 그리고 Shapley 근사가 없는 Orig. DeepLIFT가 약 32로 가장 낮았다.

위 그림 (A)의 빨강은 해당 클래스 확률을 올리는 영역, 파랑은 내리는 영역을 표시했고, SHAP 행의 red/blue 분리가 가장 또렷했다. (B)의 박스플롯에서 Shapley 값에 가까운 추정일수록 log-odds 변화 중앙값이 컸다 — SHAP가 클래스 간 판별을 더 잘 짚는다는 정량 근거였다. New DeepLIFT가 Orig.보다 위로 올라간 점은, SHAP에 가까워질수록 귀속이 나아진다는 논문의 주장을 그대로 받쳤다.

---

6. 직관과 시각 자료

SHAP를 한 장으로 설명하는 그림이 Figure 1이었다. 아무 feature도 모를 때의 예측 base value $E[f(z)]$에서 출발해, feature를 하나씩 조건화하며 실제 출력 $f(x)$까지 누적해 가는 여정으로 그렸다.

위 이미지는 왼쪽 base value에서 시작해 $\phi_1, \phi_2, \phi_3$이 차례로 출력을 밀어 올리고 $\phi_4$가 다시 끌어내리며(빨간 화살표) 최종 $f(x)$에 닿는 경로를 보여줬다. 각 화살표 길이가 그 feature의 SHAP 값이고, 막대를 다 합치면 정확히 $f(x) - E[f(z)]$가 된다 — local accuracy가 시각적으로 박힌 셈이다. 다만 이 그림은 단 하나의 합류 순서만 그렸다. 모델이 비선형이거나 feature가 독립이 아니면 더하는 순서가 결과를 바꾸므로, 실제 SHAP 값은 가능한 모든 순서에 대한 $\phi_i$의 평균으로 정의됐다. 식 (8)의 그 계수가 바로 이 "모든 순서 평균"을 수행하는 가중치였다.

깨달음은 한 줄로 모인다. 좋은 설명은 손실·커널을 감으로 고르는 휴리스틱이 아니라, 공정 배분 공리에서 유도되는 유일해라는 것이다. Figure 1의 누적 막대가 직관적으로 읽히는 이유와, Figure 4에서 인간이 매긴 중요도가 SHAP와 겹친 이유가 같은 뿌리에서 나왔다. 속성을 만족하니 직관과 맞는다. 이 인과가 SHAP를 표준 도구로 만든 출발점이었다.

---

7. Critical View

저자가 가장 적게 다룬 약점은 결측 feature 처리에 깔린 feature 독립 가정이다. SHAP는 빠진 feature를 조건부 기댓값 $E[f(z)\mid z_S]$로 정의하지만, Kernel SHAP와 Deep SHAP는 계산을 위해 이를 $E_{z_{\bar S}}[f(z)]$로 풀어 사실상 독립을 가정했다. 내가 §4를 다시 읽었을 때 헷갈린 지점이 바로 여기였다. 상관이 강한 feature가 많으면 모델은 학습 분포에 없던 비현실적 조합 위에서 평가되고, 그 위에서 매겨진 귀속이 "공정"하다는 보장은 흔들린다. 유일성 증명은 깔끔했지만, 그 증명이 서 있는 토대($f_x$의 정의 자체)가 근사 단계에서 조용히 갈아 끼워졌다.

두 번째는 실험의 일반화 폭이다. §5의 인간 직관 실험은 2증상 sickness score와 max allocation 같은 합성 과제 위주였다. 정답을 인간이 직관으로 맞출 수 있을 만큼 단순했기에 SHAP가 인간 분포에 붙은 게 인상적이긴 했지만, 솔직히 이건 SHAP가 옳다는 증거라기보다 "단순 과제에서 어긋나지 않는다"는 증거에 가깝다. 수십 개 feature가 얽힌 실세계 모델에서 인간이 매긴 중요도와 SHAP가 여전히 겹치는지는 이 논문만으로는 알 수 없다. MNIST log-odds 실험이 그나마 고차원이었지만, 거기서도 메트릭은 "Shapley에 가까울수록 좋다"는 동어반복적 구조에 가까웠다.

세 번째는 계산과 분산이다. 정확한 SHAP는 여전히 $2^M$ 비용이고, Kernel SHAP의 정확도는 샘플 수·debiased lasso 같은 컴포넌트에 의존했다. §5의 ablation이 보여준 건 정규화가 분산을 줄인다는 사실인데, 저자가 이를 강점으로 봤지만 나는 반대로 읽혔다 — 추정이 하이퍼파라미터에 그만큼 민감하다는 뜻이기도 하다. 다만 공식 구현이 공개돼 재현성 자체는 양호했다.

후속 질문은 자연스럽게 따라온다. 상관 feature를 독립 가정 없이 다루는 법, 트리 모델에서 정확·고속 추정을 여는 길(이후 TreeSHAP가 메웠다), local 설명을 모아 전역 구조나 인과로 끌어올리는 확장이 그것이다. 통합은 끝났지만, 통합이 기댄 가정들을 하나씩 풀어내는 일은 이 논문 다음의 몫으로 남았다.

---

8. Take-aways

• 난립하던 6개 설명법이 하나의 additive feature attribution 클래스로 묶였다.
• local accuracy·missingness·consistency를 동시에 만족하는 귀속은 Shapley value 단 하나뿐이었다.
• Kernel SHAP·Deep SHAP가 이 이론을 적은 모델 평가로 돌아가는 실용 도구로 바꿨다.
• 다만 유일성은 feature 독립 근사 위에 서 있어, 상관이 강하면 토대가 흔들렸다.
• 공리를 먼저 박으면 답이 따라온다 — 그렇다면 당신의 설명은 어떤 공리 위에 서 있는가?