Explainable AI (XAI)

설명 가능한 AI(XAI)는 인공지능(AI) 모델의 출력을 사람이 이해할 수 있도록 만드는 방법들의 집합입니다. 어떤 입력이 예측에 영향을 주었는지, 모델이 전반적으로 어떻게 동작하는지, 모델의 답을 언제 신뢰할 수 있는지 설명합니다. 수백만 또는 수십억 개의 파라미터를 가진 딥러닝(DL) 모델은 정확하지만 불투명한 블랙박스처럼 작동하며, XAI는 개발자, 사용자, 감사자, 규제 기관에 내부를 들여다볼 수 있는 방법을 제공합니다. 설명은 모델 디버깅, 알고리즘 편향 탐지, 영향을 받는 사람들에게 결정을 정당화하고 법적 요건을 충족하는 데 사용됩니다. 2017년에 시작된 DARPA의 설명 가능한 AI 프로그램이 이 용어를 널리 알렸습니다.

설명 가능성과 해석 가능성#

두 용어는 흔히 동의어로 사용됩니다. 연구자들이 두 용어를 구분할 때는 선형 모델, 소규모 의사결정 트리, 개념 병목 모델처럼 설계 자체가 이해하기 쉬운 모델을 해석 가능한 모델이라고 합니다. 설명 가능성 기법은 그렇지 않은 모델에 대해 사후 설명을 생성합니다. Cynthia Rudin은 2019년 Nature Machine Intelligence 논문에서 사후 설명이 모델의 실제 연산을 잘못 나타낼 수 있으므로 중대한 영향을 미치는 의사결정에는 해석 가능한 모델을 사용해야 한다고 주장했습니다.

인접한 두 개념은 더 광범위하거나 심층적인 내용을 다룹니다. AI 투명성은 데이터 출처, 설계, 의도된 사용 등을 포함한 시스템 전체의 개방성을 의미합니다. 메커니즘 해석 가능성은 네트워크의 내부 회로를 역공학하는 접근 방식이며, 주로 대규모 언어 모델에 적용됩니다.

설명의 유형#

설명은 적용 범위와 필요한 접근 수준이 서로 다릅니다. 국소 설명은 특정 대출이 거부된 이유처럼 단일 예측을 설명하고, 전역 설명은 전반적으로 어떤 특성이 가장 중요한지처럼 모든 예측에 걸친 동작을 설명합니다. 모델 독립적 방법은 모델을 블랙박스로 취급하고 입력과 출력만 조회합니다. 모델 종속적 방법은 기울기나 어텐션 가중치와 같은 모델 내부 정보를 사용합니다.

일반적인 XAI 기법#

• SHAP (SHAP): 협력 게임 이론의 Shapley 값을 사용해 각 feature에 예측에 대한 기여도를 할당하므로, 기여도의 합은 예측값과 기준값 간 차이와 정확히 일치합니다.
• LIME (LIME): 입력을 여러 차례 변형하고 예측이 어떻게 달라지는지 기록한 다음, 희소 선형 모델과 같은 간단한 대리 모델을 학습시켜 해당 입력 주변에서 블랙박스 모델의 동작을 모방합니다.
• 순열 feature 중요도: 한 번에 하나의 feature를 섞고 모델 점수가 얼마나 하락하는지 측정하는 전역 설명 기법으로, 어떤 모델에도 적용할 수 있습니다.
• 반사실적 설명: 대출이 승인되었을 소득 수준처럼, 결정을 뒤집는 데 필요한 최소한의 입력 변화를 제시합니다.
• Saliency map: 비전 모델의 출력에 가장 큰 영향을 준 픽셀을 강조합니다. Grad-CAM과 같은 클래스 활성화 맵(CAM) 기법은 예측 클래스 점수의 gradient를 사용해 네트워크의 feature map에 가중치를 부여함으로써 근거를 나타내는 대략적인 히트맵을 생성합니다.

Ultralytics YOLO26은 prediction에 CAM 기법을 내장하고 있습니다. visualize=True를 설정하면 LayerCAM 히트맵이 저장됩니다. 이 히트맵은 detection head로 들어가는 feature map의 각 위치에 예측 클래스에 대한 해당 위치의 양의 gradient를 가중치로 적용합니다:

from ultralytics import YOLO

# COCO 사전 학습 YOLO26 detector를 불러옵니다
model = YOLO("yolo26n.pt")

# "person" 탐지(class 0)만 설명하는 LayerCAM 히트맵을 저장합니다
model.predict("https://ultralytics.com/images/bus.jpg", visualize=True, classes=[0])

실행 폴더에 bus_cam.jpg이 추가됩니다. 이는 이미지 위에 중첩된 히트맵으로, 따뜻한 색상은 person 점수를 높인 픽셀을 나타냅니다.

설명이 잘못된 정보를 전달하는 경우#

설명은 설득력 있어 보이더라도 모델에 대한 설명으로는 틀릴 수 있습니다. 2018년 연구 논문 "Saliency Maps의 건전성 검사"에서 연구자들은 네트워크의 학습된 가중치를 무작위화한 뒤, 몇 가지 널리 쓰이는 saliency 기법이 이전과 거의 동일한 맵을 생성한다는 사실을 발견했습니다. 이는 맵이 모델이 학습한 내용보다 입력 이미지의 경계를 더 많이 반영한다는 점을 보여줍니다. 2020년 연구에서는 의도적으로 편향된 분류기를 조작해 LIME과 SHAP이 무해한 feature를 보고하도록 하면서 실제 의사결정은 차별적으로 유지할 수 있음을 보였습니다. NIST의 설명 가능한 AI의 네 가지 원칙은 이 문제를 직접 다룹니다. 설명이 존재해야 하고, 대상 사용자에게 의미가 있어야 하며, 시스템의 처리 과정을 정확하게 반영해야 합니다. 또한 시스템은 설계된 조건 내에서만 작동해야 합니다.

응용 분야와 규제#

• 의료 영상 분석: 히트맵을 통해 영상의학 전문의는 모델이 X선에서 병변 자체를 지목했는지 확인하고, 스캐너 마커나 이미지에 삽입된 텍스트에 의존하는 모델을 찾아낼 수 있습니다.
• Shortcut 탐지: 최초 LIME 논문에서 설명 기법은 눈 배경의 눈에 의존하는 의도적으로 결함이 있는 허스키-늑대 분류기를 밝혀냈습니다.
• 신용 및 대출: 미국의 Equal Credit Opportunity Act에 따라 대출 기관은 복잡한 알고리즘으로 내린 결정이라도 예외 없이 신청자에게 거절의 구체적인 주요 사유를 알려야 합니다.

GDPR은 자동화된 의사결정의 대상이 된 사람에게 관련 논리에 관한 의미 있는 정보를 제공받을 권리를 보장합니다. EU AI Act 제13조는 고위험 시스템을 사용하는 사람이 출력을 해석할 수 있을 만큼 투명해야 한다고 규정하며, 제86조는 고위험 시스템을 기반으로 한 결정의 영향을 받은 사람에게 AI 시스템의 역할과 결정의 주요 요소에 대한 명확하고 의미 있는 설명을 제공받을 권리를 부여합니다.