설명 가능한 AI(XAI)

설명 가능한 AI(XAI)는 인간 사용자가 생성된 결과와 결과물을 이해하고 신뢰할 수 있도록 하는 일련의 프로세스, 도구 및 방법을 말합니다. 이해하고 신뢰할 수 있는 머신러닝(ML) 알고리즘. As 인공 지능(AI) 시스템 특히 딥 러닝(DL) 영역에서 인공지능(AI) 시스템이 딥 러닝(DL)의 영역에서 인공지능 시스템은 종종 "블랙박스"로 작동하는 경우가 많습니다. 즉, 시스템이 정확한 예측을 내릴 수는 있지만 그 결정에 도달하기 위해 사용된 내부 논리가 내부 로직이 불투명하거나 사용자에게 숨겨져 있다는 뜻입니다. XAI는 이 과정을 조명하여 복잡한 신경망과 인간 사이의 복잡한 신경망과 인간의 간극을 좁히는 것을 목표로 합니다.

설명 가능성이 중요한 이유

XAI의 주요 목표는 AI 시스템의 투명성, 해석 가능성, 책임성을 보장하는 것입니다. 이는 모델 성능을 디버깅하고 개선하는 데 모델 성능을 디버깅하고 개선하는 데도 중요하지만, 이해관계자와의 신뢰를 구축하는 데도 똑같이 중요합니다. 안전이 중요한 분야에서 사용자는 모델의 결정이 허위 상관관계가 아닌 가짜 상관관계. 예를 들어 NIST AI 위험 관리 프레임워크는 다음을 강조합니다. 설명 가능성을 신뢰할 수 있는 시스템의 핵심 특성으로 강조합니다. 또한, 다음과 같은 새로운 규정이 등장하고 있습니다. 유럽연합의 AI 법과 같은 새로운 규정은 고위험 AI 시스템에 대해 고위험 AI 시스템은 자동화된 결정에 대해 이해할 수 있는 설명을 제공해야 합니다.

XAI를 구현하는 것은 또한 다음을 유지하는 데 중요한 역할을 합니다. AI 윤리. 모델의 다양한 기능에 대한 가중치를 시각화함으로써 개발자는 알고리즘 편향성을 detect 완화하여 알고리즘 편향을 감지하고 완화하여 AI 배포 의 공정성을 높일 수 있습니다. 다음과 같은 이니셔티브 DARPA의 설명 가능한 AI 프로그램 와 같은 이니셔티브는 이러한 강력한 도구를 비전문가도 쉽게 사용할 수 있도록 하는 기술에 대한 상당한 연구에 박차를 가했습니다.

일반적인 XAI 기술

설명 가능성을 달성하기 위한 몇 가지 접근 방식이 있으며, 종종 모델에 구애받지 않는지 또는 모델에 따라 모델별 접근 방식입니다.

• SHAP(Shapley Additive exPlanations): 이 게임 이론적 접근 방식은 특정 예측에 대한 각 기능에 각 특징에 기여도를 할당합니다. SHAP 값은 기능 중요도에 대한 통합된 척도를 제공합니다, 사용자가 어떤 입력이 모델의 출력을 변화시켰는지 정확히 확인할 수 있도록 도와줍니다.
• LIME(로컬 해석 가능한 모델 독립적 설명): 이 기법은 특정 예측을 중심으로 복잡한 모델을 을 특정 예측을 중심으로 로컬에서 더 간단한 모델로 근사화하는 기법입니다. LIME은 입력을 조정하여 개별 예측을 설명하고 출력이 어떻게 변화하는지 관찰하여 개별 예측을 설명하는 데 도움을 주므로 블랙박스 모델에 매우 효과적입니다.
• 살리언스 맵: 컴퓨터 비전에서 널리 사용되는 컴퓨터 비전에서 널리 사용되는 중요도 맵은 이미지에서 모델의 결정에 영향을 미친 이미지에서 모델의 결정에 가장 큰 영향을 미친 픽셀을 강조 표시합니다. 다음과 같은 기법 Grad-CAM(그라데이션 가중 클래스 활성화 매핑) 은 원본 이미지 위에 히트맵을 생성하여 원본 이미지에 오버레이하여 컨볼루션 신경망 객체를 식별하기 위해 "바라본" 위치를 보여줍니다.

실제 애플리케이션

설명 가능한 AI는 의사 결정의 정당성이 결정 자체만큼이나 중요한 산업을 변화시키고 있습니다.

1. 의료 및 진단: In 의료 이미지 분석에서 AI 모델은 종양과 같은 이상 징후를 감지하여 영상의학과 전문의를 지원합니다. XAI 지원 시스템은 단순히 확률을 출력하는 데 그치지 않습니다. 경고를 유발한 엑스레이나 MRI의 특정 영역을 강조 표시합니다. 이를 통해 의료 전문가는 다음을 수행할 수 있습니다. AI의 결과를 자신의 전문 지식과 비교하여 검증함으로써 더 안전한 의료 서비스를 제공할 수 있습니다. 의료 분야의 AI.
2. 금융 서비스: 은행이 신용 평가에 AI를 사용할 때 대출 신청을 거부하려면 다음과 같은 규정을 준수해야 합니다. 다음과 같은 규정을 준수해야 하는 명확한 이유가 필요합니다. 신용 기회 균등법과 같은 규정을 준수해야 합니다. XAI 도구는 거절을 '높은 부채 비율' 또는 "불충분한 신용 기록"과 같은 이해하기 쉬운 요인으로 분류하여 고객과 감사관에게 필요한 투명성을 제공합니다.

관련 용어 차별화

AI 용어집에서 XAI를 관련 개념과 구별하는 것이 도움이 됩니다:

• AI의 투명성: 투명성은 데이터 소스, 모델 아키텍처, 개발 프로세스를 포함한 전체 시스템의 개방성을 의미하는 보다 광범위한 개념입니다. 아키텍처 및 개발 프로세스를 포함한 전체 시스템의 개방성을 의미합니다. XAI는 특히 모델의 결과와 추론을 이해하기 쉽게 만드는 추론을 이해할 수 있도록 하는 방법에 중점을 둡니다. 투명성은 학습 데이터 배포를 공유하는 것을 의미할 수 있습니다. 트레이닝 데이터 배포를 공유하는 것을 의미할 수도 있지만, XAI는 특정 입력이 특정 결과를 산출한 이유를 설명합니다.
• XAI와 해석 가능성: 종종 같은 의미로 사용되지만, 해석 가능성은 일반적으로 모델 구조가 얼마나 모델의 구조가 본질적으로 이해할 수 있는지를 나타냅니다. 의사 결정 트리), 설명 가능성은 종종 와 같이 복잡하고 해석이 불가능한 모델에 적용되는 사후적 방법을 포함하며 심층 신경망

코드 예제: 추론 결과 해석하기

다음과 같은 모델을 사용하는 경우 YOLO11 에 대한 물체 감지결과물을 이해하는 것이 설명 가능성을 향한 첫 번째 단계입니다. 그리고 ultralytics 패키지는 탐지 데이터에 쉽게 액세스할 수 있는 기능을 제공합니다. 추가 XAI 분석 또는 시각화를 위한 기반이 됩니다.

from ultralytics import YOLO

# Load the YOLO11 model (official pre-trained weights)
model = YOLO("yolo11n.pt")

# Run inference on an image to detect objects
results = model("https://ultralytics.com/images/bus.jpg")

# Display the annotated image to visually interpret what the model detected
# Visual inspection is a basic form of explainability for vision models.
results[0].show()

경계 상자와 클래스 레이블을 시각화함으로써 사용자는 기본적인 '눈 테스트' 검증을 수행할 수 있습니다. 모델 평가 및 모니터링의 모델 평가 및 모니터링의 기본 요소입니다. 더 많은 연구자들은 이러한 결과물을 세부적인 특징 어트리뷰션에 맞게 조정된 라이브러리와 통합하는 경우가 많습니다.