YOLO Vision 2025를 놓치지 마세요!
2025년 9월 25일
10:00 — 18:00 BST
하이브리드 이벤트
Yolo Vision 2024
용어집

설명 가능한 AI(XAI)

설명 가능한 AI(XAI)를 발견하십시오: 더 스마트한 AI 결정을 위해 해석 가능한 통찰력을 통해 신뢰를 구축하고, 책임감을 보장하고, 규정을 준수하십시오.

설명 가능한 AI(XAI)는 머신러닝 모델이 내린 결정을 사용자가 이해하고 신뢰할 수 있도록 하는 프로세스 및 방법론의 집합입니다. 인공지능(AI)이 더욱 발전함에 따라 많은 모델이 '블랙 박스'처럼 작동하여 내부 로직을 이해하기 어렵게 만듭니다. XAI는 이러한 블랙 박스를 개방하여 모델 결과에 대한 명확한 설명을 제공하고 투명성과 책임성을 강화하는 것을 목표로 합니다. XAI 개발은 DARPA의 설명 가능한 AI 프로그램과 같은 이니셔티브에 의해 크게 촉진되었으며, 이 프로그램은 최종 사용자가 학습된 모델과 결정을 이해하고 신뢰할 수 있는 AI 시스템을 만드는 것을 목표로 했습니다.

설명 가능한 AI가 중요한 이유는 무엇인가?

XAI에 대한 필요성은 실용적이고 윤리적인 고려 사항에 의해 주도되어 다양한 영역에 걸쳐 있습니다. 신뢰 구축은 기본입니다. 사용자와 이해 관계자는 AI 시스템이 결론에 도달하는 방식을 이해할 수 있다면 AI 시스템을 채택하고 의존할 가능성이 더 높습니다. 이는 헬스케어 분야의 AI자율 주행 차량과 같이 위험도가 높은 분야에서 특히 중요합니다. 설명 가능성은 개발자가 결함과 예상치 못한 동작을 식별하는 데 도움이 되므로 모델을 디버깅하고 개선하는 데에도 필수적입니다. 또한 XAI는 책임감 있는 AI 개발의 초석으로, 알고리즘 편향을 발견하고 완화하며 AI의 공정성을 보장하는 데 도움이 됩니다. 유럽 연합의 AI 법과 같이 규제가 증가함에 따라 AI 기반 결정에 대한 설명을 제공하는 것이 법적 요구 사항이 되고 있습니다.

XAI의 실제 응용 분야

  1. 의료 영상 분석: CNN(Convolutional Neural Network)과 같은 AI 모델이 의료 영상을 분석하여 질병을 탐지할 때 XAI 기술은 히트맵을 생성할 수 있습니다. 이 데이터 시각화는 모델이 뇌 스캔 데이터 세트의 종양과 같은 상태를 가장 잘 나타내는 것으로 판단한 이미지의 특정 영역을 강조 표시합니다. 이를 통해 방사선 전문의는 북미 방사선 학회(RSNA)와 같은 기관에서 설명한 대로 자신의 전문 지식에 따라 모델의 결과를 확인할 수 있습니다.
  2. 금융 서비스 및 신용 점수: 금융에서 AI 모델은 대출 신청을 승인하거나 거부하는 데 사용됩니다. 신청이 거부되면 규정상 명확한 이유가 필요한 경우가 많습니다. SHAP(SHapley Additive exPlanations) 또는 LIME(Local Interpretable Model-agnostic Explanations)과 같은 XAI 방법은 결정으로 이어진 주요 요인(예: 낮은 신용 점수, 높은 부채 대비 소득 비율)을 식별할 수 있습니다. 이는 규정 준수를 보장할 뿐만 아니라 세계 경제 포럼과 같은 기관에서 논의한 바와 같이 고객에게 투명성을 제공합니다.

관련 용어와의 구별

  • AI 투명성: 투명성은 밀접하게 관련되어 있지만 더 광범위한 개념입니다. AI 시스템의 데이터, 알고리즘 및 모델 배포 프로세스에 대한 통찰력을 갖는 것을 의미합니다. XAI는 모델의 개별 예측을 이해하기 쉽게 만드는 특정 도구와 기술을 제공하여 투명성의 핵심 구성 요소가 됩니다. 요컨대, 투명성은 전체 시스템의 명확성에 관한 것이고, XAI는 특정 결과물을 설명하는 데 중점을 둡니다.
  • AI 윤리(AI Ethics): 이는 AI 개발 및 사용을 지배해야 하는 도덕적 원칙과 가치와 관련된 광범위한 분야입니다. XAI는 핵심 윤리 원칙을 구현하는 실질적인 메커니즘 역할을 합니다. 모델을 설명 가능하게 함으로써 개발자와 감사자는 공정성, 책임성 및 잠재적 해악에 대해 모델을 더 잘 평가할 수 있으므로 XAI는 윤리적으로 건전한 AI를 구축하기 위한 중요한 도구입니다.

과제 및 고려 사항

의미 있는 설명 가능성을 달성하는 것은 복잡할 수 있습니다. 모델 성능과 해석 가능성 사이에는 종종 상충 관계가 있습니다. 매우 복잡한 딥 러닝 모델은 더 정확할 수 있지만 설명하기가 더 어려울 수 있으며, 이는 "비전 모델의 역사"에 자세히 설명되어 있습니다. 또한 자세한 모델 로직을 노출하면 지적 재산권에 대한 우려가 제기되거나 적대적 공격에 대한 취약점이 발생할 수 있습니다. Partnership on AIACM FAccT와 같은 학술 컨퍼런스와 같은 조직은 이러한 윤리적 및 실질적인 문제를 해결하기 위해 노력합니다.

Ultralytics는 다양한 도구와 리소스를 통해 모델 이해를 지원합니다. Ultralytics HUB 내의 시각화 기능과 Ultralytics Docs의 자세한 가이드(예: YOLO 성능 지표 설명)는 사용자가 Ultralytics YOLOv8과 같은 모델의 동작을 평가하고 해석하는 데 도움이 됩니다. 이를 통해 개발자는 제조업에서 농업에 이르기까지 다양한 분야에서 더욱 안정적이고 신뢰할 수 있는 애플리케이션을 구축할 수 있습니다.

Ultralytics 커뮤니티에 참여하세요

AI의 미래에 동참하세요. 글로벌 혁신가들과 연결하고, 협력하고, 성장하세요.

지금 참여하기
클립보드에 링크가 복사되었습니다.