설명 가능한 AI(XAI)가 의료, 보안, 자율 주행 등에서 AI 예측을 투명하고 신뢰할 수 있게 만들어 신뢰를 어떻게 구축하는지 알아보세요.
YOLO Vision 2025를 놓치지 마세요!
2025년 9월 25일
10:00 — 18:00 BST
하이브리드 이벤트
설명 가능한 AI(XAI)가 의료, 보안, 자율 주행 등에서 AI 예측을 투명하고 신뢰할 수 있게 만들어 신뢰를 어떻게 구축하는지 알아보세요.
인공 지능(AI) 도구(예: ChatGPT)의 응답을 보고 어떻게 그러한 결론에 도달했는지 궁금한 적이 있습니까? 그렇다면 AI의 '블랙 박스' 문제를 만난 것입니다. 이는 AI 모델이 데이터를 처리하고 분석하는 방법에 대한 명확성이 부족함을 나타내는 용어입니다. 최첨단 AI 알고리즘을 사용하는 AI 엔지니어와 과학자조차도 내부 작동 방식을 완전히 이해하기가 어렵다고 생각합니다. 실제로 IT 전문가의 22%만이 AI 도구의 기능을 진정으로 이해하고 있습니다.
AI 모델이 어떻게 결정을 내리는지에 대한 불확실성은 특히 헬스케어 분야의 컴퓨터 비전 및 금융 분야의 AI와 같은 중요한 영역에서 위험할 수 있습니다. 그러나 이러한 문제를 해결하고 투명성을 개선하기 위한 상당한 진전이 이루어지고 있습니다.
특히 설명 가능한 AI(XAI)는 이 문제 해결에만 집중합니다. 간단히 말해서 복잡한 머신 러닝 알고리즘에서 제공하는 결과 또는 출력을 사용자가 이해하고 신뢰하는 데 도움이 되는 일련의 프로세스 및 방법입니다.
XAI는 개발자가 AI 시스템이 예상대로 작동하는지 확인하는 데 도움이 될 수 있습니다. 또한 AI 회사가 규제 표준을 충족하는 데 도움이 될 수 있습니다. 이 기사에서는 설명 가능한 AI와 광범위한 사용 사례를 살펴봅니다. 시작해 보겠습니다!
AI를 사용할 때는 설명 가능성이 중요합니다. 이는 특히 의료와 같은 산업 분야의 애플리케이션에서 널리 사용되는 AI의 하위 분야인 컴퓨터 비전의 경우에 더욱 그렇습니다. 이렇게 민감한 산업 분야에서 비전 모델을 사용할 때는 모델의 작동 방식이 투명하고 모든 사람이 해석할 수 있어야 합니다.
컴퓨터 비전 모델의 해석 가능성은 사용자가 예측이 어떻게 이루어졌는지, 그 이면에 있는 논리를 더 잘 이해하는 데 도움이 됩니다. 투명성은 모델의 한계를 명확하게 설명하고 데이터가 윤리적으로 사용되도록 보장함으로써 모델의 작동 방식을 모든 사람이 명확하게 알 수 있도록 하여 이를 더합니다. 예를 들어, 컴퓨터 비전은 방사선 전문의가 X선 이미지에서 건강상의 합병증을 효율적으로 식별하는 데 도움이 될 수 있습니다.
그러나 정확하기만 한 비전 시스템으로는 충분하지 않습니다. 시스템은 또한 의사 결정을 설명할 수 있어야 합니다. 예를 들어 시스템이 이미지의 어느 부분이 결론으로 이어졌는지 보여줄 수 있다면 모든 결과가 더 명확해질 것입니다. 이러한 수준의 투명성은 의료 전문가가 결과를 다시 확인하고 환자 관리가 의료 기준을 충족하는지 확인하는 데 도움이 될 것입니다.
설명 가능성이 필수적인 또 다른 이유는 AI 회사가 책임을 지고 사용자의 신뢰를 구축하기 때문입니다. 신뢰할 수 있는 AI는 사용자가 AI 혁신이 안정적으로 작동하고 공정한 결정을 내리며 데이터를 책임감 있게 처리한다고 확신하도록 합니다.
이제 컴퓨터 비전에서 설명가능성이 왜 중요한지 논의했으므로 Vision AI에 사용되는 주요 XAI 기술을 살펴보겠습니다.
신경망은 인간의 뇌에서 영감을 받은 모델로, 상호 연결된 노드(뉴런) 계층을 통해 데이터를 처리하여 패턴을 인식하고 의사 결정을 내리도록 설계되었습니다. 이는 높은 정확도로 복잡한 컴퓨터 비전 문제를 해결하는 데 사용될 수 있습니다. 이러한 정확성에도 불구하고, 신경망은 설계상 여전히 블랙 박스입니다.
현저성 맵은 신경망이 이미지를 분석할 때 무엇을 보고 있는지 이해하는 데 도움이 되는 XAI 기술입니다. 또한 예상대로 작동하지 않는 경우 모델 문제를 해결하는 데 사용할 수도 있습니다.
현저성 맵은 이미지의 어떤 부분(픽셀)이 모델의 예측을 정의하는지에 집중하여 작동합니다. 이 프로세스는 역전파와 매우 유사하며, 모델은 예측에서 입력으로 다시 추적합니다. 그러나 오류에 따라 모델의 가중치를 업데이트하는 대신 각 픽셀이 예측에 얼마나 "중요한지"를 살펴봅니다. 현저성 맵은 이미지 분류와 같은 컴퓨터 비전 작업에 매우 유용합니다.
예를 들어, 이미지 분류 모델이 이미지를 개라고 예측하는 경우, Saliency Map을 통해 모델이 왜 개라고 생각하는지 이해할 수 있습니다. 이는 어떤 픽셀이 결과에 가장 큰 영향을 미치는지 식별하는 데 도움이 됩니다. Saliency Map은 이미지가 개라는 최종 예측에 기여한 모든 픽셀을 강조 표시합니다.
클래스 활성화 맵핑은 신경망이 이미지 분류 예측을 할 때 이미지의 어떤 부분에 집중하는지 이해하는 데 사용되는 또 다른 XAI 기술입니다. 이는 현저성 맵과 유사하게 작동하지만 특정 픽셀 대신 이미지에서 중요한 특징을 식별하는 데 중점을 둡니다. 특징은 모양이나 질감과 같이 모델이 이미지에서 감지하는 패턴 또는 세부 사항입니다.
Grad-CAM(Gradient Weighted Class Activation Mapping) 및 Grad-CAM++와 같은 방법은 몇 가지 개선 사항을 통해 동일한 아이디어를 기반으로 합니다.
다음은 CAM 작동 방식입니다.
Grad-CAM은 각 특징 맵이 최종 예측에 얼마나 영향을 미치는지 보여주는 신호와 같은 기울기(gradients)를 사용하여 이를 개선합니다. 이 방법은 GAP의 필요성을 없애고 재학습 없이 모델이 무엇에 집중하는지 쉽게 확인할 수 있게 합니다. Grad-CAM++는 긍정적인 영향에만 집중하여 결과를 더욱 명확하게 만듭니다.
반사실적 설명은 설명 가능한 AI의 중요한 요소입니다. 반사실적 설명은 발생하지 않았지만 발생할 수 있었던 대체 시나리오 또는 이벤트를 고려하여 상황이나 결과를 설명하는 것을 포함합니다. 특정 입력 변수의 변경이 다음과 같은 다양한 결과로 이어지는 방식을 보여줄 수 있습니다. “X가 발생하지 않았다면 Y도 발생하지 않았을 것이다.”
AI 및 컴퓨터 비전과 관련하여 반사실적 설명은 AI 모델이 다른 특정 결과를 생성하도록 하기 위해 입력(예: 이미지 또는 데이터)에서 필요한 가장 작은 변경 사항을 식별합니다. 예를 들어 이미지에서 객체의 색상을 변경하면 이미지 분류 모델의 예측이 '고양이'에서 '개'로 변경될 수 있습니다.
또 다른 좋은 예는 얼굴 인식 시스템에서 각도나 조명을 변경하는 것입니다. 이는 모델이 다른 개인을 식별하도록 하여 입력의 작은 변화가 모델의 예측에 어떻게 영향을 미칠 수 있는지 보여줍니다.
이러한 설명을 만드는 가장 간단한 방법은 시행착오를 거치는 것입니다. AI 모델이 원하는 결과를 제공할 때까지 입력의 일부(예: 이미지 또는 데이터의 특징)를 무작위로 변경할 수 있습니다. 다른 방법으로는 변경 사항을 찾기 위해 최적화 및 검색 기술을 사용하는 모델 독립적인 접근 방식과 필요한 변경 사항을 식별하기 위해 내부 설정 또는 계산에 의존하는 모델별 접근 방식이 있습니다.
이제 XAI가 무엇이고 주요 기술이 무엇인지 살펴보았으므로 실제 사용 방법을 살펴보겠습니다. XAI는 여러 분야에서 다양한 응용 분야를 가지고 있습니다. 잠재력을 강조하는 몇 가지 사용 사례를 살펴보겠습니다.
설명 가능한 AI는 AI 시스템이 어떻게 작동하고 특정 결정을 내리는지 더 쉽게 이해할 수 있도록 합니다. AI 모델에 대한 투명성은 신뢰와 책임감을 구축합니다. 지식은 힘이며 AI 혁신이 보다 책임감 있게 사용되도록 돕습니다. 의료, 보안, 자율 주행 및 법률 시스템과 같은 중요한 영역에서 XAI는 개발자와 사용자가 AI 예측을 이해하고, 오류를 식별하고, 공정하고 윤리적인 사용을 보장하는 데 사용될 수 있습니다. AI를 더욱 투명하게 만듦으로써 XAI는 기술과 인간의 신뢰 사이의 간극을 해소하여 실제 애플리케이션에 더욱 안전하고 안정적으로 사용할 수 있도록 합니다.
자세한 내용은 GitHub 저장소를 방문하여 커뮤니티에 참여하십시오. 솔루션 페이지에서 자율 주행 자동차의 AI 응용 분야와 농업 분야의 AI 응용 분야를 살펴보세요. 🚀
