설명 가능한 AI(XAI)에 대해 알아야 할 모든 것

ChatGPT와 같은 인공지능(AI) 도구의 응답을 보고 그것이 어떻게 그러한 결론에 도달했는지 궁금해한 적이 있으신가요? 그렇다면 여러분은 AI의 "블랙박스" 문제와 마주한 것입니다. 이는 AI 모델이 데이터를 처리하고 분석하는 방식에 대한 명확성 부족을 가리키는 용어입니다. 최첨단 AI 알고리즘을 정기적으로 다루는 AI 엔지니어와 과학조차도 그 내부 작동 방식을 완벽하게 이해하기란 어려울 수 있습니다. 실제로 IT 전문가 중 단 22%만이 AI 도구의 기능을 진정으로 이해하고 있습니다.

AI 모델이 결정을 내리는 방식을 둘러싼 불확실성은 헬스케어 분야의 컴퓨터 비전 및 금융 분야의 AI와 같이 중요한 영역에서 위험할 수 있습니다. 그러나 이러한 과제를 해결하고 투명성을 개선하기 위한 상당한 진전이 이루어지고 있습니다.

특히 설명 가능한 AI(XAI)는 이 문제를 해결하는 데 전적으로 초점을 맞추고 있습니다. 간단히 말해, 이는 인간 사용자가 복잡한 머신러닝 알고리즘이 제공하는 결과나 출력을 이해하고 신뢰할 수 있도록 돕는 일련의 프로세스와 방법입니다.

XAI는 개발자가 AI 시스템이 예상대로 작동하는지 확인하는 데 도움을 줄 수 있습니다. 또한 AI 기업이 규제 기준을 충족하는 데도 기여할 수 있습니다. 본 아티클에서는 설명 가능한 AI와 그 다양한 사용 사례를 살펴보겠습니다. 시작하겠습니다!

설명 가능한 AI의 중요성#

AI를 다룰 때 설명 가능성은 핵심입니다. 이는 헬스케어와 같은 산업의 응용 분야에서 널리 사용되는 AI의 하위 분야인 컴퓨터 비전 분야에서 특히 그렇습니다. 이처럼 민감한 산업에서 비전 모델을 사용할 때는 모델의 작동 방식이 모든 사람에게 투명하고 해석 가능해야 합니다.

컴퓨터 비전 모델의 해석 가능성은 사용자가 예측이 이루어진 방식과 그 이면의 로직을 더 잘 이해할 수 있도록 돕습니다. 투명성은 모델의 한계를 명확히 하고 데이터가 윤리적으로 사용되도록 보장함으로써 모델의 작동 방식을 모든 사람에게 명확하게 만들어 이를 보완합니다. 예를 들어, 컴퓨터 비전은 영상의학과 전문의가 X선 이미지에서 건강 문제를 효율적으로 식별하는 데 도움을 줄 수 있습니다.

그림 1. 건강함, 질병 있음, 활동성 결핵 및 잠복 결핵 분류를 보여주는, 비전 AI로 분석된 흉부 X선 사진.

그러나 정확성만 갖춘 비전 시스템으로는 충분하지 않습니다. 시스템은 자신의 결정을 설명할 수 있어야 합니다. 예를 들어 시스템이 이미지의 어느 부분이 결론으로 이어졌는지 보여줄 수 있다면 모든 결과가 더욱 명확해질 것입니다. 이러한 수준의 투명성은 의료 전문가가 자신의 진단을 재확인하고 환자 케어가 의료 표준을 충족하는지 확인하는 데 도움이 될 것입니다.

설명 가능성이 필수적인 또 다른 이유는 AI 기업에 책임을 부여하고 사용자의 신뢰를 구축하기 때문입니다. 신뢰할 수 있는 AI는 사용자가 AI 혁신이 안정적으로 작동하고 공정한 결정을 내리며 데이터를 책임감 있게 처리한다는 확신을 갖게 합니다.

컴퓨터 비전 분야의 주요 설명 가능한 AI 기술#

이제 컴퓨터 비전에서 왜 설명 가능성이 중요한지 논의했으니, 비전 AI에 사용되는 주요 XAI 기술을 살펴보겠습니다.

살리언시 맵(Saliency maps)#

신경망은 인간의 두뇌에서 영감을 받은 모델로, 상호 연결된 노드(뉴런) 계층을 통해 데이터를 처리하여 패턴을 인식하고 결정을 내리도록 설계되었습니다. 이들은 높은 정확도로 복잡한 컴퓨터 비전 문제를 해결하는 데 사용될 수 있습니다. 이러한 정확성에도 불구하고 이들은 여전히 설계상 블랙박스입니다.

살리언시 맵은 신경망이 이미지를 분석할 때 무엇을 보고 있는지 파악하는 데 도움을 주는 XAI 기술입니다. 또한 모델이 예상대로 작동하지 않을 경우 문제를 해결하는 데에도 사용될 수 있습니다.

샐리언시 맵은 이미지의 어떤 부분(픽셀)이 모델의 예측을 정의하는지에 초점을 맞추어 작동합니다. 이 프로세스는 모델이 예측에서 입력으로 거슬러 올라가는 역전파와 매우 유사합니다. 하지만 오류를 기반으로 모델의 가중치를 업데이트하는 대신, 각 픽셀이 예측에 얼마나 "중요한지"를 살펴볼 뿐입니다. 샐리언시 맵은 이미지 분류와 같은 컴퓨터 비전 태스크에 매우 유용합니다.

이미지 분류 모델이 이미지를 개라고 예측한 경우, 샐리언시 맵을 살펴봄으로써 모델이 왜 그것을 개라고 생각했는지 이해할 수 있습니다. 이를 통해 출력에 가장 큰 영향을 미치는 픽셀을 식별할 수 있습니다. 샐리언시 맵은 이미지가 개라는 최종 예측에 기여한 모든 픽셀을 강조 표시합니다.

그림 2. 입력 이미지와 샐리언시 맵의 나란한 보기.

클래스 활성화 매핑(CAM)#

클래스 활성화 맵(Class Activation Mapping)은 신경망이 이미지 분류 예측을 할 때 이미지의 어떤 부분에 집중하는지 이해하는 데 사용되는 또 다른 XAI 기법입니다. 이는 샐리언시 맵과 유사하게 작동하지만 특정 픽셀 대신 이미지의 중요한 특징을 식별하는 데 중점을 둡니다. 특징(Features)은 모델이 이미지에서 감지하는 모양이나 질감 같은 패턴이나 세부 정보입니다.

Gradient Weighted Class Activation Mapping(Grad-CAM) 및 Grad-CAM++와 같은 방법은 동일한 아이디어를 기반으로 하며 몇 가지 개선 사항을 추가했습니다.

CAM의 작동 방식은 다음과 같습니다:

• 신경망이 최종 결정을 내리기 전에 정보를 단순화하기 위해 전역 평균 풀링(GAP)이라는 단계를 사용합니다. GAP는 감지된 패턴의 모든 픽셀을 단일 평균값으로 결합하여 각 특징 맵(감지된 패턴의 시각적 표현)에 대한 요약을 생성합니다.
• 그런 다음 각 특징 맵에는 특정 클래스("새" 또는 "고양이" 등)를 예측하는 데 얼마나 중요한지를 나타내는 가중치가 부여됩니다.
• 그러나 CAM의 한 가지 제한 사항은 이러한 가중치를 계산하기 위해 모델을 재학습해야 할 수 있으며, 이는 시간이 오래 걸릴 수 있다는 점입니다.

Grad-CAM은 각 피처 맵이 최종 예측에 얼마나 영향을 미치는지 보여주는 신호와 같은 기울기(gradients)를 사용하여 이를 개선합니다. 이 메서드는 GAP의 필요성을 없애고 재학습 없이 모델이 무엇에 집중하는지 더 쉽게 확인할 수 있게 해줍니다. Grad-CAM++는 긍정적인 영향에만 집중함으로써 이를 한 단계 더 발전시켜 결과를 더욱 명확하게 만듭니다.

그림 3. CAM, Grad-CAM, Grad-CAM++ 비교.

반사실적 설명#

반사실적 설명은 설명 가능한 AI의 중요한 요소입니다. 반사실적 설명은 일어나지 않았지만 일어날 수 있었던 대안적 시나리오나 사건을 고려하여 상황이나 결과를 설명하는 것을 포함합니다. 이는 "만약 X가 일어나지 않았다면 Y는 발생하지 않았을 것이다"와 같이 특정 입력 변수의 변화가 어떻게 다른 결과로 이어지는지 보여줄 수 있습니다.

AI 및 컴퓨터 비전의 경우, 반사실적 설명(counterfactual explanation)은 AI 모델이 다르고 구체적인 결과를 생성하도록 유도하는 데 필요한 입력의 가장 작은 변경 사항(이미지 또는 데이터 등)을 식별합니다. 예를 들어 이미지에 있는 개체의 색상을 변경하면 이미지 분류 모델의 예측이 "고양이"에서 "개"로 바뀔 수 있습니다.

얼굴 인식 시스템에서 각도나 조명을 변경하는 것도 좋은 예가 될 수 있습니다. 이로 인해 모델이 다른 개인을 식별하게 될 수 있으며, 이는 입력의 사소한 변경이 모델의 예측에 어떻게 영향을 미칠 수 있는지 보여줍니다.

이러한 설명을 만드는 가장 간단한 방법은 시행착오입니다. AI 모델이 원하는 결과를 줄 때까지 입력의 일부(이미지의 특징이나 데이터 등)를 무작위로 변경할 수 있습니다. 다른 방법으로는 변경 사항을 찾기 위해 최적화 및 검색 기법을 사용하는 모델에 구애받지 않는(model-agnostic) 접근 방식과, 필요한 변경 사항을 식별하기 위해 내부 설정이나 계산에 의존하는 모델 종속적 접근 방식이 있습니다.

컴퓨터 비전에서 설명 가능한 AI의 응용#

이제 XAI가 무엇인지와 주요 기술을 살펴보았으니, 실생활에서 어떻게 사용되는지 알아보겠습니다. XAI는 많은 분야에서 다양한 응용 사례를 가지고 있습니다. 잠재력을 보여주는 몇 가지 사례를 살펴보겠습니다:

• 보안 시스템: XAI는 여권 및 운전면허증과 같은 신분증 문서에서 변조된 이미지를 감지하여 보안 시스템을 강화하는 데 사용될 수 있습니다. 이를 통해 이미지의 진위 여부를 보장하고, 신원 확인 프로세스를 강화하며, 민감한 응용 분야에서의 사기 활동을 방지합니다.

그림 4. 변조된 이미지를 감지하는 XAI의 작동 방식.

• 자율주행: 자율주행차의 온보드 비전 AI 시스템의 기능과 한계를 이해하는 것은 실제 도로에 배치하기 전에 차량을 테스트하는 데 있어 큰 부분이 될 수 있습니다. XAI는 자동차 회사가 문제를 더 명확하게 파악하고 해결하는 데 도움을 줄 수 있습니다.

• 법률 시스템: 비전 기반 문서 분석 시스템이 사법 의사 결정에 점점 더 많이 사용되고 있습니다. XAI는 공정한 결과를 지원하고 자동화된 판정이 면밀히 조사될 수 있도록 합니다. 또한 법률 전문가는 AI 모델이 어떻게 결정을 내리는지 이해하는 데 도움을 받습니다.

• 야생 동물 모니터링: 카메라 트랩은 야생 동물을 모니터링하고 동물 종에 대한 데이터를 수집하는 데 자주 사용됩니다. XAI는 AI가 이미지에서 이러한 종을 분류하는 방식을 설명하는 데 사용될 수 있습니다. 이를 통해 보존 노력을 더욱 신뢰할 수 있고 정확하게 만들 수 있습니다.

설명 가능한 AI에 대한 핵심 요약#

설명 가능한 AI는 AI 시스템이 어떻게 작동하고 왜 특정 결정을 내리는지 쉽게 이해할 수 있게 해줍니다. AI 모델에 대한 투명성은 신뢰와 책임감을 구축합니다. 지식은 힘이며 AI 혁신이 더 책임감 있게 사용되도록 돕습니다. 의료, 보안, 자율 주행, 법률 시스템과 같은 중요한 영역에서 XAI는 개발자와 사용자가 AI 예측을 이해하고, 오류를 식별하며, 공정하고 윤리적인 사용을 보장하는 데 도움을 줄 수 있습니다. AI를 더욱 투명하게 만듦으로써 XAI는 기술과 인간의 신뢰 사이의 간극을 메우고 실제 응용 분야에서 더 안전하고 신뢰할 수 있도록 만듭니다.

자세한 내용을 알아보려면 당사의 GitHub 저장소를 방문하고 커뮤니티에 참여하세요. 솔루션 페이지에서 자율주행차의 AI 응용 분야 및 농업을 살펴보세요. 🚀