설명 가능한 AI(XAI)에 대해 알아야 할 모든 것

인공지능(AI) 도구(예: ChatGPT)의 답변을 보고 어떻게 그런 결론에 도달했는지 궁금했던 적이 있으신가요? 그렇다면 AI의 ‘블랙박스’ 문제를 접하신 것입니다. 이는 AI 모델이 데이터를 처리하고 분석하는 방식이 명확하지 않은 상황을 가리키는 용어입니다. 고급 AI 알고리즘을 다루는 AI 엔지니어와 과학자조차도 내부 작동 방식을 완전히 이해하기 어려울 수 있습니다. 실제로 IT 전문가 중 단 22%만이 AI 도구의 기능을 제대로 이해하고 있습니다.

AI 모델이 의사 결정을 내리는 방식에 대한 불확실성은 특히 의료 분야의 컴퓨터 비전과 금융 AI와 같은 중요 분야에서 위험할 수 있습니다. 그러나 이러한 문제를 해결하고 투명성을 높이기 위한 상당한 진전이 이루어지고 있습니다.

특히 설명 가능한 AI(XAI)는 이 문제의 해결에 초점을 맞춥니다. 간단히 말해, 복잡한 머신러닝 알고리즘이 제공하는 결과나 출력을 사람이 이해하고 신뢰할 수 있도록 돕는 일련의 프로세스와 방법입니다.

XAI는 개발자가 AI 시스템이 예상대로 작동하는지 확인하는 데 도움이 됩니다. 또한 AI 기업이 규제 기준을 충족하는 데도 도움이 될 수 있습니다. 이 글에서는 설명 가능한 AI와 다양한 활용 사례를 살펴보겠습니다.

설명 가능한 AI의 중요성#

AI를 다룰 때 설명 가능성은 핵심 요소입니다. 이는 의료와 같은 산업의 애플리케이션에서 널리 사용되는 AI 하위 분야인 컴퓨터 비전에서 특히 중요합니다. 이러한 민감한 산업에서 비전 모델을 사용할 때는 모델의 작동 방식이 모두에게 투명하고 해석 가능해야 합니다.

컴퓨터 비전 모델의 해석 가능성은 사용자가 예측이 어떻게 이루어졌는지와 그 근거가 되는 논리를 더 잘 이해하도록 돕습니다. 투명성은 모델의 한계를 명확히 설명하고 데이터가 윤리적으로 사용되도록 보장해 모델의 작동 방식을 모두에게 분명히 보여줍니다. 예를 들어 컴퓨터 비전은 방사선 전문의가 X선 이미지에서 건강 문제를 효율적으로 식별하도록 지원할 수 있습니다.

그림 1. 비전 AI로 분석한 흉부 엑스레이에서 건강한 상태, 질병 상태, 활동성 결핵, 잠복 결핵을 분류한 결과입니다.

하지만 정확하기만 한 비전 시스템으로는 충분하지 않습니다. 시스템은 의사 결정의 근거도 설명할 수 있어야 합니다. 시스템이 어떤 이미지 영역을 근거로 결론을 내렸는지 보여준다면 출력 결과를 더 명확하게 이해할 수 있습니다. 이러한 수준의 투명성은 의료 전문가가 판독 결과를 재확인하고 환자 진료가 의료 기준을 충족하는지 확인하는 데 도움이 됩니다.

설명 가능성이 필수적인 또 다른 이유는 AI 기업이 책임을 지게 하고 사용자와의 신뢰를 구축하기 때문입니다. 신뢰할 수 있는 AI는 사용자가 AI 혁신이 안정적으로 작동하고 공정한 의사결정을 내리며 데이터를 책임감 있게 처리한다는 확신을 갖게 합니다.

컴퓨터 비전의 주요 설명 가능한 AI 기법#

컴퓨터 비전에서 설명 가능성이 중요한 이유를 살펴보았으니, 이제 비전 AI에 사용되는 주요 XAI 기법을 알아보겠습니다.

살리언시 맵#

신경망은 인간의 뇌에서 영감을 얻은 모델로, 상호 연결된 노드(뉴런) 계층을 통해 데이터를 처리하여 패턴을 인식하고 의사결정을 내리도록 설계되었습니다. 신경망은 복잡한 컴퓨터 비전 문제를 높은 정확도로 해결하는 데 사용할 수 있습니다. 이러한 정확도에도 불구하고 신경망은 설계상 여전히 블랙박스입니다.

돌출 맵은 이미지 분석 시 신경망이 어떤 부분을 주목하는지 이해하는 데 사용할 수 있는 XAI 기법입니다. 모델이 예상대로 성능을 내지 못하는 경우 문제를 해결하는 데도 활용할 수 있습니다.

돌출 맵은 이미지의 어떤 부분(픽셀)이 모델의 예측을 결정하는지 집중해서 살펴봅니다. 이 과정은 모델이 예측에서 입력으로 거슬러 올라가는 역전파와 매우 비슷합니다. 하지만 오류를 바탕으로 모델의 가중치를 업데이트하는 대신, 각 픽셀이 예측에 얼마나 ‘중요한지’를 살펴봅니다. 돌출 맵은 이미지 분류와 같은 컴퓨터 비전 작업에 매우 유용합니다.

예를 들어 이미지 분류 모델이 이미지에 개가 있다고 예측하면, 살리언시 맵을 살펴보고 모델이 개라고 판단한 이유를 이해할 수 있습니다. 이를 통해 출력에 가장 큰 영향을 미치는 픽셀을 식별할 수 있습니다. 살리언시 맵은 이미지에 개가 있다고 최종 예측하는 데 기여한 모든 픽셀을 강조 표시합니다.

그림 2. 입력 이미지와 살리언시 맵을 나란히 비교한 모습입니다.

클래스 활성화 매핑(CAM)#

클래스 활성화 매핑은 신경망이 이미지 분류 예측을 내릴 때 이미지의 어느 부분에 집중하는지 이해하는 데 사용하는 또 다른 XAI 기법입니다. 살리언시 맵과 비슷하게 작동하지만 특정 픽셀 대신 이미지의 중요한 특징을 식별하는 데 초점을 맞춥니다. 특징은 모델이 이미지에서 감지하는 모양이나 질감 같은 패턴 또는 세부 정보입니다.

기울기 가중 클래스 활성화 매핑(Grad-CAM) 및 Grad-CAM++과 같은 방법은 일부 개선 사항을 더해 동일한 아이디어를 발전시킨 기법입니다.

CAM의 작동 방식은 다음과 같습니다:

• 신경망은 최종 결정을 내리기 전에 전역 평균 풀링(GAP)이라는 단계를 사용해 정보를 단순화합니다. GAP는 감지된 패턴의 모든 픽셀을 하나의 평균값으로 통합해 각 특징 맵(감지된 패턴을 시각적으로 나타낸 것)의 요약을 만듭니다.
• 그런 다음 각 특징 맵에 가중치를 부여해 해당 특징 맵이 특정 클래스(예: '새' 또는 '고양이')를 예측하는 데 얼마나 중요한지 나타냅니다.
• 그러나 CAM의 한 가지 한계는 이러한 가중치를 계산하기 위해 모델을 다시 학습해야 할 수 있다는 점이며, 이 과정에는 시간이 오래 걸릴 수 있습니다.

Grad-CAM은 각 특징 맵이 최종 예측에 얼마나 영향을 미치는지를 보여주는 신호와 같은 기울기를 사용해 이를 개선합니다. 이 방법은 GAP가 필요하지 않아 재학습 없이 모델이 주목하는 부분을 더 쉽게 확인할 수 있습니다. Grad-CAM++은 긍정적인 영향에만 집중해 결과를 더욱 명확하게 보여줍니다. Ultralytics YOLO 모델은 visualize=True을 사용해 예측 모드를 실행할 때 이미지별로 비슷한 클래스 활성화 히트맵을 저장할 수 있습니다.

그림 3. CAM, Grad-CAM, Grad-CAM++ 비교입니다.

반사실적 설명#

반사실적 설명은 설명 가능한 AI의 중요한 요소입니다. 반사실적 설명은 실제로 일어나지 않았지만 일어날 수도 있었던 대안적 상황이나 사건을 고려해 상황이나 결과를 설명합니다. “X가 일어나지 않았다면 Y도 발생하지 않았을 것이다”와 같이 특정 입력 변수의 변화가 결과를 어떻게 바꾸는지 보여줄 수 있습니다.

AI와 컴퓨터 비전에서 반사실적 설명은 AI 모델이 다르고 구체적인 결과를 내도록 입력(예: 이미지나 데이터)에 필요한 최소한의 변경을 식별합니다. 예를 들어 이미지 속 물체의 색을 바꾸면 이미지 분류 모델의 예측이 ‘고양이’에서 ‘개’로 바뀔 수 있습니다.

또 다른 좋은 예로 얼굴 인식 시스템에서 각도나 조명을 바꾸는 방법이 있습니다. 이로 인해 모델이 다른 사람이라고 식별할 수 있으며, 입력의 작은 변화가 모델의 예측에 어떤 영향을 미치는지 알 수 있습니다.

이러한 설명을 만드는 가장 간단한 방법은 시행착오입니다. 원하는 결과가 나올 때까지 입력의 일부(이미지 특징이나 데이터 등)를 무작위로 바꿀 수 있습니다. 다른 방법으로는 최적화 및 검색 기법을 사용해 변경 사항을 찾는 모델 불가지론적 접근 방식과, 필요한 변경 사항을 식별하기 위해 내부 설정이나 계산에 의존하는 모델별 접근 방식이 있습니다.

컴퓨터 비전에서 설명 가능한 AI의 활용 사례#

XAI의 개념과 주요 기법을 살펴보았으니, 실제로 어떻게 사용되는지 알아보겠습니다. XAI는 다양한 분야에서 폭넓게 활용됩니다. 잠재력을 보여주는 몇 가지 활용 사례는 다음과 같습니다.

• 보안 시스템: XAI는 여권과 운전면허증 같은 신분증의 변형된 이미지를 감지해 보안 시스템을 강화하는 데 사용할 수 있습니다. 이를 통해 이미지의 진위성을 보장하고 신원 확인 절차를 강화하며 민감한 애플리케이션에서 사기 행위를 방지할 수 있습니다.

그림 4. XAI를 활용한 변형 이미지 감지 방식입니다.

• 자율주행: 자율주행차에 탑재된 비전 AI 시스템의 기능과 한계를 이해하는 것은 실제 도로에 투입하기 전에 차량을 테스트하는 데 중요한 부분이 될 수 있습니다. XAI는 자동차 기업이 문제를 더 명확하게 식별하고 해결하도록 도울 수 있습니다.
• 법률 시스템: 비전 기능을 갖춘 문서 분석 시스템이 사법적 의사 결정에 점점 더 많이 사용되고 있습니다. XAI는 공정한 결과를 지원하고 자동화된 판결을 면밀히 검토할 수 있도록 합니다. 또한 법률 전문가가 AI 모델의 의사 결정 과정을 이해하도록 돕습니다.
• 야생동물 모니터링: 야생동물 모니터링과 동물 종 데이터 수집에는 카메라 트랩이 자주 사용됩니다. XAI를 사용하면 이미지 속 동물 종을 AI가 어떻게 분류하는지 설명할 수 있습니다. 이를 통해 보전 활동의 신뢰성과 정확성을 높일 수 있습니다.

설명 가능한 AI의 핵심 요점#

설명 가능한 AI를 사용하면 AI 시스템의 작동 방식과 특정 결정을 내리는 이유를 더 쉽게 이해할 수 있습니다. AI 모델의 투명성은 신뢰와 책임성을 높입니다. 의료, 보안, 자율주행, 법률 시스템과 같은 중요 분야에서 XAI는 개발자와 사용자가 AI 예측을 이해하고 오류를 식별하며 공정하고 윤리적인 사용을 보장하도록 지원할 수 있습니다. XAI는 AI를 더욱 투명하게 만들어 기술과 사람의 신뢰 사이의 간극을 좁히고 실제 애플리케이션에서 AI를 더 안전하고 신뢰할 수 있게 합니다.

자세한 내용은 GitHub 리포지토리를 방문하고 커뮤니티에 참여해 주세요. 솔루션 페이지에서 자율주행차의 AI 활용 사례와 농업 분야의 AI 활용 사례를 살펴보세요.