Saliency Maps

Saliency maps는 explainable AI (XAI)에서 복잡한 neural networks의 내부 의사 결정 과정을 밝히는 데 사용되는 강력한 시각적 도구입니다. 기본적으로 히트맵(heatmap) 역할을 하며, 모델의 예측에 가장 큰 영향을 미치는 입력 이미지의 특정 픽셀이나 영역을 강조합니다. 모델이 "어디를" 보고 있는지 밝혀냄으로써 saliency maps는 연구자와 엔지니어가 딥 convolutional neural networks (CNNs)의 동작을 해석하도록 돕고, 시스템이 데이터셋의 인위적 요인이나 배경 노이즈에 의존하는 대신 올바른 특징을 학습하고 있는지 확인하게 합니다. 이 과정의 수학적 기초에 대한 자세한 내용은 Wikipedia saliency map 페이지에서 확인하실 수 있습니다.

Link to this sectionSaliency Maps 작동 원리#

saliency map 생성의 기본 접근 방식은 네트워크 계층 전반의 backpropagation 및 gradients에 크게 의존합니다. model training 중 모델 가중치를 업데이트하기 위해 이러한 그래디언트를 사용하는 대신, 알고리즘은 입력 이미지 자체에 대한 예측 클래스 점수의 그래디언트를 계산합니다. PyTorch autograd 문서에서 설명한 바와 같이, 색상 채널 전반에서 이러한 그래디언트의 절댓값 최대치를 취하면 변경 시 출력 점수가 급격하게 변하는 픽셀에 높은 값이 대응하는 맵이 생성됩니다. 현대적인 접근 방식은 이를 생성형 AI로 확장하여 노이즈 그래디언트를 추적하는 diffusion model saliency maps까지 가능하게 합니다.

Link to this section실제 애플리케이션 사례#

saliency maps는 모델 논리에 대한 직접적인 시각적 검증을 제공하므로, 다음과 같은 중요한 computer vision 시나리오에서 필수적입니다.

• 의료 진단: AI in healthcare 분야에서 알고리즘이 스캐너의 워터마크가 아닌 실제 생리학적 조직 이상을 기반으로 종양을 감지하는지 확인하는 것은 환자 안전에 매우 중요합니다. consistency in XAI medical imaging에 대한 최근 연구에서 자세히 다루는 것처럼, saliency maps는 이러한 시각적 증거를 제공합니다.
• 자율 주행: 조향 각도를 예측하거나 정지 표지판을 식별하는 autonomous vehicles의 경우, saliency maps를 분석하면 모델이 관련 없는 풍경에 주의를 빼앗기지 않고 도로에 올바르게 집중했는지 검증하여 엔지니어가 실패 원인을 디버그하도록 돕습니다.

Link to this section관련 용어 구분#

deep learning (DL)에서 saliency maps의 특정 역할을 이해하기 위해 AI 용어집에 있는 다른 개념들과 구분하는 것을 적극 권장합니다.

• Saliency Maps vs. Class Activation Mapping (CAM): 기본 saliency maps가 원시 픽셀 수준에서 중요도를 계산하는 반면, Grad-CAM과 같은 CAM techniques는 네트워크의 마지막 합성곱 계층 내 고수준 feature maps 수준에서 중요도를 분석합니다. 새로운 벤치마크들은 데이터셋 전반에서 visual explanations 및 CAM을 평가하는 방법을 지속적으로 개선하고 있습니다.
• Saliency Maps vs. Mechanistic Interpretability: Saliency mapping은 단순히 모델이 어디를 보는지 보여주는 사후(post-hoc) 기술입니다. 반면, Mechanistic Interpretability는 더 깊이 들어가 특정 뉴런이나 알고리즘 회로가 어떻게, 그리고 왜 그러한 초점을 계산했는지 역설계합니다.
• Saliency Maps vs. Explainable AI (XAI): XAI는 AI를 투명하게 만들기 위한 광범위한 포괄적 학문 분야이며, saliency maps는 해당 도구 모음 내의 하나의 특정 도구일 뿐입니다. 이는 종종 중요한 Google Cloud explainability technique로 강조됩니다. 이 분야는 빠르게 발전하고 있으며, 원시 픽셀에서 개념적 데이터를 매핑하는 견고한 human-aligned taxonomy for explanations로 이동하고 있습니다.

Link to this section코드를 통한 Saliency 추출#

Understanding how a neural network attributes importance can be done programmatically using deep learning frameworks like PyTorch. The following snippet demonstrates the fundamental math behind extracting a basic saliency map (gradient-based attribution) from a pre-trained image classification model.

import torch
from torchvision.models import resnet18

# Load a pre-trained model in evaluation mode
model = resnet18(weights="DEFAULT").eval()

# Create a dummy image tensor and explicitly require gradients
input_image = torch.randn(1, 3, 224, 224, requires_grad=True)

# Forward pass: get predictions for the input image
output = model(input_image)

# Backward pass: compute gradients for the highest scoring class
output[0, output.argmax()].backward()

# Saliency map is the maximum absolute gradient across the 3 color channels
saliency_map, _ = torch.max(input_image.grad.data.abs(), dim=1)
print(f"Generated Saliency Map Shape: {saliency_map.shape}")

object detection이나 bounding boxes 그리기를 포함하는 더 높은 수준의 워크플로우의 경우, Ultralytics Platform과 같은 도구는 개발자가 데이터셋을 원활하게 주석 처리하고, 실험을 모니터링하며, 최첨단 Ultralytics YOLO26과 같은 모델의 출력을 시각화하도록 돕습니다. model deployment와 함께 시각적 추론을 지속적으로 평가함으로써, 팀은 훨씬 더 신뢰할 수 있고 투명한 AI 시스템을 구축하고 확장할 수 있습니다.