Saliency Maps

Saliency mapsは、複雑なneural networksの内部的な意思決定プロセスを解明するためにexplainable AI (XAI)で使用される強力な視覚的ツールです。本質的にヒートマップとして機能し、モデルの予測に最も強く影響する入力画像の特定のピクセルや領域を強調表示します。モデルが「どこ」を見ているかを明らかにすることで、saliency mapsは研究者やエンジニアがディープconvolutional neural networks (CNNs)の動作を解釈し、システムがデータセットのアーティファクトや背景ノイズに依存するのではなく、正しい特徴を学習していることを確認するのに役立ちます。このプロセスの数学的基礎の詳細については、Wikipedia saliency map pageをご覧ください。

Saliency mapsの仕組み#

Saliency mapを生成するための基本アプローチは、ネットワーク層全体のbackpropagationとgradientsに大きく依存しています。model training中にこれらのグラデーションを使用してモデルの重みを更新する代わりに、アルゴリズムは入力画像自体に対する予測クラススコアのグラデーションを計算します。PyTorch autograd documentationで説明されているように、カラーチャンネル全体でこれらのグラデーションの絶対最大値を取ると、変更した場合に出力スコアを劇的に変化させるピクセルに対応する値が高くなるマップが作成されます。最新のアプローチでは、これを生成AIにも拡張し、ノイズ勾配を追跡するためのdiffusion model saliency mapsを可能にしています。

実社会での応用#

モデルのロジックの直接的な視覚的検証を提供するため、saliency mapsは高リスクなcomputer visionのシナリオにおいて極めて重要です。

• Medical Diagnostics: AI in healthcareにおいて、アルゴリズムがスキャナーの透かしではなく、真の生理学的組織異常に基づいて腫瘍を検出していることを確認することは、患者の安全にとって極めて重要です。consistency in XAI medical imagingに関する最近の研究で詳述されているように、saliency mapsはこの視覚的証明を提供します。
• Autonomous Navigation: 操舵角を予測したり一時停止標識を識別したりするautonomous vehiclesにとって、saliency mapsの分析は、モデルが無関係な風景に気を取られることなく道路に正しく焦点を合わせていたかどうかを検証することで、エンジニアが障害をデバッグするのに役立ちます。

関連用語の区別#

deep learning (DL)におけるそれらの具体的な役割を理解するために、AI用語集にある他の概念とsaliency mapsを区別することを強くお勧めします。

• Saliency Maps vs. Class Activation Mapping (CAM): 基本的なsaliency mapsが生ピクセルレベルで重要性を計算する一方、Grad-CAMのようなCAM techniquesは、ネットワークの最後の畳み込み層内の高レベルfeature mapsのレベルで重要性を分析します。新しいベンチマークでは、データセット全体でのevaluate visual explanationsやCAMの方法が引き続き洗練されています。
• Saliency Maps vs. Mechanistic Interpretability: Saliency mappingは、モデルが どこ を見ているかを単純に示す事後的なテクニックです。対照的に、Mechanistic Interpretabilityはさらに踏み込み、特定のニューロンやアルゴリズム回路がどのように、そして なぜ その焦点を計算したのかを逆エンジニアリングします。
• Saliency Maps vs. Explainable AI (XAI): XAIはAIを透明性のあるものにすることに特化した幅広い包括的な分野ですが、saliency mapsはそのツールキット内の特定のツールに過ぎず、重要なGoogle Cloud explainability techniqueとしてしばしば強調されます。この分野は急速に進化しており、生ピクセルから、概念データをマッピングする堅牢なhuman-aligned taxonomy for explanationsへと移行しています。

コードによるSaliencyの抽出#

ニューラルネットワークが重要度をどのように割り当てているかを理解することは、PyTorchのようなディープラーニングフレームワークを使用してプログラム的に行うことができます。次のスニペットは、事前学習済みのimage classificationモデルから基本的なsaliency map（gradient-based attribution）を抽出する背後にある基本的な数学を示しています。

import torch
from torchvision.models import resnet18

# Load a pre-trained model in evaluation mode
model = resnet18(weights="DEFAULT").eval()

# Create a dummy image tensor and explicitly require gradients
input_image = torch.randn(1, 3, 224, 224, requires_grad=True)

# Forward pass: get predictions for the input image
output = model(input_image)

# Backward pass: compute gradients for the highest scoring class
output[0, output.argmax()].backward()

# Saliency map is the maximum absolute gradient across the 3 color channels
saliency_map, _ = torch.max(input_image.grad.data.abs(), dim=1)
print(f"Generated Saliency Map Shape: {saliency_map.shape}")

object detectionやbounding boxesの描画を含む高度なワークフローでは、Ultralytics Platformなどのツールが、開発者がデータセットの注釈付け、実験のモニタリング、および最先端のUltralytics YOLO26などのモデルからの出力の視覚化をシームレスに行うのに役立ちます。model deploymentと並行して視覚的推論を継続的に評価することにより、チームはより信頼性が高く透明性の高いAIシステムを構築およびスケールできます。