Saliency Maps

サリエンシーマップは、複雑なニューラルネットワークの内部における意思決定プロセスを明らかにするために、説明可能なAI (XAI)で使用される強力な可視化ツールです。基本的にはヒートマップとして機能し、入力画像内でモデルの予測に最も大きな影響を与える特定のピクセルや領域を強調表示します。モデルが「どこ」を見ているかを明らかにすることで、サリエンシーマップは、ディープ畳み込みニューラルネットワーク (CNNs)の挙動を研究者やエンジニアが解釈するのに役立ち、システムがデータセットのアーティファクトや背景ノイズに依存するのではなく、正しい特徴を学習していることを確認できます。このプロセスの数学的基礎については、Wikipediaのサリエンシーマップのページで詳しく確認できます。

サリエンシーマップの仕組み#

サリエンシーマップを生成する基本的なアプローチは、ネットワーク層全体にわたるバックプロパゲーションと勾配に大きく依存します。アルゴリズムは、モデルの学習中にこれらの勾配を使用してモデルの重みを更新する代わりに、予測クラスのスコアについて、入力画像自体に対する勾配を計算します。PyTorch autogradのドキュメントで説明されているように、カラーチャネル全体でこれらの勾配の絶対値の最大値を取ると、値が大きいほど、変更した場合に出力スコアが大幅に変化するピクセルに対応するマップが生成されます。最新のアプローチでは、これを生成AIにも拡張し、ノイズ勾配を追跡するための拡散モデルのサリエンシーマップを実現しています。

実世界での利用例#

モデルのロジックを直接視覚的に検証できるため、サリエンシーマップは、重要性の高いコンピュータービジョンのシナリオで不可欠です。

• 医療診断: ヘルスケアにおけるAIでは、アルゴリズムがスキャナーの透かしではなく、実際の生理学的な組織異常に基づいて腫瘍を検出していることを確認することが、患者の安全にとって重要です。最近の医用画像におけるXAIの一貫性に関する研究で詳しく説明されているように、サリエンシーマップはこの視覚的な証拠を提供します。
• 自律ナビゲーション: 自動運転車が操舵角を予測したり、一時停止標識を識別したりする場合、サリエンシーマップを分析することで、モデルが無関係な風景に気を取られるのではなく、道路に正しく注目していたかを検証し、エンジニアが障害の原因をデバッグできます。

関連用語との違い#

ディープラーニング (DL)における具体的な役割を理解するには、サリエンシーマップをAI用語集にある他の概念と区別することを強く推奨します。

• サリエンシーマップとクラスアクティベーションマッピング (CAM) の比較: 基本的なサリエンシーマップが生のピクセルレベルで重要度を計算するのに対し、Grad-CAMなどのCAM技術は、ネットワークの最後の畳み込み層内にある高レベルの特徴マップのレベルで重要度を分析します。最新のベンチマークでは、データセット全体で視覚的な説明を評価する方法とCAMの改善が引き続き進められています。
• サリエンシーマップとメカニスティック解釈可能性の比較: サリエンシーマッピングは、モデルが「どこ」を見ているかを示すだけの事後分析手法です。これに対して、メカニスティック解釈可能性はさらに踏み込み、特定のニューロンやアルゴリズム回路がその注目を「どのように、なぜ」計算したのかをリバースエンジニアリングします。
• サリエンシーマップと説明可能なAI (XAI) の比較: XAIはAIを透明化することに取り組む幅広い分野ですが、サリエンシーマップはそのツールキットに含まれる特定のツールの1つにすぎず、重要なGoogle Cloudの説明可能性技術として取り上げられることがよくあります。この分野は急速に進化しており、生のピクセルから、概念データをマッピングする堅牢な人間の認識に沿った説明の分類体系へと移行しています。

コードによるサリエンシーの抽出#

ニューラルネットワークが重要度をどのように割り当てているかは、PyTorchなどのディープラーニングフレームワークを使用してプログラムで理解できます。以下のスニペットでは、事前学習済みの画像分類モデルから基本的なサリエンシーマップ（勾配ベースの帰属）を抽出するための基本的な数学を示します。

import torch
from torchvision.models import resnet18

# Load a pre-trained model in evaluation mode
model = resnet18(weights="DEFAULT").eval()

# Create a dummy image tensor and explicitly require gradients
input_image = torch.randn(1, 3, 224, 224, requires_grad=True)

# Forward pass: get predictions for the input image
output = model(input_image)

# Backward pass: compute gradients for the highest scoring class
output[0, output.argmax()].backward()

# Saliency map is the maximum absolute gradient across the 3 color channels
saliency_map, _ = torch.max(input_image.grad.data.abs(), dim=1)
print(f"Generated Saliency Map Shape: {saliency_map.shape}")

物体検出やバウンディングボックスの描画を伴う、より高度なワークフローでは、Ultralytics Platformなどのツールが、データセットへのアノテーション付け、実験の監視、最先端のUltralytics YOLO26などのモデルからの出力の可視化を開発者がスムーズに行えるよう支援します。モデルのデプロイと視覚的な推論結果を継続的に評価することで、チームはより信頼性と透明性の高いAIシステムを構築し、スケールできます。