説明可能なAI（XAI）について知っておくべきこと

人工知能（AI）ツール、たとえばChatGPTの回答を見て、どのようにその結論に至ったのか疑問に思ったことはありませんか。これがAIの「ブラックボックス」問題です。これは、AIモデルがデータをどのように処理・分析するのかが明確でないことを指します。高度なAIアルゴリズムを扱うAIエンジニアや科学者でさえ、その内部の仕組みを完全に理解するのは難しい場合があります。実際、IT専門家のうち、AIツールの機能を本当に理解しているのはわずか22%です。

AIモデルがどのように判断を下すのか分からないことは、特に医療におけるコンピュータービジョンや金融分野のAIなど、重要な領域ではリスクになり得ます。しかし、こうした課題に対処し、透明性を高めるための大きな進展が見られます。

特に、説明可能なAI（XAI）は、この問題の解決に取り組む分野です。簡単に言えば、複雑な機械学習アルゴリズムが出す結果や出力を、人間のユーザーが理解し、信頼できるようにするための一連のプロセスと手法です。

XAIは、AIシステムが想定どおりに動作していることを開発者が確認するのに役立ちます。また、AI企業が規制基準を満たすうえでも役立ちます。この記事では、説明可能なAIと、その幅広いユースケースを解説します。

説明可能なAIの重要性#

AIを扱ううえで、説明可能性は重要です。医療などの業界で広く活用されているAIの一分野、コンピュータービジョンでは特に重要です。このような機密性の高い業界でビジョンモデルを使う場合、モデルの仕組みが透明で、誰にとっても解釈可能であることが大切です。

コンピュータービジョンモデルの解釈可能性が高まると、ユーザーは予測がどのように行われたか、その背後にある論理をより深く理解できます。透明性を高めるには、モデルの限界を明確に示し、データが倫理的に使われていることを確保する必要があります。たとえば、コンピュータービジョンを使えば、放射線科医がX線画像から健康上の問題を効率的に特定できます。

図1。ビジョンAIで胸部X線画像を分析し、結核の健常、罹患、活動性、潜在性を分類した例。

しかし、ビジョンシステムは精度が高いだけでは不十分です。判断の根拠を説明できる必要もあります。たとえば、結論に至った画像の領域をシステムが示せれば、出力がより明確になります。このような透明性があれば、医療従事者は所見を再確認し、患者ケアが医療基準を満たしていることを確かめられます。

説明可能性が重要なもう一つの理由は、AI企業の説明責任を明確にし、ユーザーの信頼を築くことです。信頼できるAIがあれば、ユーザーはAIのイノベーションが安定して機能し、公平な判断を行い、データを責任を持って扱うことに確信を持てます。

コンピュータービジョンにおける説明可能なAIの主な手法#

コンピュータービジョンで説明可能性が重要な理由を確認したところで、ビジョンAIで使われる主なXAI手法を見ていきましょう。

顕著性マップ#

ニューラルネットワークは人間の脳に着想を得たモデルで、相互接続されたノード（ニューロン）の層を通じてデータを処理し、パターンの認識や意思決定を行うように設計されています。高い精度で複雑なコンピュータービジョンの問題を解決できます。しかし、精度が高くても、設計上はブラックボックスです。

顕著性マップは、画像を分析する際にニューラルネットワークが何を認識しているかを理解するために使えるXAIの手法です。モデルが想定どおりに動作しない場合のトラブルシューティングにも利用できます。

顕著性マップは、モデルの予測を決める画像の各部分（ピクセル）に注目します。このプロセスは、モデルが予測から入力へさかのぼる誤差逆伝播とよく似ています。ただし、誤差に基づいてモデルの重みを更新するのではなく、各ピクセルが予測にどれほど「重要」かを調べます。顕著性マップは、画像分類などのコンピュータービジョンタスクで非常に役立ちます。

例えば、画像分類モデルが画像に写っているのは犬だと予測した場合、顕著性マップを見ることで、モデルが犬だと判断した理由を理解できます。これにより、出力に最も影響を与えたピクセルを特定できます。顕著性マップは、画像が犬であるという最終予測に寄与したすべてのピクセルを強調表示します。

図2。入力画像と顕著性マップを並べて表示した例。

クラス活性化マッピング（CAM）#

クラス活性化マッピングは、画像分類の予測を行う際にニューラルネットワークが画像のどの部分に注目しているかを理解するための、もう一つのXAI手法です。顕著性マップと同様に機能しますが、特定のピクセルではなく、画像内の重要な特徴の特定に重点を置きます。特徴とは、形状やテクスチャなど、モデルが画像から検出するパターンや詳細情報です。

勾配加重クラス活性化マッピング（Grad-CAM）やGrad-CAM++などの手法は、いくつかの改善を加えながら同じ考え方を発展させています。

CAMの仕組みは次のとおりです。

• ニューラルネットワークが最終的な判断を下す前に、情報を簡略化するグローバル平均プーリング（GAP）という処理を行います。GAPは、検出されたパターン内のすべてのピクセルを一つの平均値にまとめ、各特徴マップ（検出されたパターンを視覚的に表現したもの）の要約を作成します。
• 次に各特徴マップに重みを割り当て、特定のクラス（「鳥」や「猫」など）の予測における重要度を示します。
• ただし、CAMには、これらの重みを計算するためにモデルの再トレーニングが必要になる場合があり、時間がかかるという制約があります。

Grad-CAMは、各特徴マップが最終予測にどれほど影響するかを示す信号のような勾配を使って、この問題を改善します。この手法ではGAPが不要になり、再トレーニングせずにモデルが注目している部分を確認しやすくなります。Grad-CAM++はさらに、正の影響だけに注目することで、結果をより明確にします。Ultralytics YOLOモデルでは、visualize=Trueを指定してpredictモードを実行すると、画像ごとに同様のクラス活性化ヒートマップを保存できます。

図3。CAM、Grad-CAM、Grad-CAM++の比較。

反実仮想による説明#

反実仮想による説明は、説明可能なAIの重要な要素です。反実仮想による説明では、実際には起きなかったものの起こり得た別の状況や出来事を考慮し、状況や結果を説明します。「もしXが起きていなければ、Yは起きなかった」のように、特定の入力変数の変化が異なる結果につながることを示せます。

AIとコンピュータービジョンにおける反実仮想説明は、AIモデルが異なる特定の結果を出すように、入力（画像やデータなど）に加える必要がある最小限の変更を示します。たとえば、画像内の物体の色を変えると、画像分類モデルの予測が「猫」から「犬」に変わることがあります。

もう一つの良い例は、顔認識システムで角度や照明を変えることです。モデルが別の人物を識別するようになり、入力のわずかな変化がモデルの予測に影響することを示せます。

こうした説明を作る最も簡単な方法は、試行錯誤です。AIモデルが望ましい結果を出すまで、入力の一部（画像やデータの特徴など）をランダムに変更できます。そのほか、最適化や探索の手法を使って変更点を見つけるモデル非依存のアプローチや、必要な変更を特定するために内部設定や計算に依存するモデル固有のアプローチがあります。

コンピュータービジョンにおける説明可能なAIの用途#

XAIとは何か、またその主要な手法を見てきたところで、実際の活用方法を見ていきましょう。XAIはさまざまな分野で幅広く応用されています。その可能性を示すユースケースをいくつか紹介します。

• セキュリティシステム: XAIは、パスポートや運転免許証などの身分証明書に使われる画像のモーフィングを検出し、セキュリティシステムの強化に活用できます。これにより、画像の真正性を確保し、本人確認プロセスを強化して、機密性の高い用途における不正行為を防止できます。

図4。モーフィング画像を検出するXAIの仕組み。

• 自動運転: 自動運転車に搭載されたビジョンAIシステムの機能と制約を理解することは、実際の道路で走行を開始する前の車両テストにおいて重要な要素です。XAIは、自動車メーカーが問題をより明確に特定して対処するのに役立ちます。
• 司法制度：ビジョン機能を活用した文書分析システムが、司法判断にますます利用されています。XAIは公正な結果を支援し、自動化された判断の精査を可能にします。また、AIモデルがどのように判断に至ったかを法務専門家が理解するのにも役立ちます。
• 野生動物のモニタリング: 野生動物の監視や動物種に関するデータ収集には、カメラトラップがよく使われます。XAIを使うと、画像内の動物種をAIがどのように分類したかを説明できます。これにより、保全活動の信頼性と精度を高められます。

説明可能なAIの主なポイント#

説明可能なAIにより、AIシステムの仕組みや特定の判断を下す理由を理解しやすくなります。AIモデルの透明性は、信頼と説明責任を高めます。医療、セキュリティ、自動運転、司法制度などの重要な分野では、XAIを使って開発者やユーザーがAIの予測を理解し、誤りを特定し、公平で倫理的な利用を確保できます。AIの透明性を高めることで、XAIはテクノロジーと人間の信頼の隔たりを埋め、実環境のアプリケーションをより安全で信頼性の高いものにします。

詳しくは、GitHubリポジトリをご覧いただき、コミュニティにご参加ください。ソリューションページでは、自動運転車におけるAIの活用や農業についてご覧いただけます。