説明可能なAI（XAI）について知っておくべきこと

人工知能（AI）ツールのChatGPTなどが出した回答を見て、なぜその結論に至ったのか疑問に思ったことはありませんか。それがAIの「ブラックボックス」問題です。これは、AIモデルがデータをどのように処理・分析するかが不明瞭であることを指します。最先端のAIアルゴリズムを日常的に扱うAIエンジニアや科学者でさえ、その内部の仕組みを完全に理解するのは難しい場合があります。実際、IT専門家のうちAIツールの機能を本当に理解しているのは22%だけです。

AIモデルがどのように意思決定するかをめぐる不確実性は、特に医療におけるコンピュータービジョンや金融分野のAIなどの重要領域では、リスクにつながる可能性があります。しかし、こうした課題に対処し、透明性を高めるための大きな進展が見られます。

特に、説明可能なAI（XAI）は、この問題の解決に特化しています。簡単に言えば、複雑な機械学習アルゴリズムが出す結果や出力を、人間のユーザーが理解し、信頼できるようにする一連のプロセスと手法です。

XAIは、開発者がAIシステムが期待どおりに動作していることを確認するのに役立ちます。また、AI企業が規制基準を満たすためにも役立ちます。この記事では、説明可能なAIとその幅広いユースケースを解説します。さっそく見ていきましょう。

説明可能なAIの重要性#

AIを扱ううえで、説明可能性は重要です。これは、医療などの業界で広く利用されているAIのサブ分野、コンピュータービジョンに特に当てはまります。このような機微な業界でビジョンモデルを使う場合、モデルの仕組みが誰にとっても透明で解釈可能であることが重要です。

コンピュータービジョンモデルの解釈可能性が高まると、ユーザーは予測がどのように行われたか、その背後にあるロジックをより深く理解できます。透明性を高めることで、モデルの制約を明確に示し、データが倫理的に利用されることを確保でき、誰もがモデルの仕組みを理解しやすくなります。例えば、コンピュータービジョンは、放射線科医がX線画像から健康上の問題を効率的に特定するのに役立ちます。

図1。ビジョンAIで胸部X線画像を分析し、結核の健常、罹患、活動性、潜在性を分類した例。

しかし、ビジョンシステムは精度が高いだけでは不十分です。判断の理由を説明できる必要もあります。例えば、結論に至った画像の箇所をシステムが示せれば、出力の内容はより明確になります。このような透明性があれば、医療従事者が所見を再確認し、患者ケアが医療基準を満たしていることを確認しやすくなります。

説明可能性が重要なもう一つの理由は、AI企業の説明責任を明確にし、ユーザーの信頼を築くことです。信頼できるAIがあれば、ユーザーはAIのイノベーションが安定して機能し、公平な判断を行い、データを責任を持って扱うことに確信を持てます。

コンピュータービジョンにおける説明可能なAIの主な手法#

コンピュータービジョンで説明可能性が重要な理由を確認したところで、ビジョンAIで使われる主なXAI手法を見ていきましょう。

顕著性マップ#

ニューラルネットワークは人間の脳に着想を得たモデルで、相互接続されたノード（ニューロン）の層を通じてデータを処理し、パターンの認識や意思決定を行うように設計されています。高い精度で複雑なコンピュータービジョンの問題を解決できます。しかし、精度が高くても、設計上はブラックボックスです。

顕著性マップは、画像を分析する際にニューラルネットワークが何を認識しているのかを理解しやすくするXAI手法です。モデルが期待どおりに動作しない場合のトラブルシューティングにも利用できます。

顕著性マップは、モデルの予測を決定づける画像のどの部分（ピクセル）に注目し、機能します。この処理は、モデルが予測から入力へとさかのぼる逆伝播によく似ています。ただし、エラーに基づいてモデルの重みを更新するのではなく、予測に対して各ピクセルがどれほど「重要」かを調べます。顕著性マップは、画像分類などのコンピュータービジョンタスクに非常に役立ちます。

例えば、画像分類モデルが画像に写っているのは犬だと予測した場合、顕著性マップを見ることで、モデルが犬だと判断した理由を理解できます。これにより、出力に最も影響を与えたピクセルを特定できます。顕著性マップは、画像が犬であるという最終予測に寄与したすべてのピクセルを強調表示します。

図2。入力画像と顕著性マップを並べて表示した例。

クラス活性化マッピング（CAM）#

クラス活性化マッピングは、画像分類の予測を行う際にニューラルネットワークが画像のどの部分に注目しているかを理解するための、もう一つのXAI手法です。顕著性マップと同様に機能しますが、特定のピクセルではなく、画像内の重要な特徴の特定に重点を置きます。特徴とは、形状やテクスチャなど、モデルが画像から検出するパターンや詳細情報です。

勾配重み付けクラス活性化マッピング（Grad-CAM）やGrad-CAM++などの手法は、いくつかの改良を加えながら同じ考え方を発展させたものです。

CAMの仕組みは次のとおりです。

• ニューラルネットワークが最終的な判断を下す前に、情報を簡略化するグローバル平均プーリング（GAP）という処理を行います。GAPは、検出されたパターン内のすべてのピクセルを一つの平均値にまとめ、各特徴マップ（検出されたパターンを視覚的に表現したもの）の要約を作成します。
• 次に各特徴マップに重みを割り当て、特定のクラス（「鳥」や「猫」など）の予測における重要度を示します。
• ただし、CAMには、この重みの計算にモデルの再学習が必要となる場合があり、時間がかかるという制約があります。

Grad-CAMは勾配を使ってこの手法を改善します。勾配は、各特徴マップが最終予測にどれほど影響するかを示す信号のようなものです。この手法ではGAPが不要なため、再学習を行わずにモデルが注目する対象を把握しやすくなります。Grad-CAM++は、正の影響だけに注目することでさらに発展させ、結果をより明確にします。

図3。CAM、Grad-CAM、Grad-CAM++の比較。

反実仮想による説明#

反実仮想による説明は、説明可能なAIの重要な要素です。反実仮想による説明では、実際には起きなかったものの起こり得た別の状況や出来事を考慮し、状況や結果を説明します。「もしXが起きていなければ、Yは起きなかった」のように、特定の入力変数の変化が異なる結果につながることを示せます。

AIやコンピュータービジョンでは、反実仮想による説明は、AIモデルに異なる特定の結果を出させるために必要な、入力（画像やデータなど）の最小限の変更を特定します。例えば、画像内の物体の色を変えると、画像分類モデルの予測が「猫」から「犬」に変わる場合があります。

もう一つの良い例は、顔認識システムで角度や照明を変えることです。モデルが別の人物を識別するようになり、入力のわずかな変化がモデルの予測に影響することを示せます。

こうした説明を作成する最も簡単な方法は、試行錯誤です。AIモデルが望ましい結果を出すまで、入力の一部（画像やデータの特徴など）をランダムに変更します。そのほか、最適化や探索手法を使って変更点を見つけるモデル非依存のアプローチや、必要な変更を特定するために内部設定や計算に依存するモデル固有のアプローチがあります。

コンピュータービジョンにおける説明可能なAIの用途#

XAIの概要と主な手法を確認したところで、実際の活用方法を見ていきましょう。XAIはさまざまな分野で幅広く活用されています。その可能性を示すユースケースをいくつかご紹介します。

• セキュリティシステム: XAIは、パスポートや運転免許証などの身分証明書に使われる画像のモーフィングを検出し、セキュリティシステムの強化に活用できます。これにより、画像の真正性を確保し、本人確認プロセスを強化して、機密性の高い用途における不正行為を防止できます。

図4。モーフィング画像を検出するXAIの仕組み。

• 自動運転: 自動運転車に搭載されたビジョンAIシステムの機能と制約を理解することは、実際の道路で走行を開始する前の車両テストにおいて重要な要素です。XAIは、自動車メーカーが問題をより明確に特定して対処するのに役立ちます。

• 司法制度: ビジョン機能を備えた文書分析システムが、司法判断にますます活用されています。XAIは公正な結果を支え、自動化された判断を精査できるようにします。また、AIモデルがどのように判断に至ったかを法律専門家が理解するのにも役立ちます。

• 野生動物のモニタリング: 野生動物の監視や動物種に関するデータ収集には、カメラトラップがよく使われます。XAIを使うと、画像内の動物種をAIがどのように分類したかを説明できます。これにより、保全活動の信頼性と精度を高められます。

説明可能なAIの主なポイント#

説明可能なAIは、AIシステムの仕組みや、特定の判断を下す理由を理解しやすくします。AIモデルの透明性は、信頼と説明責任の構築につながります。知識は力となり、AIのイノベーションをより責任ある形で活用するのに役立ちます。医療、セキュリティ、自動運転、司法制度などの重要分野では、XAIを活用することで、開発者やユーザーがAIの予測を理解し、エラーを特定して、公平かつ倫理的な利用を確保できます。AIの透明性を高めることで、XAIはテクノロジーと人々の信頼の隔たりを埋め、実社会での活用をより安全で信頼できるものにします。

詳しくは、GitHubリポジトリをご覧いただき、コミュニティにご参加ください。ソリューションページでは、自動運転車におけるAIの活用や農業における活用をご覧いただけます。🚀