説明可能なAI（XAI）について知っておくべきことのすべて

ChatGPTのような人工知能 (AI)ツールからの回答を見て、どのようにその結論に至ったのか疑問に思ったことはありませんか？それなら、AIの「ブラックボックス」という問題に直面したことがあります。これは、AIモデルがどのようにデータを処理・分析しているのかが不明確であることを指す言葉です。最先端のAIアルゴリズムを日常的に扱うAIエンジニアや科学者でさえ、その内部動作を完全に理解するのは難しい場合があります。実際、IT専門家のわずか22%しか、AIツールの能力を本当に理解していません。

AIモデルがどのように意思決定を行うのかをめぐる不確実性は、特に医療分野のコンピュータービジョンや金融分野のAIなどの重要な領域では、リスクにつながる可能性があります。しかし、こうした課題に対処し、透明性を高めるための大きな進展が進んでいます。

特に、説明可能なAI (XAI)は、この問題の解決に特化しています。簡単に言えば、複雑な機械学習アルゴリズムが出力した結果を、人間のユーザーが理解し、信頼できるようにする一連のプロセスと手法です。

XAIは、AIシステムが期待どおりに動作していることを開発者が確認するのに役立ちます。また、AI企業が規制基準を満たすためにも役立ちます。この記事では、説明可能なAIとその幅広いユースケースについて説明します。さっそく始めましょう。

説明可能なAIの重要性#

AIを扱う際、説明可能性は重要です。これは、医療などの業界で広く利用されているAIのサブフィールドであるコンピュータービジョンに特に当てはまります。このような機微性の高い業界でビジョンモデルを使用する場合、モデルの動作が透明で、誰にとっても解釈可能であることが重要です。

コンピュータービジョンモデルの解釈可能性により、ユーザーは予測がどのように行われたのか、またその根拠となるロジックをより深く理解できます。透明性を確保することで、モデルの制限事項を明確に示し、データが倫理的に使用されるようにするなど、モデルの動作を誰にとっても明確にできます。例えば、コンピュータービジョンは、放射線科医がX線画像から健康上の合併症を効率的に特定するのに役立ちます。

図1。ビジョンAIで分析した胸部X線画像。健常、罹患、活動性結核、潜在性結核の分類を示しています。

しかし、精度が高いだけのビジョンシステムでは不十分です。システムには、自身の意思決定を説明できる機能も必要です。例えば、システムが結論に至った画像の部分を示せるとしたら、出力はより明確になります。このレベルの透明性があれば、医療従事者は所見を再確認し、患者ケアが医療基準を満たしていることを確認できます。

説明可能性が不可欠であるもう一つの理由は、AI企業の説明責任を明確にし、ユーザーの信頼を構築できることです。信頼できるAIによって、ユーザーはAIイノベーションが確実に機能し、公平な意思決定を行い、データを責任を持って取り扱うことに確信を持てます。

コンピュータービジョンにおける説明可能なAIの主要技術#

コンピュータービジョンで説明可能性が重要である理由を説明したところで、ビジョンAIで使用される主要なXAI技術を見ていきましょう。

サリエンシーマップ#

ニューラルネットワークは、人間の脳に着想を得たモデルで、ノード（ニューロン）の相互接続された層を通じてデータを処理し、パターンを認識して意思決定を行うように設計されています。高い精度で複雑なコンピュータービジョンの問題を解決できます。この精度を備えていても、設計上は依然としてブラックボックスです。

サリエンシーマップは、ニューラルネットワークが画像を分析する際に何を見ているのかを理解するのに役立つXAI技術です。モデルが期待どおりに性能を発揮しない場合のトラブルシューティングにも使用できます。

サリエンシーマップは、モデルの予測を決定する画像のどの部分（ピクセル）に焦点を当てることで機能します。このプロセスは、モデルが予測から入力へとさかのぼるバックプロパゲーションによく似ています。ただし、誤差に基づいてモデルの重みを更新するのではなく、各ピクセルが予測にどの程度「重要」であるかを確認します。サリエンシーマップは、画像分類などのコンピュータービジョンタスクに非常に役立ちます。

例えば、画像分類モデルが画像を犬だと予測した場合、サリエンシーマップを調べることで、モデルがなぜ犬だと判断したのかを理解できます。これにより、出力に最も影響を与えたピクセルを特定できます。サリエンシーマップでは、画像が犬であるという最終予測に寄与したすべてのピクセルが強調表示されます。

図2。入力画像とそのサリエンシーマップを並べて表示した比較。

クラス活性化マッピング (CAM)#

クラス活性化マッピングは、ニューラルネットワークが画像分類の予測を行う際に、画像のどの部分に注目しているのかを理解するために使用される、もう一つのXAI技術です。サリエンシーマップと同様に機能しますが、特定のピクセルではなく、画像内の重要な特徴の特定に焦点を当てます。特徴とは、モデルが画像内で検出する形状やテクスチャなどのパターンや細部です。

勾配重み付きクラス活性化マッピング (Grad-CAM)やGrad-CAM++などの手法は、いくつかの改善を加えながら、同じ考え方を発展させたものです。

CAMの仕組みは次のとおりです。

• ニューラルネットワークは最終的な判断を下す前に、グローバル平均プーリング (GAP)というステップを使用して情報を簡略化します。GAPは、検出されたパターン内のすべてのピクセルを単一の平均値にまとめ、各特徴マップ（検出されたパターンを視覚的に表現したもの）の要約を作成します。
• 次に、各特徴マップに、特定のクラス（「鳥」や「猫」など）の予測における重要度を示す重みが付与されます。
• ただし、CAMの制限の一つは、これらの重みを計算するためにモデルを再トレーニングする必要がある場合があり、時間がかかる可能性があることです。

Grad-CAMは、最終予測に各特徴マップがどの程度影響するかを示す信号のような勾配を使用することで、この点を改善します。この手法ではGAPが不要になるため、再トレーニングを行わずにモデルが何に注目しているのかを把握しやすくなります。Grad-CAM++は、肯定的な影響だけに焦点を当てることで、これをさらに発展させ、結果をより明確にします。

図3。CAM、Grad-CAM、Grad-CAM++の比較。

反実仮想による説明#

反実仮想による説明は、説明可能なAIの重要な要素です。反実仮想による説明では、実際には起こらなかったものの、起こり得た別のシナリオや出来事を考慮して、状況や結果を説明します。特定の入力変数の変化が異なる結果につながることを、例えば「Xが起こらなければ、Yは起こらなかった」という形で示すことができます。

AIとコンピュータービジョンにおいて、反実仮想による説明は、AIモデルに異なる特定の結果を出力させるために、入力（画像やデータなど）に必要な最小限の変更を特定します。例えば、画像内の物体の色を変更すると、画像分類モデルの予測が「猫」から「犬」に変わる可能性があります。

もう一つの良い例は、顔認識システムにおける角度や照明の変更です。これにより、モデルが別の人物を識別する可能性があり、入力の小さな変化がモデルの予測にどのような影響を与えるかが示されます。

このような説明を作成する最も簡単な方法は、試行錯誤です。AIモデルが望ましい結果を出すまで、入力の一部（画像やデータの特徴など）をランダムに変更できます。その他の方法には、最適化と探索の手法を使用して変更を見つけるモデル非依存のアプローチや、内部設定または計算に依存して必要な変更を特定するモデル固有のアプローチがあります。

コンピュータービジョンにおける説明可能なAIの応用#

XAIとは何か、その主要技術について説明したところで、実際の用途を見ていきましょう。XAIは多くの分野で幅広く応用されています。その可能性を示すユースケースをいくつか見てみましょう。

• セキュリティシステム：XAIは、パスポートや運転免許証などの本人確認書類に含まれる改変画像を検出することで、セキュリティシステムの強化に利用できます。これにより、画像の真正性を確保し、本人確認プロセスを強化するとともに、機微性の高い用途における不正行為を防止できます。

図4。改変画像の検出にXAIがどのように機能するか。

• 自動運転：自動運転車に搭載されたビジョンAIシステムの能力と限界を理解することは、実際の道路に配備する前の車両テストにおいて非常に重要です。XAIは、自動車会社が問題をより明確に特定し、対処するのに役立ちます。

• 法制度：ビジョン機能を備えた文書分析システムは、司法判断においてますます利用されています。XAIは、公平な結果を支援し、自動化された判断を精査できるようにします。また、AIモデルがどのように判断に至ったのかを法務専門家が理解するのにも役立ちます。

• 野生動物モニタリング：カメラトラップは、野生動物の監視や動物種に関するデータ収集によく使用されます。XAIを使用すると、AIが画像内のこれらの種をどのように分類したのかを説明できます。これにより、保全活動の信頼性と精度を高められます。

説明可能なAIに関する主なポイント#

説明可能なAIにより、AIシステムがどのように機能し、なぜ特定の判断を下すのかを理解しやすくなります。AIモデルに関する透明性は、信頼と説明責任を構築します。知識は力となり、AIイノベーションをより責任を持って活用するのに役立ちます。医療、セキュリティ、自動運転、法制度などの重要な領域では、XAIを使用して開発者とユーザーがAIの予測を理解し、エラーを特定し、公平かつ倫理的な利用を確保できます。AIの透明性を高めることで、XAIはテクノロジーと人間の信頼の間にある隔たりを埋め、実際の用途におけるAIをより安全で信頼性の高いものにします。

詳しくは、GitHubリポジトリをご覧いただき、コミュニティにご参加ください。ソリューションページで自動運転車におけるAIアプリケーションと農業についてご覧ください。🚀