説明可能なAI（XAI）について知っておくべきすべてのこと

ChatGPTのような人工知能（AI）ツールの回答を見て、どうやってその結論に至ったのか疑問に思ったことはありませんか？もしそうなら、あなたはAIの「ブラックボックス」問題に直面しています。これは、AIモデルがどのようにデータを処理・分析しているかという透明性の欠如を指す言葉です。最先端のAIアルゴリズムを日常的に扱うAIエンジニアや科学者でさえ、その内部動作を完全に理解することは困難な場合があります。実際、ITプロフェッショナルのわずか22%しか、AIツールの能力を真に理解できていません。

AIモデルがどのように意思決定を行うかをめぐる不確実性は、ヘルスケア分野のコンピュータビジョンや金融分野のAIといった重要な領域においてリスクとなる可能性があります。しかし、こうした課題に取り組み、透明性を向上させるための大きな進歩が見られます。

特に、説明可能なAI（XAI）は、この懸念を解消することに特化しています。簡単に言えば、複雑な機械学習アルゴリズムによって提供される結果や出力を、人間が理解し信頼できるようにするためのプロセスと手法の集合体です。

XAIは、開発者がAIシステムが期待通りに動作していることを確認するのに役立ちます。また、AI企業が規制基準を満たすためにも役立ちます。この記事では、説明可能なAIとその幅広いユースケースについて探ります。それでは始めましょう！

Link to this section説明可能なAIの重要性#

AIを扱う上で、説明可能性（Explainability）は鍵となります。これは、ヘルスケアなどの業界で広く使用されているAIのサブフィールドであるコンピュータビジョンにおいて特に言えることです。このような機密性の高い業界でビジョンモデルを使用する場合、モデルの仕組みが誰にとっても透明で解釈可能であることが重要です。

コンピュータビジョンモデルにおける解釈可能性は、ユーザーが予測がどのように行われたか、そしてその背後にある論理をよりよく理解する助けとなります。透明性は、モデルの限界を明確にし、データが倫理的に使用されていることを保証することで、モデルの仕組みを誰にでも理解しやすくします。例えば、コンピュータビジョンは放射線科医がX線画像から健康上の合併症を効率的に特定するのに役立ちます。

図1。健康、罹患、活動性、潜在性結核の分類を示す、ビジョンAIで分析された胸部X線画像。

しかし、正確なビジョンシステムだけでは不十分です。そのシステムは、自身の決定を説明できる必要もあります。システムが画像のどの部分に基づいて結論に至ったかを示せれば、出力結果はより明確になるでしょう。そのようなレベルの透明性は、医療専門家が自身の診断を再確認し、患者のケアが医療基準を満たしていることを確認する助けとなります。

説明可能性が不可欠であるもう一つの理由は、AI企業に説明責任を持たせ、ユーザーからの信頼を構築できるためです。信頼できるAIは、ユーザーが「AIイノベーションは確実に機能し、公正な決定を下し、責任を持ってデータを扱う」と確信する手助けとなります。

Link to this sectionコンピュータビジョンにおける主要な説明可能なAI技術#

コンピュータビジョンにおいてなぜ説明可能性が重要なのかを議論しましたので、次はビジョンAIで使用される主要なXAI技術を見ていきましょう。

Link to this sectionサリエンシーマップ#

ニューラルネットワークは人間の脳に触発されたモデルであり、相互接続されたノード（ニューロン）の層を通してデータを処理することでパターンを認識し、決定を下すように設計されています。これらは高い精度で複雑なコンピュータビジョンの問題を解決するために使用できます。しかし、その精度にもかかわらず、設計上は依然としてブラックボックスです。

サリエンシーマップは、ニューラルネットワークが画像を分析する際に何を見ているのかを理解するのに役立つXAI技術です。また、モデルが期待通りに動作していない場合のトラブルシューティングにも使用できます。

サリエンシーマップは、画像のどの部分（ピクセル）がモデルの予測を決定づけているかに焦点を当てることで機能します。このプロセスは誤差逆伝播法と非常によく似ており、モデルは予測から入力へと遡ります。ただし、エラーに基づいてモデルの重みを更新するのではなく、各ピクセルが予測にとってどれだけ「重要」かを見ています。サリエンシーマップは、画像分類のようなコンピュータビジョンのタスクに非常に有用です。

例えば、画像分類モデルが画像を「犬」と予測した場合、サリエンシーマップを見て、なぜモデルがそれを「犬」だと判断したのかを理解できます。これにより、どのピクセルが出力に最も影響を与えているかを特定できます。サリエンシーマップは、画像が「犬」であるという最終的な予測に寄与したすべてのピクセルをハイライトします。

図2。入力画像とそのサリエンシーマップの比較ビュー。

Link to this sectionクラス活性化マッピング（CAM）#

クラス活性化マッピング（CAM）は、ニューラルネットワークが画像分類の予測を行う際に、画像のどの部分に注目しているかを理解するために使用されるもう一つのXAI技術です。これはサリエンシーマップと同様に機能しますが、特定のピクセルではなく、画像内の重要な特徴を特定することに焦点を当てています。特徴量とは、モデルが画像内で検出する形状やテクスチャのようなパターンや詳細のことです。

勾配重み付きクラス活性化マッピング（Grad-CAM）やGrad-CAM++のような手法は、同じ概念に基づいており、いくつかの改善が加えられています。

CAMの仕組みは以下の通りです。

• ニューラルネットワークが最終的な決定を下す前に、情報を簡略化するために「グローバルアベレージプーリング（GAP）」と呼ばれるステップを使用します。GAPは、検出されたパターン内のすべてのピクセルを単一の平均値に結合し、各特徴マップ（検出されたパターンの視覚的表現）の要約を作成します。
• 各特徴マップには、「鳥」や「猫」などの特定のクラスを予測するためにどれほど重要かを示す重みが与えられます。
• しかし、CAMの制限の一つとして、これらの重みを計算するためにモデルの再トレーニングが必要になる可能性があり、時間がかかる場合があります。

Grad-CAMは、各特徴マップが最終的な予測にどれだけ影響を与えるかを示す信号のような勾配を使用することで、これを改善します。この手法はGAPの必要性を回避し、再トレーニングなしでモデルが何に注目しているかを把握しやすくします。Grad-CAM++は、肯定的な影響のみに焦点を当てることでこれをさらに一歩進め、結果をより明確にしています。

図3。CAM、Grad-CAM、Grad-CAM++の比較。

Link to this section反実仮想説明（Counterfactual explanations）#

反実仮想説明は、説明可能なAIの重要な要素です。反実仮想説明には、実際には起こらなかったが起こり得た代替のシナリオやイベントを検討することで、状況や結果を記述することが含まれます。これは、「もしXが起こっていなかったら、Yは起こらなかっただろう」のように、特定の入力変数の変化がどのように異なる結果を導くかを示すことができます。

AIやコンピュータビジョンにおいて、反事実的説明（counterfactual explanation）とは、AIモデルに特定の異なる結果を出力させるために必要な、入力（画像やデータなど）に対する最小限の変更を特定するものです。例えば、画像内のオブジェクトの色を変えることで、画像分類モデルの予測を「猫」から「犬」に変更できる可能性があります。

もう一つの良い例は、顔認証システムにおける角度や照明を変更することです。これにより、モデルは異なる個人を識別する可能性があり、入力のわずかな変化がいかにモデルの予測に影響を与えるかを示しています。

これらの説明を作成する最も簡単な方法は試行錯誤です。AIモデルが望ましい結果を返すまで、入力の一部（画像やデータの機能など）をランダムに変更します。その他の手法には、最適化と検索手法を使用して変更を見つけるモデル非依存型のアプローチや、内部設定や計算に依存して必要な変更を特定するモデル固有のアプローチがあります。

Link to this sectionコンピュータビジョンにおける説明可能なAIの応用#

XAIとは何か、そして主要な技術について理解したところで、それが現実世界でどのように使用されているかを見ていきましょう。XAIは多くの分野で多様な応用が可能です。その可能性を際立たせるいくつかのユースケースを紹介します。

• セキュリティシステム：XAIは、パスポートや運転免許証などの身分証明書における改ざんされた画像を検出することで、セキュリティシステムを強化するために使用できます。これにより、画像の真正性が確保され、本人確認プロセスが強化され、機密性の高いアプリケーションにおける不正行為が防止されます。

図4。改ざんされた画像を検出するためにXAIがどのように機能するか。

• 自動運転：自動運転車の車載ビジョンAIシステムの能力と限界を理解することは、現実世界の道路に展開する前のテストにおいて非常に重要です。XAIは、自動車メーカーが問題をより明確に特定し対処するのに役立ちます。

• 法制度：ビジョン対応の文書分析システムは、司法の意思決定においてますます使用されるようになっています。XAIは公正な結果をサポートし、自動的な判断を精査できるようにします。また、法務専門家がAIモデルがどのように結論に達したかを理解するのにも役立ちます。

• 野生生物モニタリング：カメラトラップは、野生生物を監視し、動物の種に関するデータを収集するためによく使用されます。XAIは、AIが画像内のこれらの種をどのように分類したかを説明するために使用できます。そうすることで、保護活動をより信頼性が高く正確なものにすることができます。

Link to this section説明可能なAIに関する重要なポイント#

説明可能なAIは、AIシステムがどのように機能し、なぜ特定の決定を下すのかを理解しやすくします。AIモデルに関する透明性は、信頼と説明責任を築きます。知識は力であり、AIイノベーションをより責任を持って活用する助けとなります。ヘルスケア、セキュリティ、自動運転、法制度などの重要な領域において、XAIは開発者やユーザーがAIの予測を理解し、エラーを特定し、公平で倫理的な使用を保証するために使用できます。AIをより透明にすることで、XAIはテクノロジーと人間の信頼の間の溝を埋め、現実世界のアプリケーションにとって、より安全で信頼性の高いものにします。

詳細については、当社のGitHubリポジトリにアクセスし、コミュニティにご参加ください。当社のソリューションページで、自動運転車および農業におけるAIの応用を探ってみてください。 🚀