説明可能なAI（XAI）について知っておくべきすべてのこと

ChatGPTのような人工知能（AI）ツールの応答を見て、どのようにその結論に至ったのか疑問に思ったことはありませんか？もしそうなら、あなたはAIの「ブラックボックス」という懸念に直面したことになります。これは、AIモデルがデータを処理および分析する仕組みの透明性が欠如していることを指す用語です。最先端のAIアルゴリズムを日常的に扱うAIエンジニアや科学者でさえ、その内部動作を完全に理解することは難しいと感じる場合があります。実際、ITプロフェッショナルのわずか22%しか、AIツールの機能を真に理解していません。

AIモデルがどのように決定を下すのかをめぐる不確実性は、特にヘルスケアにおけるコンピュータビジョンや金融におけるAIといった重要な分野においてリスクを伴う可能性があります。しかし、こうした課題に取り組み、透明性を向上させるための大きな進展が見られます。

特に、説明可能なAI（XAI）は、この懸念を解決することに特化しています。簡単に言えば、これは複雑な機械学習アルゴリズムによって提供された結果や出力を、人間のユーザーが理解し信頼するのに役立つ一連のプロセスと方法です。

XAIは、開発者がAIシステムが期待通りに動作していることを確認するのに役立ちます。また、AI企業が規制基準を満たすためにも役立ちます。この記事では、説明可能なAIと、その幅広いユースケースについて探っていきます。それでは始めましょう！

説明可能なAIの重要性#

AIを扱う上で、説明可能性は鍵となります。これは、ヘルスケアなどの業界のアプリケーションで広く使用されているAIのサブフィールドであるコンピュータビジョンにおいて特に当てはまります。このような機密性の高い業界でビジョンモデルを使用する場合、モデルの動作がすべての人にとって透明で解釈可能であることが重要です。

コンピュータビジョンモデルにおける解釈可能性は、ユーザーが予測がどのように行われたか、およびその背後にあるロジックをよりよく理解するのに役立ちます。透明性は、モデルの限界を明確に示し、データが倫理的に使用されるようにすることで、モデルの動作を誰にとっても明確にします。例えば、コンピュータビジョンは、放射線科医がX線画像内の健康上の異常を効率的に特定するのに役立ちます。

図1。健康、病気、活動性、および潜在性結核の分類を示す、ビジョンAIで分析された胸部X線。

しかし、単に正確なビジョンシステムだけでは十分ではありません。システムは自身の決定を説明できる必要もあります。例えば、画像内のどの部分がその結論につながったのかをシステムが示すことができれば、どのような出力もより明確になります。このようなレベルの透明性は、医療従事者が自身の発見を二重確認し、患者ケアが医療基準を満たしていることを確認するのに役立ちます。

説明可能性が不可欠であるもう一つの理由は、AI企業に説明責任を持たせ、ユーザーからの信頼を築くからです。信頼できるAIは、ユーザーがAIのイノベーションが確実に対処し、公正な決定を下し、データを責任を持って処理すると確信することにつながります。

コンピュータビジョンにおける主要な説明可能なAI技術#

コンピュータビジョンにおいてなぜ説明可能性が重要なのかを議論しましたので、次はビジョンAIで使用される主要なXAI技術を見ていきましょう。

サリエンシーマップ#

ニューラルネットワークは人間の脳にインスピレーションを得たモデルであり、相互接続されたノード（ニューロン）の層を通してデータを処理することにより、パターンを認識し決定を下すように設計されています。これらは、高い精度で複雑なコンピュータビジョンの問題を解決するために使用できます。この精度にもかかわらず、それらは依然として設計上ブラックボックスです。

サリエンシーマップは、ニューラルネットワークが画像を分析する際に何を見ているのかを理解するのに役立つXAI技術です。また、モデルが期待通りに動作していない場合のトラブルシューティングにも使用できます。

サリエンシーマップは、画像のどの部分（ピクセル）がモデルの予測を定義しているかに焦点を当てることで機能します。このプロセスは逆伝播（バックプロパゲーション）に非常に似ており、モデルは予測から入力へと逆方向にたどります。しかし、エラーに基づいてモデルの重みを更新する代わりに、各ピクセルが予測にとってどれほど「重要」であるかを見ているだけです。サリエンシーマップは、画像分類のようなコンピュータビジョンのタスクに非常に役立ちます。

例えば、画像分類モデルが画像は犬であると予測した場合、そのサリエンシーマップを見ることで、モデルがなぜそれらを犬だと思うのかを理解できます。これにより、どのピクセルが出力に最も影響を与えるかを特定できます。サリエンシーマップは、画像が犬であるという最終的な予測に寄与したすべてのピクセルを強調表示します。

図2。入力画像とサリエンシーマップの並び比較。

クラス活性化マッピング（CAM）#

クラス活性化マッピング（CAM）は、画像分類の予測を行う際に、ニューラルネットワークが画像のどの部分に焦点を当てているかを理解するために使用されるもう1つのXAIテクニックです。これはサリエンシーマップと同様に機能しますが、特定のピクセルではなく画像内の重要な特徴を特定することに焦点を当てています。特徴は、モデルが画像内で検出する形やテクスチャなどのパターンや詳細です。

勾配重み付きクラス活性化マッピング（Grad-CAM）やGrad-CAM++のような手法は、同じ概念に基づいており、いくつかの改善が加えられています。

CAMの仕組みは以下の通りです。

• ニューラルネットワークが最終的な決定を下す前に、情報を簡略化するために「グローバルアベレージプーリング（GAP）」と呼ばれるステップを使用します。GAPは、検出されたパターン内のすべてのピクセルを単一の平均値に結合し、各特徴マップ（検出されたパターンの視覚的表現）の要約を作成します。
• 各特徴マップには、「鳥」や「猫」などの特定のクラスを予測するためにどれほど重要かを示す重みが与えられます。
• しかし、CAMの1つの制限は、これらの重みを計算するためにモデルを再学習させる必要がある場合があり、これが時間がかかることがある点です。

Grad-CAMは、各特徴マップが最終的な予測にどれだけ影響を与えるかを示すシグナルのような勾配（グラディエント）を使用することでこれを改善します。この方法により、GAPの必要性が回避され、再学習なしでモデルが何に焦点を当てているかを簡単に確認できるようになります。Grad-CAM++は、これをさらに一歩進めて正の影響のみに焦点を当てることで、結果をさらに明確にします。

図3。CAM、Grad-CAM、およびGrad-CAM++の比較。

反実仮想説明（Counterfactual explanations）#

反実仮想説明は、説明可能なAIの重要な要素です。反実仮想説明には、実際には起こらなかったが起こり得た代替のシナリオやイベントを検討することで、状況や結果を記述することが含まれます。これは、「もしXが起こっていなかったら、Yは起こらなかっただろう」のように、特定の入力変数の変化がどのように異なる結果を導くかを示すことができます。

AIとコンピュータビジョンに関して、反事実的説明（カウンターファクチュアル）は、AIモデルに異なる特定の成果を生じさせるために、入力（画像やデータなど）に必要な最小限の変更を特定します。例えば、画像内のオブジェクトの色を変更すると、画像分類モデルの予測を「猫」から「犬」に変更することができます。

もう一つの良い例は、顔認識システムでの角度や照明の変更です。これにより、モデルが別の個人を識別するようになり、入力のわずかな変更がモデルの予測にどのように影響するかを示すことができます。

これらの説明を作成する最も簡単な方法は試行錯誤です。AIモデルが望ましい結果を返すまで、入力の一部（画像やデータの機能など）をランダムに変更することができます。その他の方法には、変更を見つけるために最適化と検索技術を使用するモデル非依存アプローチや、必要な変更を特定するために内部設定や計算に依存するモデル依存アプローチが含まれます。

コンピュータビジョンにおける説明可能なAIの応用#

XAIとは何か、そして主要な技術について理解したところで、それが現実世界でどのように使用されているかを見ていきましょう。XAIは多くの分野で多様な応用が可能です。その可能性を際立たせるいくつかのユースケースを紹介します。

• セキュリティシステム：XAIは、パスポートや運転免許証などの身分証明書内のモーフ画像（偽造画像）を検出することにより、セキュリティシステムを強化するために使用できます。これにより、画像の信頼性が確保され、本人確認プロセスが強化され、機密性の高いアプリケーションでの不正行為が防止されます。

図4。モーフ画像を検出するためにXAIが機能する仕組み。

• 自動運転：自動運転車の車載ビジョンAIシステムの機能と制限を理解することは、現実世界の道路に配備される前に車をテストする上で大きな部分を占める可能性があります。XAIは、自動車企業が問題をより明確に特定し対処するのに役立ちます。

• 法制度：ビジョン対応の文書分析システムは、司法の意思決定においてますます使用されています。XAIは公正な結果をサポートし、自動化された判断を精査可能にします。また、法的専門家がAIモデルがどのように決定に達するかを理解するのにも役立ちます。

• 野生動物のモニタリング：カメラトラップは、野生動物をモニタリングし、動物種に関するデータを収集するためによく使用されます。XAIは、AIが画像内のこれらの種をどのように分類するかを説明するために使用できます。これにより、保護活動をより信頼性が高く正確にすることができます。

説明可能なAIに関する重要なポイント#

説明可能なAIは、AIシステムがどのように機能し、なぜ特定の決定を下すのかを理解しやすくします。AIモデルに関する透明性は、信頼と説明責任を築きます。知識は力であり、AIイノベーションをより責任を持って活用する助けとなります。ヘルスケア、セキュリティ、自動運転、法制度などの重要な領域において、XAIは開発者やユーザーがAIの予測を理解し、エラーを特定し、公平で倫理的な使用を保証するために使用できます。AIをより透明にすることで、XAIはテクノロジーと人間の信頼の間の溝を埋め、現実世界のアプリケーションにとって、より安全で信頼性の高いものにします。

詳細については、私たちのGitHubリポジトリを訪れ、コミュニティに参加してください。ソリューションページで自動運転車におけるAIアプリケーションと農業について探索してください。🚀