Explainable AI（XAI）が、医療、セキュリティ、自動運転など、さまざまな分野でAI予測の透明性と信頼性を高め、信頼を構築する様子をご覧ください。
YOLO Vision 2025にご期待ください！
2025年9月25日
10:00 — 18:00（英国夏時間）
ハイブリッドイベント
Explainable AI（XAI）が、医療、セキュリティ、自動運転など、さまざまな分野でAI予測の透明性と信頼性を高め、信頼を構築する様子をご覧ください。
ChatGPTのような人工知能（AI）ツールからの応答を見て、それがどのように結論に至ったのか疑問に思ったことはありませんか？それこそが、AIの「ブラックボックス」問題です。これは、AIモデルがデータをどのように処理および分析するかについての透明性の欠如を指す用語です。最先端のAIアルゴリズムを扱うAIエンジニアや科学者でさえ、その内部構造を完全に理解することは難しいと感じることがよくあります。実際、IT専門家のわずか22％しか、AIツールの能力を真に理解していません。
AIモデルがどのように意思決定を行うかという不確実性は、特に医療におけるコンピュータビジョンや金融におけるAIなどの重要な分野ではリスクを伴う可能性があります。しかし、これらの課題に取り組み、透明性を向上させるために、大きな進歩が遂げられています。
特に、説明可能なAI（XAI）は、この懸念の解決のみに焦点を当てています。簡単に言うと、複雑な機械学習アルゴリズムによって得られた結果または出力を、人間のユーザーが理解し、信頼するのに役立つ一連のプロセスと手法です。
XAIは、AIシステムが期待どおりに動作していることを開発者が確認するのに役立ちます。また、AI企業が規制基準を満たすのにも役立ちます。この記事では、説明可能なAIとその幅広いユースケースについて解説します。それでは、始めましょう。
AIを扱う上で、説明可能性は非常に重要です。特にAIのサブフィールドであるコンピュータビジョンは、医療などの業界のアプリケーションで広く使用されており、ビジョンモデルをこのような機密性の高い業界で使用する場合、モデルの動作が誰にとっても透明で解釈可能であることが重要です。
コンピュータビジョンモデルの解釈可能性は、ユーザーが予測がどのように行われたのか、そしてその背景にあるロジックをより良く理解するのに役立ちます。透明性は、モデルの限界を明確にし、データが倫理的に使用されるようにすることで、モデルの動作を誰にとっても明確にします。例えば、コンピュータビジョンは放射線科医がX線画像における健康上の問題を効率的に特定するのに役立ちます。
しかし、精度が高いだけのビジョンシステムでは十分ではありません。システムは、その判断を説明できる必要もあります。例えば、画像内のどの部分が結論につながったのかをシステムが示すことができれば、出力はより明確になるでしょう。そのようなレベルの透明性は、医療従事者が自分たちの発見を再確認し、患者ケアが医療基準を満たしていることを確認するのに役立ちます。
説明可能性が不可欠であるもう1つの理由は、AI企業に責任を負わせ、ユーザーの信頼を構築することです。信頼できるAIは、AIイノベーションが確実に機能し、公正な意思決定を行い、データを責任を持って処理するとユーザーが確信するようになります。
コンピュータービジョンにおいて説明可能性が重要な理由について説明したところで、Vision AIで使用される主要なXAI手法を見てみましょう。
ニューラルネットワークは、人間の脳に触発されたモデルであり、相互接続されたノード（ニューロン）の層を介してデータを処理することにより、パターンを認識し、意思決定を行うように設計されています。これらは、複雑なコンピュータビジョンの問題を高い精度で解決するために使用できます。この精度にもかかわらず、それらは設計上依然としてブラックボックスです。
顕著性マップは、ニューラルネットワークが画像を分析する際に何を見ているかを理解するのに役立つXAI手法です。また、モデルが期待どおりに機能しない場合に、モデルのトラブルシューティングにも使用できます。
顕著性マップは、画像のどの部分（ピクセル）がモデルの予測を定義するかに焦点を当てることによって機能します。このプロセスはバックプロパゲーションと非常によく似ており、モデルは予測から入力までトレースバックします。ただし、エラーに基づいてモデルの重みを更新する代わりに、各ピクセルが予測にどれだけ「重要」であるかを確認するだけです。顕著性マップは、画像分類などのコンピュータビジョンタスクに非常に役立ちます。
例えば、画像分類モデルが画像を犬であると予測する場合、その顕著性マップを見て、モデルがなぜ犬であると考えるのかを理解できます。これにより、どのピクセルが出力に最も影響を与えるかを特定できます。顕著性マップは、画像が犬であるという最終的な予測に貢献したすべてのピクセルを強調表示します。
クラス活性化マッピングは、ニューラルネットワークが画像分類の予測を行う際に、画像のどの部分に焦点を当てているかを理解するために使用される別のXAI技術です。これは、顕著性マップと同様に機能しますが、特定のピクセルではなく、画像内の重要な特徴を特定することに焦点を当てています。特徴とは、形状やテクスチャなど、モデルが画像内で検出するパターンまたは詳細のことです。
Gradient Weighted Class Activation Mapping (Grad-CAM)やGrad-CAM++などの手法は、同じ考え方を基にしており、いくつかの改善が加えられています。
CAMの仕組みは以下のとおりです。
Grad-CAMは、各特徴マップが最終予測にどれだけ影響を与えているかを示すシグナルのような勾配を使用することで、この点を改善しています。この手法では、GAPを必要とせず、再トレーニングなしでモデルが何に注目しているかを容易に把握できます。Grad-CAM++は、さらに一歩進んで、正の影響のみに焦点を当てることで、結果をさらに明確にしています。
反実仮想説明は、説明可能なAIの重要な要素です。反実仮想説明とは、起こらなかったが起こり得た代替シナリオやイベントを考慮して、状況や結果を説明することです。特定の入力変数の変化が異なる結果につながる様子を示すことができます。たとえば、「もしXが起こらなかったら、Yは起こらなかっただろう」などです。
AIとコンピュータビジョンに関して、反実仮想説明は、AIモデルが異なる特定の結果を生成するために必要な入力（画像やデータなど）の最小限の変更を特定します。たとえば、画像内のオブジェクトの色を変更すると、画像分類モデルの予測が「猫」から「犬」に変わる可能性があります。
別の良い例としては、顔認識システムにおいて、角度や照明を変えることが挙げられます。これにより、モデルが別の人を識別する可能性があり、入力のわずかな変化がモデルの予測に影響を与えることを示しています。
これらの説明を作成する最も簡単な方法は、試行錯誤によるものです。AIモデルが目的の結果を出すまで、入力の一部（画像の機能やデータなど）をランダムに変更できます。その他の方法としては、変更を見つけるために最適化と検索手法を使用するモデルに依存しないアプローチや、必要な変更を特定するために内部設定または計算に依存するモデル固有のアプローチなどがあります。
XAIとは何か、そしてその主要な手法について説明したところで、それが実際にどのように使用されているかを見ていきましょう。XAIは、多くの分野で多様な応用があります。その可能性を強調するユースケースをいくつかご紹介します。
説明可能なAI（XAI）は、AIシステムがどのように機能し、なぜ特定の意思決定を行うのかを理解しやすくします。AIモデルの透明性は、信頼と説明責任を構築します。知識は力であり、AIイノベーションがより責任を持って使用されるのに役立ちます。 医療、セキュリティ、自動運転、法制度などの重要な分野では、XAIを使用して、開発者とユーザーがAIの予測を理解し、エラーを特定し、公正で倫理的な使用を保証できます。AIをより透明にすることで、XAIはテクノロジーと人間の信頼の間のギャップを埋め、現実世界のアプリケーションにとってより安全で信頼性の高いものにします。
詳細については、GitHubリポジトリをご覧いただき、コミュニティにご参加ください。ソリューションページでは、自動運転車におけるAIの応用事例や農業を紹介しています。🚀
