Explainable AI (XAI)

説明可能なAI（XAI）とは、人工知能（AI）モデルの出力を人が理解できるようにする手法の総称です。どの入力が予測に影響したか、モデルが全体としてどのように振る舞うか、どのような場合にその回答を信頼できるかを明らかにします。数百万から数十億のパラメーターを持つディープラーニング（DL）モデルは、精度が高くても内部の見通しがきかないブラックボックスとして振る舞います。XAIは、開発者、ユーザー、監査担当者、規制当局に内部を把握する手段を提供します。説明は、モデルのデバッグ、アルゴリズムバイアスの検出、影響を受ける人々への判断の正当化、法的要件への準拠に使われます。DARPAの説明可能なAIプログラムは2017年に開始され、この用語を広く普及させました。

説明可能性と解釈可能性#

この2つの用語は、しばしば同義語として使われます。研究者が区別する場合、解釈可能なモデルは設計段階から理解しやすく、線形モデル、小規模な決定木、概念ボトルネックモデルなどが該当します。一方、説明可能性の手法は、もともと解釈可能ではないモデルについて事後的な説明を生成します。Cynthia Rudinは2019年のNature Machine Intelligence論文で、事後説明はモデルが実際に計算している内容を誤って伝える可能性があるため、重大な影響を伴う判断には解釈可能なモデルを使うべきだと主張しました。

隣接する2つの用語は、より広い概念、またはより深い分析を指します。AIの透明性は、データソース、設計、想定用途など、システム全体に関する情報公開を扱います。メカニスティック解釈可能性はネットワーク内部の回路をリバースエンジニアリングする手法で、主に大規模言語モデルに用いられます。

説明の種類#

説明は、対象範囲と必要なアクセスの程度によって異なります。局所的な説明は、ある融資が拒否された理由など、1つの予測を説明します。大域的な説明は、全体としてどの特徴量が最も重要かなど、すべての予測にわたる振る舞いを説明します。モデル非依存の手法は、モデルをブラックボックスとして扱い、入力と出力のみを照会します。モデル固有の手法は、勾配やアテンション重みなど、モデル内部の情報を利用します。

一般的なXAI手法#

• SHAP（SHapley加法的説明）：協力ゲーム理論のShapley値を使って各特徴量に予測への寄与分を割り当てるため、各寄与の合計は予測値とベースラインとの差に正確に一致します。
• LIME（局所的でモデル非依存の説明）：入力を何度も変化させて予測の変化を記録し、スパース線形モデルなどのシンプルな代理モデルを学習して、その入力の近傍でブラックボックスモデルの挙動を模倣します。
• Permutation feature importance：一度に1つの特徴量をシャッフルし、モデルのスコアがどれだけ低下するかを測定します。あらゆるモデルで機能するグローバルな説明手法です。
• 反実仮想による説明：ローンが承認されたであろう所得額など、判定を覆すために入力に加える最小限の変更を示します。
• 顕著性マップ：ビジョンモデルの出力に最も影響したピクセルを強調表示します。Grad-CAMなどのクラス活性化マップ（CAM）手法は、予測クラスのスコア勾配を使ってネットワークの特徴マップに重み付けし、根拠を示す粗いヒートマップを生成します。

Ultralytics YOLO26にはCAM手法が組み込まれており、予測時にvisualize=Trueを設定するとLayerCAMヒートマップが保存されます。このヒートマップでは、検出ヘッドに入力される特徴マップの各位置に、その位置の勾配のうち予測クラスに対して正の値を持つものを使って重み付けします。

from ultralytics import YOLO

# COCOで事前学習済みのYOLO26検出器を読み込みます
model = YOLO("yolo26n.pt")

# 「person」の検出（クラス0）のみを説明するLayerCAMヒートマップを保存します
model.predict("https://ultralytics.com/images/bus.jpg", visualize=True, classes=[0])

実行フォルダーにbus_cam.jpgが追加されます。これは画像に重ね合わせたヒートマップで、暖色系の色が「person」のスコアを高めたピクセルを示します。

説明が誤解を招く場合#

説明が説得力のある見た目でも、モデルについて誤った内容を示していることがあります。2018年の「顕著性マップのサニティチェック」では、研究者がネットワークの学習済み重みをランダム化したところ、一般的な顕著性手法のいくつかが、ランダム化前とほぼ同じマップを生成しました。この結果は、マップがモデルの学習内容よりも入力画像のエッジを反映していることを示しています。2020年の研究では、意図的に偏りを持たせた分類器を用意し、LIMEやSHAPが無害な特徴を報告する一方で、基礎となる判定は差別的なままになるようにできることが示されました。NISTの説明可能なAIに関する4つの原則は、説明が存在し、対象者にとって意味があり、システムのプロセスを正確に反映すること、さらにシステムが設計された条件の範囲内でのみ動作することを求めています。

用途と規制#

• 医用画像解析：ヒートマップを使うと、モデルがX線画像で指摘した箇所が病変そのものであることを放射線科医が確認でき、スキャナーのマーカーや画像に焼き込まれたテキストに反応するモデルも見つけられます。
• ショートカット学習の検出：LIMEの原論文では、説明によって、背景の雪を手がかりにしていた、意図的に欠陥を加えたハスキー犬とオオカミの分類器が明らかになりました。
• 与信と融資：米国の貸し手は、平等信用機会法に基づき、複雑なアルゴリズムによる判定であっても例外なく、申請者に否認の具体的な主な理由を伝えなければなりません。

GDPRにより、自動化された判定の対象となる人は、関与するロジックについて意味のある情報を得る権利を有します。EU AI法第13条は、高リスクシステムの導入者が出力を解釈できる程度に透明であることを求めています。また、第86条は、高リスクシステムに基づく判定の影響を受ける人に対し、AIシステムの役割と判定の主な要素について、明確で意味のある説明を受ける権利を認めています。