Concept Bottleneck Models

コンセプトボトルネックモデル（CBMs）は、人間が理解できるコンセプトによる中間層を介して予測を行うニューラルネットワークです。入力を最終ラベルに直接マッピングするのではなく、CBMはまず「赤い翼」「表面の亀裂」「関節腔の狭小化」などの意味のある属性を予測し、その属性のみを使用して判定を生成します。この構造により、従来のブラックボックスモデルよりもモデルの検査、デバッグ、修正が容易になります。

コンセプトボトルネックモデルの仕組み#

標準的なニューラルネットワークでは、情報を不透明な潜在空間で表現することがよくあります。CBMは、その隠れた表現の一部を、各次元の意味が定義されたコンセプトベクトルに置き換えます。

予測パイプラインには、主に2つの段階があります。

1. コンセプト予測器は、画像などの生の入力をコンセプト値にマッピングします。
2. ターゲット予測器は、それらのコンセプト値を最終クラスまたはスコアにマッピングします。

たとえば、鳥の分類器は、種を識別する前に「黒いくちばし」「白い胸」「長い尾」を予測できます。コンセプトは、バイナリ、カテゴリ、または連続値の場合があります。通常は教師あり学習によって学習され、各学習例にターゲットラベルとコンセプトアノテーションの両方を含める必要があります。

2つの段階は、独立して、順番に、または共同で学習できます。独立学習では分離が明確になる一方、共同学習ではコンセプトの品質と最終タスクの性能のバランスを取ることができます。いずれの場合も、ボトルネックによってターゲット予測器が宣言されたコンセプトだけに制限される必要があります。そうでなければ、隠れた情報が意図した説明を迂回する可能性があります。

解釈可能性と介入が重要な理由#

CBMは、組み込み型の説明可能なAIの一種です。解釈可能な構造が後付けされるのではなく、予測に組み込まれているためです。これは、すでに学習済みのブラックボックスに何が影響したかを推定するサリエンシーマップなどの事後解析ツールとは異なります。

コンセプト層は、次のような有用なインタラクションを可能にします。

• ユーザーは、どのコンセプトが判定の原因となったかを確認できます。
• ドメインの専門家は、不正確なコンセプトを修正して出力を再計算できます。
• 開発者は、ターゲット予測器が妥当なドメインロジックに従っているかをテストできます。
• チームは、コンセプトの精度と最終タスクの精度を個別に測定できます。

これらの機能は、説明可能なAIに関するNISTのガイダンスおよびPeople + AI Guidebookで説明されている人間中心のコントロールと整合します。ただし、理解しやすい説明が自動的に正しいものになるわけではありません。コンセプトの忠実度は、仮定するのではなく評価する必要があります。

実世界での利用例#

• 医用画像解析： X線を解析するモデルは、疾患の重症度を評価する前に、骨棘、関節腔の狭小化、硬化などのコンセプトを推定できます。臨床医は、重症度スコアだけを受け取るのではなく、これらの中間結果を確認または修正できます。この人間とモデルのインタラクションは、機械学習を用いた医療機器に関するFDAの透明性原則と特に関連しています。

• 製造業における外観検査： ビジョンシステムは、部品の欠落、亀裂、変色、位置合わせの誤りなどのコンセプトを特定し、それらを使用して製品が検査に合格するか、特定の修理が必要かを判断できます。物体検出で部品や欠陥の位置を特定し、後段のコンセプトベース分類器で監査可能な品質判定を行えます。

制限事項と関連する概念#

コンセプトラベルには追加のデータアノテーションコストが発生し、専門知識が必要になる場合があります。適切に定義されていないコンセプトは、主観的、相関的、不完全、または入力から認識しにくいものになる可能性があります。チームは、正確なラベリングルールを作成し、アノテーター間の不一致を監査する必要があります。

その他の重要なリスクには、コンセプト予測エラー、未キャリブレーションのスコア、そしてコンセプトリーケージがあります。コンセプトリーケージとは、連続値のコンセプトが、明示された意味を超えた意図しない情報をエンコードする現象です。確率キャリブレーションに関するガイダンスは、コンセプトの信頼度の値が信頼できるかどうかを判断するのに役立ちます。

CBMは特徴量エンジニアリングとも異なります。エンジニアリングされた特徴量は手動で計算される入力であるのに対し、コンセプトは通常、生データから予測され、明示的に教師あり学習されます。また、情報ボトルネック原理とも同じではありません。情報ボトルネック原理は、各次元を人間が読解可能にすることを求めずに表現を圧縮します。

コンセプトの性能は、関連するデータスライス全体で確認する必要があります。バイアスのあるアノテーションや欠落したコンセプトによって、誤差に偏りが生じる可能性があるためです。MLバイアスの特定に関するGoogleのガイダンスとNIST AI RMF Coreは、有用な評価およびガバナンスの実践を提供します。

実用的なビジョンパイプラインの構築#

Ultralytics YOLO26モデルは、上流のビジュアルコンセプト抽出器として機能できます。以下のPredictモードのワークフローでは、検出された物体クラスをコンセプト候補のシグナルとして収集します。

from ultralytics import YOLO

# Load a pretrained visual concept extractor
model = YOLO("yolo26n.pt")

# Run inference and select the first result
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into human-readable concept candidates
concepts = {result.names[int(class_id)] for class_id in result.boxes.cls}
print(sorted(concepts))

result.save(filename="concept_candidates.jpg")

これは完全なCBMではありません。下流モデルを学習し、選択したコンセプトだけから最終ターゲットを予測できるようにする必要があります。チームはUltralytics Platformを使用して、ビジュアルデータのアノテーション、コンセプト抽出器の学習、実験の比較、デプロイ済みコンポーネントのモニタリングを行えます。構造化されたモデル評価ワークフローを使用して、コンセプト精度、ターゲット精度、キャリブレーション、介入時の挙動、重要なサブグループを個別に評価してください。