Concept Bottleneck Models

コンセプトボトルネックモデル（CBM）は、人間が理解できるコンセプトの中間層を介して予測を行うニューラルネットワークです。CBMは、入力を直接最終的なラベルにマッピングするのではなく、まず「赤い羽」、「表面の亀裂」、「関節の狭小化」などの意味のある属性を予測し、それらの属性のみを使用して決定を導き出します。この構造により、従来のブラックボックスモデルよりもモデルの検査、デバッグ、修正が容易になります。

コンセプトボトルネックモデルの仕組み#

標準的なneural networkは、不透明なlatent space内で情報を表現することがよくあります。CBMは、その隠れ表現の一部を、次元に定義された意味を持つコンセプトベクトルに置き換えます。

その予測パイプラインには2つの主なステージがあります：

1. コンセプト予測子は、画像などの生入力をコンセプト値にマッピングします。
2. ターゲット予測子は、それらのコンセプト値を最終的なクラスまたはスコアにマッピングします。

たとえば、鳥の分類器は、種を特定する前に「黒いクチバシ」、「白い胸」、「長い尾」を予測する場合があります。コンセプトは、バイナリ、カテゴリカル、または連続値のいずれかです。通常、これらはsupervised learningを通じて学習され、各トレーニング例にターゲットラベルとコンセプトアノテーションの両方を含める必要があります。

2つのステージは、独立して、順次に、または結合してトレーニングできます。独立したトレーニングでは分離が明示的になりますが、結合されたトレーニングではコンセプトの品質と最終タスクのパフォーマンスのバランスをとることができます。どのような場合でも、ボトルネックはターゲット予測子を指定されたコンセプトに制限する必要があります。そうしないと、意図した説明が隠れた情報によってバイパスされる可能性があります。

解釈可能性と介入が重要である理由#

CBMは本質的なexplainable AIの一形態であり、その解釈可能な構造は後から追加されるのではなく、予測に組み込まれています。これは、すでにトレーニングされたブラックボックスに何が影響したかを推定する、saliency mapsなどの事後ツールとは異なります。

コンセプトレイヤーは、いくつかの便利なインタラクションをサポートします：

• ユーザーは、どのコンセプトが決定を引き起こしたかを検査できます。
• ドメイン専門家は、不正確なコンセプトを修正し、出力を再計算できます。
• 開発者は、ターゲット予測子が有効なドメインロジックに従っているかどうかをテストできます。
• チームは、最終タスクの精度とは別にコンセプトの精度を測定できます。

NIST guidance on explainable AIおよびPeople + AI Guidebookで議論されている人間中心の制御。ただし、理解しやすい説明が自動的に正しい説明になるわけではありません。コンセプトの忠実度は、仮定するのではなく評価する必要があります。

実社会での応用#

• Medical Image Analysis: X線を検査するモデルは、疾患の重大度を評価する前に、骨棘、関節隙の狭小化、硬化などのコンセプトを推定する場合があります。臨床医は、重大度のスコアだけでなく、これらの中間的な所見を確認または修正できます。この人間とモデルのインタラクションは、FDA transparency principles for machine-learning medical devicesに関連しています。

• Manufacturing Visual Inspection: ビジョンシステムは、部品の欠品、亀裂、変色、不適切な位置合わせなどのコンセプトを特定し、それらを使用して製品が検査に合格するか、特定の修理が必要かを判断できます。Object detectionは部品や欠陥をローカライズでき、下流のコンセプトベースの分類器は監査可能な品質の決定を提供します。

制限事項と関連コンセプト#

コンセプトのラベルは追加のdata annotationコストを発生させ、専門知識を必要とする場合があります。不十分に定義されたコンセプトは、主観的、相関的、不完全、または入力から認識しにくい場合があります。チームは、正確なラベリングルールを作成し、アノテーター間の不一致を監査する必要があります。

その他の重要なリスクには、コンセプト予測のエラー、未調整のスコア、および連続したコンセプト値が述べられた意味を超えた意図しない情報をエンコードするコンセプトリークが含まれます。probability calibrationに関するガイダンスは、コンセプトの信頼度値が信頼できるかどうかを判断するのに役立ちます。

CBMは特徴量エンジニアリングとも異なります。エンジニアリングされた特徴量は手動で計算された入力ですが、コンセプトは通常、生データから予測され、明示的に教師あり学習されます。これは情報ボトルネック原理とは異なり、各次元が人間が読める形式であることを要求せずに表現を圧縮します。

バイアスのかかったアノテーションや欠落したコンセプトが不均一なエラーを引き起こす可能性があるため、コンセプトのパフォーマンスは関連するデータスライス全体でチェックする必要があります。Google’s guidance for identifying ML biasおよびNIST AI RMF Coreは、有用な評価およびガバナンスプラクティスを提供します。

実用的なビジョンパイプラインの構築#

An Ultralytics YOLO26 model can act as an upstream visual concept extractor. The following Predict mode workflow collects detected object classes as candidate concept signals:

from ultralytics import YOLO

# Load a pretrained visual concept extractor
model = YOLO("yolo26n.pt")

# Run inference and select the first result
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into human-readable concept candidates
concepts = {result.names[int(class_id)] for class_id in result.boxes.cls}
print(sorted(concepts))

result.save(filename="concept_candidates.jpg")

これは完全なCBMではありません。下流のモデルは、選択されたコンセプトからのみ最終的なターゲットを予測するようにトレーニングする必要があります。チームはUltralytics Platformを使用して、視覚データのアノテーション、コンセプト抽出のトレーニング、実験の比較、およびデプロイされたコンポーネントの監視を行うことができます。構造化されたmodel evaluation workflowを使用して、コンセプトの精度、ターゲットの精度、キャリブレーション、介入の動作、および重要なサブグループを個別に評価します。