Constitutional AI

Constitutional AIが倫理原則を使用してモデルを人間の価値観に沿わせる仕組みを探ります。Ultralytics YOLO26を使用してコンピュータービジョンに安全性チェックを実装する方法を学びます。

Constitutional AIは、個々の出力に対する膨大な人間のフィードバックだけに依存するのではなく、高レベルの原則、つまり「憲法」を与えることで、人工知能システムを人間の価値観に適合させるためのトレーニング手法です。このアプローチでは、「役に立つ」「無害である」「差別を避ける」といったあらかじめ定めたルールに基づいて、AIモデル自身に自分の振る舞いを批評・修正する方法を基本的に教えます。これらの倫理ガイドラインをトレーニングプロセスに直接組み込むことで、手動の人間のフィードバックによる強化学習（RLHF）に依存するシステムよりも、安全で透明性が高く、スケールしやすいシステムを開発できます。

Constitutional AIの仕組み#

Constitutional AIの中核となるイノベーションは、モデルのアライメントを自動化する2段階のトレーニングプロセスにあります。従来の教師あり学習では、人間がすべての正しい回答にラベルを付ける必要がありますが、Constitutional AIではモデル自体を使ってトレーニングデータを生成します。

教師あり学習フェーズ: モデルはプロンプトに対する回答を生成し、憲法の原則に基づいて自らの出力を批評します。その後、ルールにより適合するよう回答を修正します。この洗練されたデータセットを使ってモデルをファインチューニングし、ガイドラインに本質的に従うよう学習させます。
強化学習フェーズ: このフェーズは、AIフィードバックによる強化学習（RLAIF）と呼ばれることが多く、人間のラベラーに取って代わります。AIは回答のペアを生成し、憲法に最もよく従っている方を選択します。この選好データで報酬モデルをトレーニングし、標準的な強化学習手法によって望ましい振る舞いを強化します。

コンピュータビジョンとの関連性#

Constitutional AIは、Anthropicなどの組織が開発した大規模言語モデル（LLM）の文脈で生まれましたが、その原則はコンピュータビジョン（CV）を含む、より広範な機械学習タスクにもますます関連するようになっています。

倫理的な画像生成: 画像を作成する生成AIツールは、暴力的、ヘイト的、または著作権を侵害する画像を生成するプロンプトを拒否するよう「憲法に基づいて」トレーニングできます。これにより、モデルの重み自体に安全性の制約が組み込まれ、有害なビジュアルコンテンツの生成を防止できます。
セーフティクリティカルなビジョンシステム: 自律走行車では、「憲法に基づく」アプローチによって意思決定の階層的なルールを定義できます。たとえば、「人間の安全を交通効率より優先する」というルールにより、複雑な道路シーンを分析する際にモデルを誘導し、物体検出の結果が安全性を優先して解釈されるようにできます。

ビジョンAIにおけるポリシーチェックの実装#

Constitutional AIの完全なトレーニングには複雑なフィードバックループが伴いますが、開発者は推論中に「憲法に基づくチェック」という概念を適用し、安全性ポリシーに基づいて出力をフィルタリングできます。次の例では、Ultralytics YOLO26を使って物体を検出し、安全ルールを適用して信頼度の低い検出結果をフィルタリングすることで、信頼性に関する憲法を模倣しています。

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'