Constitutional AI

Constitutional AIが倫理原則を用いて人間の価値観とモデルをどのように一致させるかを探索します。Ultralytics YOLO26を用いてコンピュータビジョンにおける安全チェックを実装する方法を学びましょう。

Constitutional AIは、個々の出力に対する大量の人手によるフィードバックに依存するのではなく、一連の高レベルの原則（「憲法」）をAIシステムに提供することで、人間の価値観に合致させる（アライメントする）ためのトレーニング手法です。このアプローチにより、AIモデルは「親切であること」、「害を与えないこと」、「差別を避けること」などのあらかじめ定義された一連のルールに基づいて、自身の行動を批判し修正することを本質的に学びます。これらの倫理的ガイドラインをトレーニングプロセスに直接組み込むことで、開発者は、手動によるReinforcement Learning from Human Feedback (RLHF)に依存するシステムよりも、より安全で、透明性が高く、スケーラブルなシステムを作成できます。

Constitutional AIのメカニズム#

Constitutional AIの核心的な革新は、モデルのアライメントを自動化する2段階のトレーニングプロセスにあります。人間がすべての正しい応答にラベル付けをしなければならない従来のsupervised learningとは異なり、Constitutional AIではモデル自体を使用してトレーニングデータを生成します。

教師あり学習フェーズ: モデルはプロンプトに対する回答を生成し、憲法上の原則に基づいて自身の出力を評価します。そして、ルールに沿うように回答を修正します。この洗練されたデータセットを使用してモデルをファインチューニングし、指針に本質的に従うように教え込みます。
強化学習フェーズ: Reinforcement Learning from AI Feedback (RLAIF)と呼ばれることが多いこのフェーズでは、人間のラベラーに置き換わります。AIは応答のペアを生成し、憲法により厳密に従っている方を選択します。この選好データによって報酬モデルがトレーニングされ、標準的なreinforcement learning技術を介して望ましい行動が強化されます。

コンピュータビジョンとの関連性#

Constitutional AIは、Anthropicなどの組織によって開発されたLarge Language Models (LLM)の文脈で生まれましたが、その原則はComputer Vision (CV)を含む、より幅広い機械学習タスクに対してもますます関連性を高めています。

倫理的な画像生成: 画像を作成するためのGenerative AIツールは、暴力的な画像、ヘイト画像、または著作権で保護された画像を生成するプロンプトを拒否するように「憲法的に」トレーニングすることができます。これにより、model weights自体が安全制約をエンコードし、有害な視覚的コンテンツの作成を防ぐことができます。
安全性にクリティカルなビジョンシステム: autonomous vehiclesにおいて、「憲法的」なアプローチにより意思決定のための階層的なルールを定義できます。たとえば、「人間の安全は交通効率に優先する」というルールは、複雑な道路のシーンを分析する際にモデルをガイドし、object detectionの結果が安全性を最優先として解釈されることを保証します。

ビジョンAIにおけるポリシーチェックの実装#

完全なConstitutional AIのトレーニングには複雑なフィードバックループが伴いますが、開発者はinferenceの実行時に「憲法的チェック」の概念を適用して、安全ポリシーに基づいて出力をフィルタリングできます。次の例は、Ultralytics YOLO26を使用してオブジェクトを検出し、信頼度の低い検出結果をフィルタリングする安全ルールを適用することで、信頼性に関する憲法を模倣する方法を示しています。

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'