Constitutional AI
Constitutional AIは、書面で定めた原則に照らしてモデル自身に回答を批評・修正させ、人間による有害性ラベルをAIフィードバックに置き換えて学習します。
Constitutional AI (CAI)は、Anthropicが開発した手法です。有害かどうかを個々の出力に付ける人間のラベルの代わりに、原則を定めた文書「憲法」をモデルに与え、無害な言語モデルを学習します。2022年12月の論文Constitutional AI: Harmlessness from AI Feedbackで紹介されたこの手法では、モデルが原則に照らして自身の回答を批評・修正し、どちらの回答が原則によりよく従っているかというAIの判断を、強化学習用の選好データとして使います。この論文では有用性に人間のラベルを使い、有害性に限って人間のラベルを置き換えていました。Anthropicは2023年以降、憲法に基づく手法でClaudeモデルを学習しています。
Constitutional AIの仕組み#
学習は、有用な応答を生成するようすでにファインチューニングされたモデルから始まり、2つのフェーズで実施します。
- 教師ありフェーズ: モデルは、有害な応答を引き出すように設計されたレッドチーム用プロンプトに回答します。次に、憲法からランダムに選んだ原則に照らして自分の回答を批評し、その批評を反映して回答を書き直すよう指示します。この手順を1回以上繰り返します。最終的な修正版を使ってモデルをファインチューニングします。
- 強化学習フェーズ: ファインチューニング済みモデルが応答のペアを生成し、原則をプロンプトで与えられたフィードバックモデルが、2つのうちどちらが優れているかを判断します。必要に応じて、まず段階的に推論させることもできます。こうしたAIラベルと、人間が付けた有用性ラベルを組み合わせて学習した選好モデルが、強化学習の報酬を提供します。この論文では、このフェーズをAIフィードバックによる強化学習（RLAIF）と名付けました。
同程度の有用性を持つモデルを比較すると、得られたモデルは有害性に関する人間のラベルで学習したモデルよりも有害性が低く、回避的な応答も少なくなりました。つまり、慎重な依頼を即座に拒否するのではなく、その内容に対応し、懸念点を説明しました。
憲法に含まれる内容#
2022年の論文では、批評用に16個、AIフィードバック用に16個の短い原則を使用しました。いずれも、「これらのアシスタントの回答のうち、害が少ないのはどれですか。賢明で、倫理的で、礼儀正しく、親しみやすい人が言いそうな回答を選んでください」のような指示形式でした。2023年5月に公開されたClaudeの最初の憲章は、国連の世界人権宣言などを参考にしています。2023年10月、AnthropicとCollective Intelligence Projectは一般参加型の実験を実施し、約1,000人のアメリカ人がPolis熟議プラットフォーム上で原則を提案し、投票しました。この一般公開の憲章で学習したモデルは、Anthropic独自のモデルと同程度の性能を示し、社会的な9つの側面におけるバイアスが小さくなりました。
2026年1月、Anthropicはルールのリストを、求める振る舞いの理由を説明する、はるかに長いClaude向けの憲法に置き換えました。この憲法は4つの優先事項を順に定めています。広く安全であること、広く倫理的であること、Anthropicのガイドラインに従うこと、そして真に役立つことです。また、少数の厳格な制約を設け、CC0パブリックドメイン宣言のもとで公開されています。Claude自身がこの文書を使って、憲法を適用した会話や回答候補の順位付けなどの合成学習データを生成します。Ultralytics Platformのスマートアノテーションでは、これらの憲法に基づく手法で学習されたAnthropicのClaudeビジョンモデルを実行し、検出データセットのクラスにボックスの下書きを作成できます。注釈担当者はその後、内容を確認して保存します。
Constitutional AIとRLHFなどの関連手法#
- 人間のフィードバックによる強化学習（RLHF）: 評価者が応答を比較し、報酬モデルを学習させます。CAIは同じパイプラインを維持しつつ、有害性に関する人間の比較を、原則に基づくAIの比較に置き換えます。これにより、評価者が大量の有害なテキストを読む必要がなくなり、学習目標を読みやすく編集可能にできます。AIによる判断にも固有の盲点があるため、原則の表現が結果を左右します。
- 一般的なRLAIF: AIが生成した選好ラベルを使う強化学習全般を指します。CAIは憲法に基づく形式であり、2023年のGoogleの研究では、要約と対話のタスクでRLAIFがRLHFと同等の性能を示しました。
- 直接選好最適化（DPO）: 独立した報酬モデルを用いずに、選好ペアから学習する方法です。憲法に基づくAIラベルと人間によるラベルの両方を使って学習できます。
- AIガードレール: 推論時にモデルの周囲へ適用するフィルターです。AnthropicのConstitutional Classifiersは、この2つの考え方を結び付けます。憲法で許可・禁止する内容を定義し、Claudeがそれに基づいて合成例を生成し、学習済みの入力分類器と出力分類器がジェイルブレイクをブロックします。2025年2月には、自動テストでジェイルブレイクの成功率を86%から4.4%に下げました。2026年1月版では、本番トラフィックの0.05%を拒否する一方、ベースラインの分類器と比べて計算コストを約40分の1に削減しました。
