Constitutional AIは、AIモデルを人間の価値観に適合させることを目指します

人工知能 (AI) は、私たちの日常生活における重要な存在になりつつあります。医療、採用、金融、公共安全などの分野で使用されるツールに統合されています。こうしたシステムが拡大するにつれて、その倫理性と信頼性に対する懸念も示されるようになっています。

例えば、公平性や安全性を考慮せずに構築されたAIシステムは、偏った結果や信頼性の低い結果を生成することがあります。これは、多くのモデルが依然として人間の価値観を反映し、それに沿うための明確な方法を備えていないためです。

こうした課題に対処するため、研究者は現在、constitutional AIとして知られるアプローチを模索しています。簡単に言えば、モデルのトレーニングプロセスに、明文化された原則の集合を組み込みます。これらの原則によって、モデルは自身の振る舞いを評価し、人間からのフィードバックへの依存を減らし、より安全で理解しやすい応答を生成できるようになります。

これまで、このアプローチは主に大規模言語モデル (LLMs)に対して使用されてきました。しかし、同じ構造を利用して、コンピュータービジョンシステムが視覚データを分析する際に、倫理的な判断を行えるよう導くことも可能です。

この記事では、constitutional AIの仕組みを紹介し、実例を確認するとともに、コンピュータービジョンシステムにおける潜在的な用途について説明します。

図1. Constitutional AIの特徴。画像：著者。

Constitutional AIとは何ですか？#

Constitutional AIは、明確な倫理ルールの集合を提供することで、AIモデルの振る舞いを導くモデルのトレーニング手法です。これらのルールは行動規範として機能します。何が許容されるかをモデル自身に推測させるのではなく、トレーニング中の応答を形作る、明文化された原則の集合に従わせます。

この概念は、AI安全性を重視する研究企業であるAnthropicが、意思決定におけるAIシステムの自己教師あり性を高める手法として、Claude LLMファミリーとともに提唱しました。

人間からのフィードバックだけに頼るのではなく、モデルはあらかじめ定められた原則の集合に基づいて、自身の応答を批評し改善することを学習します。このアプローチは、裁判官が判決を下す前に憲法を参照する法制度に似ています。

この場合、モデルは裁判官と学習者の両方になり、同じルールの集合を使って自身の振る舞いを確認し、改善します。このプロセスによってAIモデルのアラインメントが強化され、安全で責任ある AIシステムの開発が支援されます。

Constitutional AIはどのように機能しますか？#

Constitutional AIの目的は、明確な文章化されたルールの集合に従うことで、安全かつ公平な判断を行う方法をAIモデルに教えることです。このプロセスの仕組みを簡単に説明します。

• 憲法の定義: モデルが従うべき倫理原則のリストを作成します。この憲法では、AIが避けるべきことと、反映すべき価値観を定めます。
• 教師ありの例によるトレーニング: 憲法に従った応答例をモデルに提示します。これらの例によって、AIは許容される振る舞いがどのようなものかを理解します。
• パターンの認識と適用: 時間の経過とともに、モデルはこうしたパターンを捉え始めます。そして、新しい質問に回答したり、新しい状況に対処したりする際に、同じ価値観を適用することを学習します。
• 出力の批評と改善: モデルは自身の応答を確認し、憲法に基づいて調整します。この自己確認の段階により、人間からのフィードバックだけに頼らずに改善できます。
• アラインメントされた、より安全な応答の生成: モデルは一貫したルールから学習するため、実環境での利用におけるバイアスの低減と信頼性の向上につながります。このアプローチによって、人間の価値観とのアラインメントが強化され、ガバナンスも容易になります。

図2. Constitutional AIを使用してモデルをトレーニングする概要。

倫理的なAI設計の中核原則#

AIモデルが倫理ルールに従うには、まずそのルールを明確に定義する必要があります。Constitutional AIでは、これらのルールは一連の中核原則に基づいています。

例えば、効果的なAI憲法の基盤となる原則として、次の4つが挙げられます。

• 透明性: モデルがどのように回答にたどり着いたかを簡単に理解できる必要があります。回答が事実、推定、パターンのいずれに基づくものかがユーザーに明確であれば、透明性が確保されます。これによって信頼が構築され、モデルの出力を信頼できるかどうかをユーザーが判断しやすくなります。
• 平等: 異なるユーザーに対しても、応答は一貫している必要があります。モデルは、個人の名前、背景、所在地に基づいて出力を変えてはいけません。平等によってバイアスの防止と公平な扱いが促進されます。
• 説明責任: モデルがどのようにトレーニングされ、何がその振る舞いに影響を与えたかを追跡できる方法が必要です。問題が発生した場合、チームは原因を特定して改善できなければなりません。これは透明性と長期的な説明責任を支えます。
• 安全性: モデルは、害を引き起こす可能性のあるコンテンツの生成を避ける必要があります。リクエストがリスクのある、または安全でない出力につながる場合、システムはそれを認識して停止する必要があります。これにより、ユーザーとシステムの完全性の両方が守られます。

大規模言語モデルにおけるConstitutional AIの例#

Constitutional AIは理論から実践へと進み、現在では数百万人のユーザーと対話する大規模モデルで徐々に使用されています。最も一般的な例として、OpenAIとAnthropicのLLMが挙げられます。

両組織は、より倫理的なAIシステムを構築するために異なるアプローチを取っていますが、明文化された指針となる原則の集合に従うようモデルを学習させるという共通の考え方を持っています。これらの例を詳しく見ていきましょう。

OpenAIのConstitutional AIアプローチ#

OpenAIは、ChatGPTモデルのトレーニングプロセスの一環として、Model Specと呼ばれる文書を導入しました。この文書は憲法のように機能します。役立つこと、誠実さ、安全性などの価値観を含め、モデルが応答で目指すべきことを定めています。また、有害または誤解を招く出力に該当するものも定義しています。

このフレームワークは、応答がルールにどの程度一致しているかに基づいて評価することで、OpenAIのモデルをファインチューニングするために使用されてきました。時間の経過とともに、これによってChatGPTは有害な出力の生成を減らし、ユーザーが実際に求めているものにより適合するようになりました。

図3. OpenAIのModel Specを使用して応答するChatGPTの例。

Anthropicの倫理的なAIモデル#

AnthropicのモデルであるClaudeが従う憲法は、世界人権宣言などの情報源にある倫理原則、Appleの利用規約などのプラットフォームガイドライン、他のAI研究所による研究に基づいています。これらの原則によって、Claudeの応答が安全、公平で、重要な人間の価値観に沿うことが確保されます。

Claudeは、人間からのフィードバックに頼るのではなく、こうした倫理ガイドラインに基づいて自身の応答を確認し調整する、AIフィードバックからの強化学習 (RLAIF) も使用します。このプロセスによってClaudeは時間の経過とともに改善し、スケーラビリティが高まり、難しい状況でも役立つ、倫理的で有害でない回答を提供しやすくなります。

図4. AnthropicのConstitutional AIアプローチを理解する。

Constitutional AIをコンピュータービジョンに適用する#

Constitutional AIが言語モデルの振る舞いに良い影響を与えていることから、次の疑問が自然に生じます。同様のアプローチによって、ビジョンベースのシステムがより公平かつ安全に応答できるようになるのでしょうか？

コンピュータービジョンモデルはテキストではなく画像を扱いますが、倫理的な指針の必要性は同じくらい重要です。例えば、公平性とバイアスは考慮すべき重要な要素です。こうしたシステムは、視覚データを分析する際に、すべての人を平等に扱い、有害または不公平な結果を避けるようトレーニングする必要があります。

図5. コンピュータービジョンに関連する倫理的課題。画像：著者。

現時点では、コンピュータービジョンにおけるConstitutional AI手法の利用はまだ研究段階の初期にあり、この分野では研究が継続されています。

例えば、Metaは最近、画像の安全性に関するタスクに憲法に似た推論を適用するフレームワークであるCLUEを導入しました。これは、広範な安全ルールを、マルチモーダルAI（複数種類のデータを処理し理解するAIシステム）が従える具体的な手順に変換します。これによってシステムはより明確に推論し、有害な結果を減らせます。

また、CLUEは複雑なルールを簡素化することで画像の安全性に関する判断を効率化し、AIモデルが大量の人間による入力を必要とせず、迅速かつ正確に動作できるようにします。指針となる原則の集合を使用することで、CLUEは高品質な結果を確保しながら、画像モデレーションシステムのスケーラビリティを高めます。

主なポイント#

AIシステムが担う責任が増えるにつれて、焦点は単に何ができるかから、何をすべきかへと移りつつあります。この変化は重要です。なぜなら、こうしたシステムは医療、法執行、教育など、人々の生活に直接影響を与える分野で使用されているためです。

AIシステムが適切かつ倫理的に動作するためには、強固で一貫した基盤が必要です。この基盤では、公平性、安全性、信頼を優先する必要があります。

明文化された憲法は、トレーニング中にその基盤を提供し、システムの意思決定プロセスを導くことができます。また、デプロイ後に開発者がシステムの振る舞いを確認して調整するためのフレームワークにもなります。これによって、システムは設計時に掲げた価値観とのアラインメントを維持でき、新たな課題が生じた際にも適応しやすくなります。

今すぐ成長を続けるコミュニティに参加しましょう！GitHubリポジトリを探索して、AIについてさらに深く学びましょう。独自のコンピュータービジョンプロジェクトの構築をお考えですか？ライセンスオプションをご確認ください。医療におけるコンピュータービジョンが効率を向上させている方法を学び、ソリューションページで製造業におけるAIの影響をご確認ください。