Reinforcement Learning from Human Feedback (RLHF)

人間からのフィードバックによる強化学習（RLHF）は、モデルのトレーニングループに直接的な人間の入力を組み込むことで、人工知能モデルを洗練させる高度な機械学習手法です。静的なラベル付きデータセットのみに依存する標準的な教師あり学習とは異なり、RLHFは人間の評価者がモデルの出力をランク付けまたは評価する動的なフィードバックメカニズムを導入します。このプロセスにより、AIは「有益性」、「安全性」、「創造性」といった、単純な数学的損失関数では定義が困難な複雑で主観的、または微妙な目標を捉えることができます。RLHFは、現代の大規模言語モデル（LLM）や生成AIの開発における重要な基盤となっており、強力な基盤モデルを人間の価値観やユーザーの意図に効果的に合致させることを可能にしています。

Link to this sectionRLHFの主要コンポーネント#

RLHFプロセスは一般的に、生じうる予測能力と人間との整合性が取れた行動のギャップを埋めるために設計された、3段階のパイプラインに従います。

1. 教師ありファインチューニング（SFT）： ワークフローは通常、事前学習済みの基盤モデルから始まります。開発者は、専門家によって作成された質問と回答のペアのような、小規模で高品質なデモンストレーション用データセットを使用して、初期のファインチューニングを実行します。このステップによりベースラインとなるポリシーが確立され、タスクに求められる一般的な形式やトーンをモデルに学習させます。

2. 報酬モデルのトレーニング： このフェーズがRLHFの際立った特徴です。人間のアノテーターが、同じ入力に対してモデルが生成した複数の出力を確認し、良い順にランク付けします。このデータラベリング作業により、選好データセットが作成されます。この比較データに基づいて、人間の判断を反映したスカラー値を予測するように、報酬モデルと呼ばれる別のニューラルネットワークがトレーニングされます。Ultralytics Platformで利用可能なツールは、このようなアノテーションワークフローの管理を効率化します。

3. 強化学習による最適化： 最後に、元のモデルが強化学習環境におけるAIエージェントとして機能します。報酬モデルをガイドとして利用し、PPO（Proximal Policy Optimization）のような最適化アルゴリズムがモデルのパラメータを調整し、期待報酬を最大化します。このステップはモデルのポリシーを学習済みの人間の選好と一致させ、有益で安全な行動を促進し、有害または意味をなさない出力を抑制します。

Link to this section実社会での応用#

RLHFは、高い安全性基準と人間とのインタラクションに対する微妙な理解が求められるAIシステムのデプロイにおいて不可欠であることが証明されています。

• 会話型AIとチャットボット： RLHFの最も顕著な応用例は、チャットボットを「有益（helpful）」、「無害（harmless）」、「誠実（honest）」にするための調整です。偏見があったり、事実誤認があったり、危険な出力をペナルティ対象とすることで、RLHFはLLMにおけるハルシネーションの抑制を助け、アルゴリズムバイアスのリスクを軽減します。これにより、バーチャルアシスタントは有害な指示を拒否しつつ、正当なクエリに対して有用であり続けることができます。
• ロボティクスと物理制御： RLHFはテキストの枠を超えてロボティクスにおけるAIにも拡張されており、複雑な物理タスクに対して完璧な報酬関数を定義することは困難です。例えば、混雑した倉庫内を移動するように学習しているロボットは、どの軌道が安全で、どれが混乱を引き起こしたかについて、人間のスーパーバイザーからフィードバックを受けることができます。このフィードバックは、ゴール達成のみに基づく単純な深層強化学習よりも効果的にロボットの制御ポリシーを洗練させます。

Link to this sectionRLHFと標準的な強化学習の比較#

RLHFの特定の有用性を理解するためには、従来の強化学習（RL）と区別することが役立ちます。

• 標準的なRL： 伝統的な設定では、報酬関数は多くの場合、環境によってハードコードされます。例えば、ビデオゲームでは、環境が明確なシグナル（勝利で+1、敗北で-1）を提供します。エージェントは、この定義されたマルコフ決定過程（MDP）の中でアクションを最適化します。
• RLHF： クリエイティブなストーリーの執筆や礼儀正しい運転など、多くの現実世界でのシナリオでは「成功」は主観的なものです。RLHFは、ハードコードされた報酬を、人間の選好から導き出された学習済みの報酬モデルに置き換えることでこれを解決します。これにより、「品質」や「適切さ」といった抽象的な概念の最適化が可能になり、これらは明示的にプログラムすることは不可能です。

Link to this section知覚とフィードバックループの統合#

視覚的アプリケーションでは、RLHFで調整されたエージェントは、行動を起こす前に環境の状態を把握するためにコンピュータビジョン（CV）に依存することがよくあります。YOLO26のような堅牢な検出器は、知覚レイヤーとして機能し、ポリシーネットワークがアクションを選択するために使用する構造化された観測データ（例：「3メートル先に障害物を検出」）を提供します。

以下のPythonの例は、YOLOモデルが環境状態を提供する簡略化された概念を示しています。完全なRLHFループでは、「報酬」シグナルは、この検出データに基づくエージェントの決定に関して人間からのフィードバックを受けてトレーニングされたモデルから得られます。

from ultralytics import YOLO

# Load YOLO26n to act as the perception layer for an intelligent agent
model = YOLO("yolo26n.pt")

# The agent observes the environment (an image) to determine its state
results = model("https://ultralytics.com/images/bus.jpg")

# In an RL context, the 'state' is derived from detections
# A reward model (trained via RLHF) would evaluate the action taken based on this state
detected_objects = len(results[0].boxes)

print(f"Agent Observation: Detected {detected_objects} objects.")
# Example output: Agent Observation: Detected 4 objects.

強力な知覚モデルと人間のフィードバックによって洗練されたポリシーを組み合わせることで、開発者はインテリジェントであるだけでなく、AI安全性の原則に厳密に準拠したシステムを構築できます。Constitutional AIのようなスケーラブルな監視に関する継続的な研究は、大規模な人間によるアノテーションのボトルネックを削減しつつ高いモデルパフォーマンスを維持することを目指して、この分野を進化させ続けています。