Reward Modeling

報酬モデリング（リワードモデリング）は、人間の嗜好に基づいて人工知能システムが自らの行動を評価し、優先順位付けする方法を学習させるために使用される機械学習の手法です。従来のreinforcement learning環境では、AI agentは、ビデオゲームのスコアのような、あらかじめ定義された数学的に厳格な報酬関数を最大化することで学習します。しかし、丁寧なメールの作成や安全な交差点の走行など、「良い」行動が主観的または微妙なニュアンスを持つ複雑な実世界のタスクでは、完璧な報酬関数を手動で記述することはほぼ不可能です。報酬モデリングは、人間の判断のプロキシ（代理）として機能する2番目のneural network（報酬モデル）をトレーニングすることでこれを解決します。このモデルは、プライマリAIの出力を評価してスカラー値を割り当て、メインモデルを安全で役立つ、正確な行動へと動的に導きます。

報酬モデリングの仕組み#

報酬モデルを構築するためのパイプラインは、高品質な人間のフィードバックを収集することに大きく依存しています。

• Data Labelingと嗜好: 人間のアノテーターには、AIモデルによって生成された複数の応答とプロンプトが提示されます。評価者は、有用性、無害性、正確性などの基準に基づいて、これらの応答を最も良いものから最も悪いものへとランク付けします。このような大規模なアノテーションワークフローの管理は、Ultralytics Platformを使用してシームレスに処理できます。
• プロキシネットワークのトレーニング: 人間による比較のこのデータセットに基づいて、特殊なニューラルネットワークがトレーニングされます。最適化のプロセスを通じて、人間がどちらの出力を好むかを予測することを学習し、アクションまたはテキストの応答のembeddingsを単一のスカラー報酬値にマッピングします。ニューラルネットワークアーキテクチャの構築の詳細については、PyTorch API documentationを参照してください。
• ポリシー最適化: プライマリモデルは、報酬モデルからの継続的なフィードバックを使用して行動を洗練させます。通常、Proximal Policy Optimization (PPO)のようなアルゴリズムが利用されます。このステップにより、モデルのポリシーが学習された人間の意図と反復的に整合されます。

報酬モデリングとRLHFの比較#

報酬モデリングをReinforcement Learning from Human Feedback (RLHF)と区別することが重要です。これら2つの用語は頻繁に一緒に議論されますが、同義ではありません。RLHFは、モデルを整合させるために使用される包括的なエンドツーエンドのパイプラインであり、教師ありファインチューニング、データ収集、ポリシーの更新を含みます。報酬モデリングは、RLHFパイプライン内における特定的かつ不可欠なコンポーネントです。これは、個別の人間のランキングを、強化学習アルゴリズムが最適化できる連続的な数学的信号に変換するブリッジとして機能します。

実社会での応用#

報酬モデリングは、人間や物理世界と直接相互作用する現代のAIシステムを開発する上で不可欠です。

• Large Language Models (LLMs): 会話型AIアシスタントは、回答が単に事実として正しいだけでなく、丁寧で、関連性があり、有害な言葉が含まれていないことを保証するために報酬モデルに依存しています。AI safetyを探索している組織は、helpful and harmless AI alignmentを反映するシステムを構築するために、継続的に報酬モデリングを進化させています。
• Autonomous Vehiclesとロボティクス: 物理的な自動化において、報酬モデルはロボットが複雑な運転マナーや物体操作戦略を理解するのを助けます。Ultralytics YOLO26を搭載した知覚システムは歩行者や道路標識を検出し、一方、報酬モデルは車両の計画された軌道を評価して、純粋に攻撃的なポイントツーポイントのナビゲーションよりも乗客の快適性と安全性をAIが優先するようにします。

基本的な報酬モデルのコンセプトの実装#

以下のPythonの例では、torchを使用して報酬モデルの基礎的な構造を示しています。実際には、このネットワークは人間の嗜好に合致する出力により高いスカラー値を割り当てるように学習します。

import torch
import torch.nn as nn


# Define a simplified reward model architecture
class SimpleRewardModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Maps the AI's output embedding to a single reward score
        self.fc = nn.Linear(768, 1)

    def forward(self, embeddings):
        return self.fc(embeddings)


# Initialize the model
reward_model = SimpleRewardModel()

# Simulated embeddings for a human-preferred action and a rejected action
chosen_action = torch.randn(1, 768)
rejected_action = torch.randn(1, 768)

# The model predicts scalar scores to guide the primary agent
print(f"Chosen Action Reward: {reward_model(chosen_action).item():.4f}")
print(f"Rejected Action Reward: {reward_model(rejected_action).item():.4f}")

アラインメントがオープンソースの基盤モデルにどのように影響するかについての詳細な洞察を得るために、言語モデルを人間の意図に整合させることに関する基礎的な研究を探索し、computer vision (CV)システムが高度なフィードバックループを活用して動的な環境と安全にやり取りする方法を学びましょう。