Reward Modeling

報酬モデリングとは、人工知能システムが人間の好みに基づいて自身の行動を評価し優先順位を付ける方法を教えるための機械学習手法です。従来の強化学習環境では、AIエージェントはビデオゲームのスコアのような、数学的に厳密に定義された報酬関数を最大化することで学習します。しかし、丁寧なメールの作成や交差点の安全な通過といった、何が「良い」行動であるかが主観的かつ微妙な複雑な実世界のタスクにおいて、完璧な報酬関数を手動で作成することはほぼ不可能です。報酬モデリングは、人間の判断の代理として機能する2つ目のニューラルネットワーク（報酬モデル）をトレーニングすることでこれを解決します。このモデルは、主要なAIの出力を評価してスカラー値を割り当て、メインモデルが安全で役立ち、正確な行動をとれるよう動的に誘導します。

Link to this section報酬モデリングの仕組み#

報酬モデルを構築するためのパイプラインは、質の高い人間のフィードバックを収集することに大きく依存しています。

• データラベリングと好み： 人間のアノテーターにプロンプトとAIモデルによって生成された複数の回答を提示します。評価者は、有用性、無害性、正確性などの基準に基づいて、これらの回答を良い順にランク付けします。このような大規模なアノテーションワークフローの管理は、Ultralytics Platformを使用してシームレスに行うことができます。
• プロキシネットワークのトレーニング： 人間による比較データセットを使用して、専門的なニューラルネットワークをトレーニングします。最適化プロセスを通じて、アクションやテキスト応答の埋め込みを単一のスカラー報酬値にマッピングし、人間がどちらの出力を好むかを予測することを学習します。ニューラルネットワークアーキテクチャの構築についての詳細は、PyTorch APIドキュメントを参照してください。
• ポリシー最適化： 主要モデルは、報酬モデルからの継続的なフィードバックを使用して行動を改善します。これには通常、近接ポリシー最適化（PPO）のようなアルゴリズムが利用されます。このステップにより、モデルのポリシーが学習された人間の意図と反復的に一致していきます。

Link to this section報酬モデリングとRLHFの比較#

報酬モデリングを人間のフィードバックによる強化学習（RLHF）と区別することが重要です。この2つの用語は頻繁に一緒に議論されますが、同義ではありません。RLHFは、モデルを調整するために使用される包括的なエンドツーエンドのパイプラインであり、教師ありファインチューニング、データ収集、ポリシーの更新などが含まれます。報酬モデリングは、RLHFパイプライン内における特定の重要なコンポーネントです。これは、個別の人間によるランク付けを、強化学習アルゴリズムが最適化可能な連続的な数学的信号に変換する架け橋としての役割を果たします。

Link to this section実際の応用例#

報酬モデリングは、人間や物理世界と直接対話する現代のAIシステムを開発する上で不可欠です。

• 大規模言語モデル（LLM）： 会話型AIアシスタントは、回答が事実として正しいだけでなく、丁寧で適切であり、有害な表現を含まないようにするために報酬モデルに依存しています。AIの安全性を追求する組織は、有用で無害なAIアライメントを反映したシステムを構築するために、報酬モデリングを継続的に進歩させています。
• 自動運転車とロボット工学： 物理的な自動化において、報酬モデルはロボットが複雑な運転エチケットや物体操作戦略を理解するのを助けます。Ultralytics YOLO26を搭載した認識システムは歩行者や交通標識を検出し、その一方で報酬モデルは車両の計画された軌道を評価し、AIが攻撃的な地点間移動よりも乗客の快適さと安全を優先するようにします。

Link to this section基本的な報酬モデルの概念を実装する#

以下のPythonの例では、torchを使用して報酬モデルの基礎的な構造を示します。実際にこのネットワークは、人間の好みに一致する出力に対してより高いスカラー値を割り当てるように学習します。

import torch
import torch.nn as nn


# Define a simplified reward model architecture
class SimpleRewardModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Maps the AI's output embedding to a single reward score
        self.fc = nn.Linear(768, 1)

    def forward(self, embeddings):
        return self.fc(embeddings)


# Initialize the model
reward_model = SimpleRewardModel()

# Simulated embeddings for a human-preferred action and a rejected action
chosen_action = torch.randn(1, 768)
rejected_action = torch.randn(1, 768)

# The model predicts scalar scores to guide the primary agent
print(f"Chosen Action Reward: {reward_model(chosen_action).item():.4f}")
print(f"Rejected Action Reward: {reward_model(rejected_action).item():.4f}")

アライメントがオープンソースの基盤モデルにどのような影響を与えるかについての詳細については、人間の意図と言語モデルを一致させるための基礎研究を探求し、コンピュータビジョン（CV）システムが高度なフィードバックループを活用してダイナミックな環境と安全に対話する方法を学んでください。