Reinforcement Learning with Verifiable Rewards (RLVR)

検証可能な報酬を用いた強化学習（RLVR）は、人工知能（AI）モデルの推論能力と問題解決能力を高めるための高度なトレーニング手法です。人間がアノテーションした選好データに依存する従来のトレーニング手法とは異なり、RLVRはモデルの出力を評価するために、決定論的なルールベースシステムを利用します。生成されたコードがコンパイルできるか、数式が正しく解かれているかなど、客観的な二値報酬を与えることで、RLVRは制約のない探索を通じてモデルが学習できるようにします。この客観的なフィードバックループは、高性能な推論モデルにおける最近のブレークスルーを支える重要な要因であり、人間が継続的に介入しなくても、モデルが最適で複雑な論理的経路を見つけられるようにします。

RLVRの基本原則#

標準的な機械学習（ML）環境では、AIエージェントは報酬シグナルを最大化することで学習します。RLVRでは、主観的な人間の判断ではなく、厳密なプログラミングシステムがこの報酬シグナルを生成します。学習プロセスは、いくつかの基本的なステップで構成されます。

• 探索戦略: モデルは、与えられたプロンプトに対して複数の解決策や推論経路を生成します。複雑なタスクを分解するために、思考の連鎖を促すプロンプトを利用することもよくあります。
• 決定論的検証: Pythonコンパイラー、計算機、またはコンピュータービジョン（CV）認識システムなどの外部ツールが、客観的な成功基準に照らして最終出力を確認します。
• 方策最適化: 出力が検証可能な形で正しい場合、モデルは正の報酬を受け取ります。その後、Group Relative Policy Optimization（GRPO）や近接方策最適化（PPO）などの最適化アルゴリズムを使用してモデルの方策を更新し、成功した推論経路が選ばれやすくなるようにします。

この手法は、トレーニング時のモデルの推論レイテンシ効率を大幅に高め、創発的な推論能力を促します。この手法は最近、DeepSeek-R1のような高性能モデルのトレーニングにも使用されました。

RLVRとRLHF、PRMの比較#

AIエコシステムにおける他のアライメントおよびトレーニング手法とRLVRを区別することが重要です。

• 人間のフィードバックによる強化学習（RLHF）との比較: RLHFは、主観的な人間の選好をもとにトレーニングされた報酬モデリングシステムに依存します。RLVRは客観的でプログラムによって定義される真理だけに依存することで、人間が介在するボトルネックを解消します。そのため、正解と不正解が明確なタスクで高いスケーラビリティを発揮します。
• プロセス報酬モデル（PRM）との比較: PRMはモデルの推論過程を通じて段階ごとに詳細なフィードバックを提供しますが、RLVRは通常、プロセスの最後に得られる検証可能な結果に重点を置きます。ただし、2025年の最新研究によると、RLVRで最終的な検証可能報酬を最適化すると、途中の推論ステップも正しくなるよう暗黙的に促されます。

実際のアプリケーション#

RLVRは、さまざまな決定論的領域における複雑なAIシステムのトレーニング方法を変革しています。

• 数学的推論: OpenAIのoシリーズなどの大規模推論モデルは、RLVRを活用して複雑な数学の定理を解きます。検証器は、モデルが導き出した答えが正しいかどうかを確実に証明するエンジンとして機能し、ベンチマークデータセットでの性能を大幅に向上させます。
• ソフトウェアエンジニアリングとコード生成: AIコーディングアシスタントはRLVRを利用してコードの作成、デバッグ、最適化を行います。生成されたコードが正常にコンパイルされ、自動ユニットテスト一式に合格すると、検証可能な報酬が得られます。
• 自律型ビジョンエージェント: 物理環境では、自律エージェントは目的地に到達したときや、物体の操作に成功したときに検証可能な報酬を受け取ります。こうした環境では、ビジョンモデルが検証条件の判定器として機能します。

ビジョンAIにおける検証可能な報酬の実装#

物理環境や視覚環境では、Ultralytics YOLO26のような認識モデルを、RLVRループ内のプログラムによる検証器として利用できます。たとえば、AIエージェントの目標が物体を特定のゾーンに移動させることなら、YOLOモデルはそのゾーン内に物体があることを検出して成功を検証できます。

次のPythonスニペットでは、ultralyticsパッケージを使用したプログラム検証器の概念例を示します。

from ultralytics import YOLO

# Load a YOLO26 model to act as the programmatic verifier
verifier_model = YOLO("yolo26n.pt")


def get_verifiable_reward(image_path: str, target_class: int) -> float:
    """Returns a verifiable reward of 1.0 if the target object is detected."""
    results = verifier_model(image_path)

    # Check if the desired class (e.g., 0 for 'person') exists in the detections
    detected_classes = results[0].boxes.cls.tolist()
    if target_class in detected_classes:
        return 1.0  # Verifiable success
    return 0.0  # Verifiable failure


# Simulate an agent's environment state check
reward = get_verifiable_reward("https://ultralytics.com/images/bus.jpg", target_class=0)
print(f"RLVR Reward Signal: {reward}")

こうした認識検証器のデプロイにUltralytics Platformのようなクラウドプラットフォームを活用すると、開発者は堅牢でスケーラブルなRLVRパイプラインを構築し、次世代の自律エージェントや推論エージェントをトレーニングできます。