Reinforcement Learning with Verifiable Rewards (RLVR)

検証可能な報酬を用いた強化学習 (RLVR) は、人工知能 (AI) モデルの推論能力と問題解決能力を向上させるために使用される高度な学習パラダイムです。人間がアノテーションした選好データに依存する従来の学習手法とは異なり、RLVR は決定論的なルールベースシステムを利用してモデルの出力を評価します。生成されたコードがコンパイル可能か、数学の方程式が正しく解かれているかといった客観的なバイナリ報酬を提供することで、RLVR はモデルが制約のない探索を通じて学習できるようにします。この客観的なフィードバックループは、高機能な推論モデルにおける近年のブレイクスルーの原動力であり、絶え間ない人間の介入なしに、最適かつ複雑な論理経路を発見することを可能にしています。

Link to this sectionRLVR の基本原則#

標準的な機械学習 (ML) 環境において、AIエージェントは報酬信号を最大化することで学習します。RLVR において、この報酬信号は主観的な人間の判断ではなく、厳密なプログラミングシステムによって生成されます。学習プロセスは、いくつかの基本的なステップに基づいています。

• 探索戦略: モデルは、与えられたプロンプトに対して複数の潜在的な解決策や推論経路を生成し、多くの場合、複雑なタスクを分解するために Chain-of-Thought (思考の連鎖) プロンプトを利用します。
• 決定論的検証: Python コンパイラ、計算機、あるいはコンピュータビジョン (CV) 認識システムなどの外部ツールが、客観的な成功基準に基づいて最終的な出力をチェックします。
• ポリシー最適化: 出力が検証可能かつ正確である場合、モデルは正の報酬を受け取ります。その後、モデルのポリシーは、Group Relative Policy Optimization (GRPO) やProximal Policy Optimization (PPO) などの最適化アルゴリズムを使用して、成功した推論経路を優先するように更新されます。

このアプローチは、学習時におけるモデルの推論レイテンシ効率を大幅に改善し、創発的な推論能力を促進します。これは、DeepSeek-R1 のような高性能モデルの学習に最近使用された手法です。

Link to this sectionRLVR と RLHF および PRM の比較#

AI エコシステムにおける他のアライメントおよび学習パラダイムと RLVR を区別することが重要です。

• vs. 人間のフィードバックからの強化学習 (RLHF): RLHF は、人間の主観的な好みに基づいて学習された報酬モデリングシステムに依存しています。RLVR は、客観的でプログラム的な真実に厳密に依存することで、人間がループに関与するボトルネックを解消し、正誤が明確なタスクに対して高いスケーラビリティを実現します。
• vs. プロセス報酬モデル (PRM): PRM はモデルの推論過程全体にわたってきめ細かい段階的なフィードバックを提供しますが、RLVR は通常、プロセスの最後における検証可能な結果に焦点を当てています。しかし、2025年の最新の研究によると、RLVR で最終的な検証可能報酬を最適化することは、暗黙的に中間的な推論ステップの正しさも促進することが示されています。

Link to this section実社会での応用#

RLVR は、決定論的なドメイン全体において、複雑な AI システムの学習方法を変化させています。

• 数学的推論: OpenAI o-series のような大規模推論モデルは、RLVR を活用して複雑な数学的定理を解いています。検証器は、モデルが導き出した答えが正しいかどうかを確定的に証明するエンジンとして機能し、ベンチマークデータセットのパフォーマンスを大幅に向上させます。
• ソフトウェアエンジニアリングとコード生成: AI コーディングアシスタントは、RLVR を使用してコードの記述、デバッグ、最適化を行います。生成されたコードが正常にコンパイルされ、自動化されたユニットテストスイートを通過したときに、検証可能な報酬が得られます。
• 自律型ビジョンエージェント: 物理環境において、自律型エージェントはターゲットの目的地に到達したり、物体を正常に操作したりした際に検証可能な報酬を受け取ります。これらの空間において、ビジョンモデルは検証可能な条件チェッカーとして機能します。

Link to this sectionビジョン AI における検証可能な報酬の実装#

物理環境や視覚環境では、Ultralytics YOLO26 のような認識モデルが、RLVR ループ内のプログラム的検証器として機能します。例えば、AI エージェントの目標が物体を特定のゾーンに移動させることである場合、YOLO モデルはそのゾーンに物体が存在することを検知することで成功を検証できます。

以下の Python スニペットは、ultralytics パッケージを使用した概念的なプログラム的検証器を示しています。

from ultralytics import YOLO

# Load a YOLO26 model to act as the programmatic verifier
verifier_model = YOLO("yolo26n.pt")


def get_verifiable_reward(image_path: str, target_class: int) -> float:
    """Returns a verifiable reward of 1.0 if the target object is detected."""
    results = verifier_model(image_path)

    # Check if the desired class (e.g., 0 for 'person') exists in the detections
    detected_classes = results[0].boxes.cls.tolist()
    if target_class in detected_classes:
        return 1.0  # Verifiable success
    return 0.0  # Verifiable failure


# Simulate an agent's environment state check
reward = get_verifiable_reward("https://ultralytics.com/images/bus.jpg", target_class=0)
print(f"RLVR Reward Signal: {reward}")

Ultralytics Platform のようなクラウドプラットフォームを活用してこれらの認識検証器をデプロイすることで、開発者は次世代の自律型エージェントや推論エージェントを学習させるための、堅牢でスケーラブルな RLVR パイプラインを構築できます。