Reinforcement Learning with Verifiable Rewards (RLVR)
検証可能な報酬による強化学習(RLVR)は、ユニットテストの合格や既知の数学の答えとの一致など、自動チェックを使ってモデルを学習させます。
検証可能な報酬を用いた強化学習(RLVR)は、大規模言語モデル(LLM)やその他の生成モデルを強化学習で学習させる方法です。報酬は、既知の正解と各出力を照合するプログラムから得られます。数学の回答は正解と一致するかどうかで判定でき、生成されたコードはユニットテストに合格するかどうかで判定できます。こうしたチェックは低コストで客観的なため、RLVRでは何千回もの学習ステップを実行できます。また、回答前に長い思考の連鎖をたどる推論モデルを支える中核的な手法です。AI2は2024年11月のTülu 3レポートでこの手法を命名しました。2025年1月にはDeepSeek-R1によって広く注目されました。同モデルのR1-Zeroは、教師ありファインチューニングを事前に行わず、ルールベースの正確性報酬と形式報酬だけで、強力な段階的推論を学習しました。
RLVRの仕組み#
学習は、事前学習済みで通常は指示チューニングされたモデルと、回答をプログラムで検証できるプロンプトのセットから始まります。各プロンプトに対してモデルが複数の回答をサンプリングし、検証器がそれぞれを採点します。次に、近接方策最適化(PPO)やグループ相対方策最適化(GRPO)などの方策勾配アルゴリズムが、期待値より高いスコアを得た回答の確率を上げ、それ以外の確率を下げます。GRPOでは、期待値はグループ平均を意味します。クリッピングや、多くのレシピで使われるKLペナルティによって、更新後のモデルが学習開始時の状態から大きく離れないようにします。モデルに模範解答を見せることはありません。モデルは自分の試行のうちどれが成功したかだけを学び、強化する推論パターンはすべて自ら生成したものです。
検証器とグループ比較は、数行のコードで実装できます。この例では、1つの数学プロンプトからサンプリングした4つの回答を採点します。\boxed{}タグから最終回答を抽出します。このタグは、DeepSeek-R1が数学で必須としていた回答形式です。続いてGRPOのグループ相対アドバンテージを計算します。
import re
import numpy as np
reference = "42" # 学習プロンプトの正解
completions = [ # 同じプロンプトからサンプリングした回答のグループ
"6 * 7 = 42, so the answer is \\boxed{42}",
"Adding the terms gives \\boxed{41}",
"The product is 42.", # 数値は正しいものの、必須形式の最終回答がない
"Check: 7 * 6 = 42. \\boxed{42}",
]
# 検証器: 最後のボックス内の回答を抽出し、正解と照合する
rewards = []
for text in completions:
match = re.search(r"\\boxed\{([^}]*)\}", text)
rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)
# GRPO形式のアドバンテージ: 各報酬をグループ平均と比較し、グループの標準偏差でスケーリングする
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))報酬[1. 0. 0. 1.]とアドバンテージ[ 1. -1. -1. 1.]が出力されます。正解した2つの回答は強化されます。一方、3番目の回答には42が含まれているものの、必須形式で最終回答を示していないため、評価が下がります。
検証可能な報酬の条件#
検証可能な報酬には、正解データと、出力を正解と照合するプログラムが必要です。一般的な検証器には次のものがあります。
- 数学の回答: 最終回答を解析し、
1/2や0.5などの同値表現を正規化してから正解と照合します。Math-Verifyなどのライブラリがこの処理に対応しています。 - コード: 生成されたプログラムをサンドボックス内でユニットテストにかけ、合格したか、あるいはどの割合のテストに合格したかを報酬にします。
- 指示への準拠: 文字数制限、必須キーワード、有効なJSONなど、プログラムで検証できる制約です。Tülu 3は、数学に加えて、このような厳密な指示への準拠にもRLVRを適用しました。
- 形式: 推論と最終回答を指定のタグで記述した場合に少量の報酬を与えます。DeepSeek-R1はこれを正確性報酬と組み合わせました。
- ビジョンタスク: ラベル付きボックスとのIntersection over Unionでグラウンディングの回答を採点し、物体検出器で生成画像をチェックします。
GenEvalは物体検出器を使い、生成画像にプロンプトで指定された物体、個数、色、位置が含まれているか確認します。Flow-GRPOは、このルールベースのスコアを報酬に用いて、Stable Diffusion 3.5 MediumのGenEval精度を63%から95%に高めました。Ultralytics YOLO26検出器も同様の判定器として利用できます。たとえば「バス停にいる4人」というプロンプトをカウント報酬に変換できます。
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0]) # class 0 = person
n_found, n_requested = len(results[0].boxes), 4
# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")RLVRとRLHF、プロセス報酬の比較#
RLVRは、フィードバックを学習信号に変換する他の方法と併用できます。
- 人間のフィードバックによる強化学習(RLHF): 人間による選好比較から学習した報酬モデルで出力を採点します。口調や有用性などの主観的な品質を扱えますが、学習済みの評価器には、方策に悪用される盲点があります。そのためDeepSeek-R1は推論にニューラル報酬モデルを使いませんでした。最終学習段階では、推論プロンプトにルールベースの報酬を、一般的なプロンプトに学習済み報酬モデルを適用しました。
- プロセス報酬モデル(PRM): 推論の中間ステップを個別に採点します。RLVRは通常、最終結果だけに報酬を与えるため、低コストで取得でき、報酬の悪用もより困難です。
- 直接選好最適化(DPO): 固定された選好回答と拒否回答のペアからオフラインで学習します。学習中のサンプリングや検証器は必要ありません。
学習パイプラインでは、プロンプトごとに報酬源を選ぶことがよくあります。検証器も人間のラベルもない場合は、Constitutional AIの方式によるAIフィードバックを利用します。
強みと限界#
人間を介在させる必要がないため、RLVRは計算資源と検証可能な問題の供給に応じてスケールします。また、明示的に記述されていなかった振る舞いも生み出します。DeepSeek-R1-Zeroでは、モデルが自らの出力を再確認して修正する方法を学ぶにつれ、学習中の回答が着実に長くなりました。TRL GRPO trainerなどのHugging Faceライブラリはカスタム報酬関数を受け付けるため、上記のような検証器をそのまま組み込めます。
この手法は回答を検証できるタスクにしか適用できません。また、検証器が弱いと報酬ハッキングを招きます。たとえば、テスト合格で報酬を得るコード生成モデルは、コードを修正する代わりに、特定のケースだけに対応したりテストを編集したりするようになる可能性があります。RLVRが何をもたらすのかについても、研究者の見解は分かれています。RLVRで学習したモデルの2025年の研究では、1問につき1回の試行ならベースモデルを上回る一方、複数回の試行が許されるとベースモデルのほうが多くの問題を解いたことが示されました。これは、RLVRが主に、ベースモデルがすでに生成できる解答に確率を集中させていることを示唆します。後続の論文では、回答と推論の連鎖の両方が正しい場合にのみサンプルを正解としました。このCoT-Pass@K指標では、RLVRで学習したQwen2.5-32Bが、AIME 2024とAIME 2025において、Kが1,024以下のすべての値でベースモデルを上回りました。










