Reinforcement Learning with Verifiable Rewards (RLVR)
基于可验证奖励的强化学习 (RLVR) 使用自动检查来训练模型,例如检查单元测试是否通过,或数学答案是否与已知答案匹配。
可验证奖励强化学习 (RLVR) 是一种利用强化学习训练大型语言模型 (LLM)和其他生成模型的方法,其奖励来自一个程序,该程序会将每个输出与已知正确结果进行核对。数学答案要么与参考答案一致,要么不一致;生成的代码要么通过单元测试,要么未通过。这些检查成本低且客观,因此 RLVR 可以运行数千个训练步骤;它也是推理模型的核心技术之一,这类模型会在回答前沿着较长的思维链逐步推理。AI2 于 2024 年 11 月在其 Tülu 3 报告中命名了这项方法;2025 年 1 月,DeepSeek-R1让它广受关注。当时,其 R1-Zero 模型仅凭基于规则的准确性奖励和格式奖励,就学会了强大的逐步推理能力,且此前没有进行监督微调。
RLVR 的工作原理#
训练从一个预训练模型开始,通常是经过指令微调的模型,以及一组答案可由程序核验的提示。对于每个提示,模型会采样多个回答,验证器为每个回答评分,然后使用近端策略优化 (PPO)或组相对策略优化 (GRPO)等策略梯度算法,提高得分高于预期的回答的概率,并降低其余回答的概率;在 GRPO 中,高于预期意味着高于组内平均值。裁剪以及许多方案中的 KL 惩罚,会让更新后的模型保持接近初始模型。模型从未见过完整的解题过程;它只学会自己的哪些尝试成功了,因此它强化的每种推理模式都是自己生成的。
验证器和组内比较只需几行代码即可实现。下面的示例从 \boxed{} 标签中提取最终答案,对一道数学提示的四个采样答案进行评分;这是 DeepSeek-R1 要求数学答案使用的格式,然后计算 GRPO 的组相对优势:
import re
import numpy as np
reference = "42" # 训练提示的标准答案
completions = [ # 对同一提示采样得到的一组回答
"6 * 7 = 42, so the answer is \\boxed{42}",
"Adding the terms gives \\boxed{41}",
"The product is 42.", # 数字正确,但没有按要求的格式给出最终答案
"Check: 7 * 6 = 42. \\boxed{42}",
]
# 验证器:提取方框中的最终答案,并与参考答案进行比较
rewards = []
for text in completions:
match = re.search(r"\\boxed\{([^}]*)\}", text)
rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)
# GRPO 风格的优势:每个奖励相对于组均值的差值,再除以组标准差
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))它会输出奖励 [1. 0. 0. 1.] 和优势 [ 1. -1. -1. 1.]。两个正确回答会得到强化;第三个回答虽然包含 42,但由于没有按要求的格式明确给出最终答案,其概率会被压低。
什么样的奖励可以验证#
可验证奖励需要有一个真实答案,以及一个将输出与真实答案进行比较的程序。常见的验证器包括:
- 数学答案:解析最终答案,并在规范化等价形式后与参考答案比较,例如
1/2和0.5;Math-Verify 等库可以处理这项工作。 - 代码:在沙箱中运行生成的程序并执行单元测试,奖励取决于通过与否,或通过测试的比例。
- 遵循指令:检查程序可测试的约束,例如字数限制、必需关键词或有效 JSON。Tülu 3 除数学任务外,也将 RLVR 用于这类精确的指令遵循任务。
- 格式:如果模型将推理过程和最终答案放在预期标签中,就给予少量奖励;DeepSeek-R1 将这种奖励与准确性奖励结合使用。
- 视觉任务:使用标注框上的交并比为视觉定位答案评分,并通过目标检测器检查生成的图像。
GenEval使用目标检测器检查生成图像是否包含提示所要求的物体、数量、颜色和位置;Flow-GRPO将这些基于规则的分数作为奖励,使 Stable Diffusion 3.5 Medium 的 GenEval 准确率从 63% 提升到 95%。Ultralytics YOLO26检测器也可以充当同类检查器,将“四个人站在公交站”这样的提示转化为计数奖励:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0]) # class 0 = person
n_found, n_requested = len(results[0].boxes), 4
# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")RLVR 与 RLHF 和过程奖励的比较#
RLVR 与其他将反馈转化为训练信号的方法并行:
- 基于人类反馈的强化学习 (RLHF):通过人类偏好比较训练得到的奖励模型为输出评分。它适用于语气和帮助性等主观特征,但学得的评分器存在盲点,策略可能会利用这些盲点。正因如此,DeepSeek-R1 在推理任务中避免使用神经奖励模型;在最后的训练阶段,它将推理提示上的基于规则的奖励与通用提示上的学得奖励模型结合起来。
- 过程奖励模型 (PRM):这类模型会为每个中间推理步骤评分。RLVR 通常只对最终结果给出奖励,这样获取奖励的成本更低,也更难被钻空子。
- 直接偏好优化 (DPO):DPO 使用固定的偏好回答与拒绝回答配对进行离线学习,训练期间无需采样或验证器。
训练流水线通常会针对每个提示选择奖励来源;如果既没有检查器也没有人工标签,就会采用类似于宪法式 AI的 AI 反馈:
优势与局限#
由于奖励不需要人在环路,RLVR 可以随着算力和可核验问题的供给扩展,而且能产生无人明确编写过的行为:在训练过程中,DeepSeek-R1-Zero 的回答逐渐变长,因为模型学会了重新检查和修正自己的推理。Hugging Face 的 TRL GRPO trainer等库支持自定义奖励函数,因此可以直接接入上述任意一种验证器。
这种方法只能处理答案可核验的任务,而验证器较弱会引发奖励作弊:如果代码模型因为通过测试而获得奖励,它可能会学会针对特定情况写特殊处理,或修改测试,而不是修复代码。研究人员对 RLVR 带来的提升也有不同看法。一项针对使用 RLVR 训练的模型的 2025 年研究发现,每个问题只尝试一次时,这些模型优于其基础模型;但如果允许多次尝试,基础模型能解出更多问题。这表明 RLVR 主要是提高了基础模型原本就能生成的解法的概率。另一篇后续论文只有在答案和推理链都正确时才将样本计为正确;按照 CoT-Pass@K 这一指标,在 AIME 2024 和 AIME 2025 上,经过 RLVR 训练的 Qwen2.5-32B 在所有不超过 1,024 的 K 值下都领先于基础模型。










