Process Reward Model (PRM)

过程奖励模型 (PRM) 是一种奖励模型，会对解答的每个中间步骤进行评分，通常预测该步骤正确的概率，而不是只给最终答案评分。结果奖励模型 (ORM) 根据结果评判整个解答，因此它可能奖励通过错误步骤得出的正确答案，也无法指出错误解答是从哪里开始出错的。PRM 会在推理时对大型语言模型 (LLMs)和推理模型生成的候选解答进行排序和引导，并为强化学习提供步骤级奖励。DeepMind 研究人员在 2022 年比较了两种监督方式在小学数学上的表现：基于结果的反馈用更少的标注达到了相近的最终答案错误率，但要将答案正确的解答中的推理错误率从 14.0% 降到 3.4%，则需要基于过程的反馈。

让我们逐步验证#

OpenAI 2023 年的论文《Let's Verify Step by Step》让 PRM 广为人知。人工标注人员将 MATH 竞赛数据集中的 12,000 道题对应的 75,000 个解答里的约 800,000 个步骤标记为正向、负向或中性；OpenAI 将这些标注以 PRM800K的形式发布。PRM 从基于 GPT-4 的生成器采样的 1,860 个解答中选出最佳解答，在 MATH 测试集的一个代表性子集上解出了 78.2% 的题目；相比之下，ORM 为 72.4%，多数投票为 69.6%。标注人员会看到当前 PRM 评分很高、但最终答案错误的解答；这种主动学习方式让标注的数据效率提高了约 2.6 倍。

PRM 的训练方式#

PRM 通常是经过微调的 LLM，用于预测每个步骤结束时该步骤是否正确；训练时根据步骤标签使用交叉熵损失函数。如此精细程度的人工数据标注成本很高，因此 2023 年 12 月发表的 Math-Shepherd 实现了自动构建：针对每个步骤采样多个续写结果，并根据这些结果是否得到已知正确答案来标注该步骤。在 PPO 训练期间使用该 PRM 为每个步骤提供奖励后，Mistral-7B 在 GSM8K 上的准确率从 77.9% 提高到 84.1%，在 MATH 上则从 28.6% 提高到 33.0%。不过，自动标签存在噪声：Alibaba 的 Qwen 团队在 2025 年的一项研究发现，这类蒙特卡洛估计训练出的 PRM 不如使用人工标签或充当裁判的 LLM 标签训练出的 PRM；该团队还发布了 ProcessBench，这是一个用于衡量 PRM 找出第一个错误步骤能力的基准。

使用 PRM 分数#

在推理时，PRM 会将步骤分数转化为选择。Best-of-N 采样会生成多个完整解答，并保留聚合分数最高的那个；《Let's Verify Step by Step》将各步骤概率相乘，发现使用最低步骤分数的效果也大致相同：

import torch

# PRM outputs for three sampled solutions: probability that each step is correct
solutions = {
    "A": torch.tensor([0.97, 0.93, 0.95, 0.94]),
    "B": torch.tensor([0.99, 0.24, 0.96, 0.98]),  # flawed second step, confident ending
    "C": torch.tensor([0.91, 0.88, 0.90]),
}

for name, steps in solutions.items():
    print(f"{name}: last step {steps[-1]:.2f}, product {steps.prod():.3f}, min {steps.min():.2f}")

# Best-of-N reranking: pick the solution with the highest product of step scores
best = max(solutions, key=lambda name: solutions[name].prod())
print(f"Selected solution: {best}")

解答 B 的最后一步置信度最高，为 0.98，但它的第二步得分为 0.24，因此乘积降至 0.224，最低分则为 0.24；PRM 会选择乘积为 0.806 的解答 A。如果只根据最后一步评分，就会选中 B。Ultralytics YOLO 训练同样会评估运行过程中的每个中间步骤，而不是只评估最终结果：使用默认的 val=True 时，训练器会在每个 epoch 后进行验证，根据一个适应度值为权重评分；检测任务的该值等于 mAP50-95，并将得分最高的 epoch 保存为 best.pt，与最终的 last.pt 一同存放。

PRM 也可以在任何解答完成前引导搜索。束搜索会在每个步骤只保留得分最高的部分解答；蒙特卡洛树搜索 (MCTS)使用同样的分数来决定扩展哪些分支；Google DeepMind 和 UC Berkeley 对测试时计算扩展进行的一项研究发现，针对不同难度的问题选择不同的 PRM 搜索方法，其效果可媲美 Best-of-N 采样，同时测试时计算量最多减少四倍：

限制与相关术语#

DeepSeek-R1 团队尝试了 PRM，但出于三个原因放弃了它：一般推理任务中的细粒度步骤很难定义；中间步骤是否正确很难自动判断，人工标注成本也很高；在大规模训练期间，学习得到的 PRM 容易引发奖励投机。DeepSeek-R1 转而通过基于最终答案规则检查的组相对策略优化 (GRPO)进行学习；这种方法称为基于可验证奖励的强化学习 (RLVR)。基于人类反馈的强化学习 (RLHF)中的奖励模型会根据人类偏好比较对完整回答评分，因此它们属于面向开放式文本的结果奖励模型。PRM 会在书写思维链时检查各个步骤，而思维链验证 (CoVe)则让模型通过提出并回答验证问题来检查已经完成的答案。