Reinforcement Learning with Verifiable Rewards (RLVR)

探索带可验证奖励的强化学习 (RLVR)。了解如何使用确定性反馈和 Ultralytics YOLO26 训练先进的 AI。

基于可验证奖励的强化学习 (RLVR) 是一种先进的训练范式，用于增强人工智能 (AI) 模型的推理和解决问题能力。与依赖人类标注偏好数据的传统训练方法不同，RLVR 利用确定性的基于规则的系统来评估模型的输出。通过提供客观的二元奖励（例如生成的代码是否编译通过，或数学方程式是否求解正确），RLVR 允许模型通过无限制的探索进行学习。这种客观的反馈循环是高能力推理模型近期取得突破的关键驱动力，使它们能够在无需持续人工干预的情况下发现最优、复杂的逻辑路径。

Link to this sectionRLVR 的核心原则#

在标准的机器学习 (ML) 环境中，AI 智能体通过最大化奖励信号进行学习。在 RLVR 中，该奖励信号由刚性编程系统而非主观人类判断生成。学习过程依赖于几个基本步骤：

探索策略： 模型针对给定的提示生成多个潜在解决方案或推理路径，通常利用思维链提示来拆解复杂的任务。
确定性验证： 外部工具（如 Python 编译器、计算器或计算机视觉 (CV) 感知系统）根据客观成功标准检查最终输出。
策略优化： 如果输出被验证正确，模型将获得正向奖励。然后，使用诸如组相对策略优化 (GRPO) 或近端策略优化 (PPO) 等优化算法更新模型策略，以偏向成功的推理路径。

这种方法显著提高了模型在训练时的推理延迟效率，并鼓励涌现出推理能力，这是一种近期用于训练 DeepSeek-R1 等高能力模型的技术。

Link to this sectionRLVR 与 RLHF 及 PRM 的对比#

区分 RLVR 与 AI 生态系统中的其他对齐和训练范式非常重要：

对比从人类反馈中进行的强化学习 (RLHF)： RLHF 依赖于基于主观人类偏好训练的学习型奖励建模系统。RLVR 通过严格依赖客观、程序化的真理消除了“人在回路”的瓶颈，使其对于具有明确是非答案的任务具有高度可扩展性。
对比过程奖励模型 (PRM)： 虽然 PRM 在模型的整个推理轨迹中提供细粒度的、逐步的反馈，但 RLVR 通常侧重于流程结束时的可验证结果。然而，2025 年的最新研究表明，在 RLVR 中针对最终可验证奖励进行优化也会隐式地激励正确的中间推理步骤。

Link to this section实际应用#

RLVR 正在改变在各种确定性领域训练复杂 AI 系统的方式：

数学推理： OpenAI o 系列等大型推理模型利用 RLVR 来解决复杂的数学定理。验证器充当引擎，明确证明模型推导出的答案是否正确，从而显著提升基准数据集的表现。
软件工程与代码生成： AI 编码助手使用 RLVR 来编写、调试和优化代码。当生成的代码成功编译并通过一套自动化单元测试时，即可获得可验证的奖励。
自主视觉智能体： 在物理环境中，自主智能体在到达目标目的地或成功操作物体时会获得可验证的奖励。视觉模型在这些空间中充当可验证的条件检查器。

Link to this section在视觉 AI 中实现可验证奖励#

在物理和视觉环境中，Ultralytics YOLO26 等感知模型可以充当 RLVR 循环中的程序化验证器。例如，如果 AI 智能体的目标是将物体移动到特定区域，YOLO 模型可以通过检测物体在该区域的存在来验证成功。

以下 Python 代码片段展示了使用 ultralytics 包的程序化验证器概念。

from ultralytics import YOLO

# Load a YOLO26 model to act as the programmatic verifier
verifier_model = YOLO("yolo26n.pt")


def get_verifiable_reward(image_path: str, target_class: int) -> float:
    """Returns a verifiable reward of 1.0 if the target object is detected."""
    results = verifier_model(image_path)

    # Check if the desired class (e.g., 0 for 'person') exists in the detections
    detected_classes = results[0].boxes.cls.tolist()
    if target_class in detected_classes:
        return 1.0  # Verifiable success
    return 0.0  # Verifiable failure


# Simulate an agent's environment state check
reward = get_verifiable_reward("https://ultralytics.com/images/bus.jpg", target_class=0)
print(f"RLVR Reward Signal: {reward}")

通过利用 Ultralytics Platform 等云平台来部署这些感知验证器，开发者可以构建强大且可扩展的 RLVR 流水线，从而训练下一代自主和推理智能体。