Reward Modeling

奖励建模是一种机器学习技术，用于教导人工智能系统根据人类偏好来评估和优先处理自身的行为。在传统的 reinforcement learning 环境中，AI agent 通过最大化预定义的、数学上严格的奖励函数来学习，比如电子游戏中的得分。然而，对于复杂的现实世界任务，其中“良好”的行为是主观的或微妙的——例如写一封礼貌的电子邮件或安全地通过十字路口——手动编写一个完美的奖励函数几乎是不可能的。奖励建模通过训练一个辅助的 neural network（即奖励模型）作为人类判断的代理来解决这个问题。该模型评估主要 AI 的输出并分配标量分数，动态引导主模型走向安全、有用和准确的行为。

奖励建模的工作原理#

构建奖励模型的流水线在很大程度上依赖于收集高质量的人类反馈。

• **Data Labeling 和偏好：**人类标注人员会收到提示以及 AI 模型生成的多个响应。评估人员根据诸如有用性、无害性和准确性等标准，将这些响应从最佳到最差进行排序。使用 Ultralytics Platform 可以无缝处理这些大规模的标注工作流。
• **训练代理网络：**在一个专门的神经网络上训练这个人类比较数据集。通过优化过程，它学习预测人类会偏好哪个输出，将动作或文本响应的 embeddings 映射到单个标量奖励值。你可以在 PyTorch API documentation 中阅读更多关于构建神经网络架构的信息。
• **策略优化：**主模型使用来自奖励模型的持续反馈来改进其动作，通常利用诸如 Proximal Policy Optimization (PPO) 之类的算法。这一步迭代地将模型的策略与所学到的人类意图对齐。

奖励建模与 RLHF 的对比#

区分奖励模型与 Reinforcement Learning from Human Feedback (RLHF) 非常重要。虽然这两个术语经常一起讨论，但它们并不是同义词。RLHF 是用于对齐模型的综合端到端管道，包含监督微调、数据收集和策略更新。奖励建模是 RLHF 管道中的一个具体且关键的组件。它充当桥梁，将离散的人类排名转化为强化学习算法可以对其进行优化的连续数学信号。

实际应用#

奖励建模在开发与人类和物理世界直接交互的现代 AI 系统中发挥着重要作用。

• **Large Language Models (LLMs)：**对话式 AI 助手依赖奖励模型来确保其回答不仅事实正确，而且礼貌、相关且没有有毒语言。探索 AI safety 的组织不断推进奖励建模，以构建体现 helpful and harmless AI alignment 的系统。
• **Autonomous Vehicles 与机器人技术：**在物理自动化中，奖励模型帮助机器人理解复杂的驾驶礼仪或物体操作策略。由 Ultralytics YOLO26 驱动的感知系统可能会检测行人和道路标志，而奖励模型则评估车辆的计划轨迹，确保 AI 优先考虑乘客的舒适和安全，而不是纯粹激进的点对点导航。

实现基本的奖励模型概念#

以下 Python 示例使用 torch 来演示奖励模型的基础结构。在实践中，这个网络学习为符合人类偏好的输出分配更高的标量分数。

import torch
import torch.nn as nn


# Define a simplified reward model architecture
class SimpleRewardModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Maps the AI's output embedding to a single reward score
        self.fc = nn.Linear(768, 1)

    def forward(self, embeddings):
        return self.fc(embeddings)


# Initialize the model
reward_model = SimpleRewardModel()

# Simulated embeddings for a human-preferred action and a rejected action
chosen_action = torch.randn(1, 768)
rejected_action = torch.randn(1, 768)

# The model predicts scalar scores to guide the primary agent
print(f"Chosen Action Reward: {reward_model(chosen_action).item():.4f}")
print(f"Rejected Action Reward: {reward_model(rejected_action).item():.4f}")

为了深入了解对齐如何影响开源基础模型，请探索关于将语言模型与人类意图对齐的基础研究，并了解 computer vision (CV) 系统如何利用高级反馈循环与动态环境安全交互。