返回 Ultralytics 词汇表
Reward Modeling
探索机器学习中的奖励建模。了解它如何利用人类反馈来调整 AI 智能体和 Ultralytics YOLO26 模型，以获得更安全、更准确的性能。
奖励建模是一种机器学习技术，用于教导人工智能系统如何基于人类偏好来评估和优先考虑其自身行为。在传统的 强化学习 环境中，AI 智能体 通过最大化预定义的、数学上严格的奖励函数（例如电子游戏中的得分）来进行学习。然而，对于那些“良好”行为具有主观性或细微差别的复杂现实任务——比如撰写一封礼貌的电子邮件或安全地通过十字路口——手工编写一个完美的奖励函数几乎是不可能的。奖励建模通过训练一个辅助的 神经网络（即奖励模型）来充当人类判断的代理，从而解决了这个问题。该模型评估主要 AI 的输出并分配标量分数，动态引导主模型朝着安全、有用和准确的行为方向发展。
Link to this section奖励建模的工作原理#
构建奖励模型的流水线在很大程度上依赖于收集高质量的人类反馈。
- 数据标注与偏好： 人类标注员会收到提示词以及由 AI 模型生成的多个回复。评估员根据有用性、无害性和准确性等标准，将这些回复从最好到最差进行排序。你可以使用 Ultralytics Platform 无缝处理这些大规模的标注工作流。
- 训练代理网络： 一个专门的神经网络会在这个人类比较数据集上进行训练。通过优化过程，它学会预测人类更偏好哪种输出，将动作或文本回复的 嵌入 映射为一个单一的标量奖励值。你可以在 PyTorch API 文档 中阅读更多关于构建神经网络架构的内容。
- 策略优化： 主模型利用来自奖励模型的持续反馈来改进其行为，通常使用诸如 近端策略优化 (PPO) 之类的算法。这一步通过迭代，使模型的策略与学习到的人类意图保持一致。
Link to this section奖励建模与 RLHF 的对比#
区分奖励建模与 人类反馈强化学习 (RLHF) 非常重要。虽然这两个术语经常被放在一起讨论，但它们并不是同义词。RLHF 是用于对齐模型的全面端到端流水线，涵盖了监督微调、数据收集和策略更新。奖励建模是 RLHF 流水线中一个具体且关键的组成部分。它充当了桥梁，将离散的人类排名转化为强化学习算法可以据此进行优化的连续数学信号。
Link to this section实际应用#
奖励建模在开发与人类和物理世界直接交互的现代 AI 系统中发挥着重要作用。
- 大型语言模型 (LLMs)： 对话式 AI 助手依靠奖励模型来确保其答案不仅事实正确，而且礼貌、相关且没有有毒语言。正在探索 AI 安全 的组织正在不断推进奖励建模，以构建能够反映 有用且无害的 AI 对齐 的系统。
- 自动驾驶车辆与机器人技术： 在物理自动化中，奖励模型帮助机器人理解复杂的驾驶礼仪或物体操作策略。由 Ultralytics YOLO26 驱动的感知系统可能会检测行人与交通标志，而奖励模型则负责评估车辆的规划轨迹，确保 AI 在执行任务时将乘客的舒适度和安全性置于单纯激进的点对点导航之上。
Link to this section实现基本的奖励模型概念#
以下 Python 示例使用 torch 来演示奖励模型的基础结构。在实际应用中，该网络会学习为符合人类偏好的输出分配更高的标量分数。
import torch
import torch.nn as nn
# Define a simplified reward model architecture
class SimpleRewardModel(nn.Module):
def __init__(self):
super().__init__()
# Maps the AI's output embedding to a single reward score
self.fc = nn.Linear(768, 1)
def forward(self, embeddings):
return self.fc(embeddings)
# Initialize the model
reward_model = SimpleRewardModel()
# Simulated embeddings for a human-preferred action and a rejected action
chosen_action = torch.randn(1, 768)
rejected_action = torch.randn(1, 768)
# The model predicts scalar scores to guide the primary agent
print(f"Chosen Action Reward: {reward_model(chosen_action).item():.4f}")
print(f"Rejected Action Reward: {reward_model(rejected_action).item():.4f}")如需深入了解对齐如何影响开源基础模型，请探索关于使语言模型与人类意图对齐的基础研究，并了解 计算机视觉 (CV) 系统如何利用先进的反馈回路来安全地与动态环境进行交互。
