Reinforcement Learning from Human Feedback (RLHF)

基于人类反馈的强化学习 (RLHF) 是一种训练方法，它利用人们对 AI 模型输出的判断来改进模型，而不是使用手写的目标函数。人工评审员会比较成对或成组的模型回答，奖励模型学习预测评审员更偏好哪个回答，然后通过强化学习对原始模型进行微调，使模型生成奖励模型评分较高的回答。RLHF 之所以存在，是因为人们很容易识别有帮助、诚实、语气得体等特质，却几乎不可能将这些特质写成损失函数。2017 年，Christiano 等人利用 RLHF，根据约一小时的人类比较数据，让智能体在 Atari 游戏和机器人模拟器中学会新行为。OpenAI 的 InstructGPT和 ChatGPT 于 2022 年推出后，RLHF 成为大型语言模型 (LLM)及其他生成式 AI系统的标准后训练阶段。

RLHF 的工作原理#

InstructGPT 论文介绍的经典流程分为三个阶段：

1. 监督微调 (SFT)：在人工撰写的演示数据上微调预训练基础模型，例如针对示例提示编写的优质回答，从而让模型学会预期的格式和语气。
2. 奖励模型训练：SFT 模型针对每个提示生成多个回答，标注人员为这些回答排序。InstructGPT 约有 40 名合同工，每个提示会对 4 到 9 个回答进行排序。然后，训练一个模型副本，让它只输出一个标量分数，并对偏好的回答给出高于被拒绝回答的分数。
3. 强化学习：SFT 模型成为策略，通过近端策略优化 (PPO) 进行优化，以最大化奖励模型的分数，同时减去一个与其相对于 SFT 模型的 KL 散度成比例的惩罚项。这个惩罚项让策略保持接近奖励模型见过的流畅文本，并防止策略偏向奖励模型碰巧给出过高分数的奇怪输出。

KL 系数通常记作 β，它决定策略可以偏离多远。KL 正则化目标有一个精确的最优解：将参考概率按奖励除以 β 的指数值重新加权。下面的 NumPy 示例针对四个候选回答计算了这个解：

import numpy as np

# Four candidate responses: probability under the fine-tuned reference model and reward-model score
reference = np.array([0.50, 0.30, 0.15, 0.05])
reward = np.array([0.0, 1.0, 2.0, 4.0])

for beta in [10.0, 1.0, 0.1]:
    # Optimal policy for "maximize expected reward - beta * KL(policy || reference)"
    policy = reference * np.exp(reward / beta)
    policy /= policy.sum()
    kl = (policy * np.log(policy / reference)).sum()
    print(f"beta={beta:>4}: policy={policy.round(2)}, expected reward={policy @ reward:.2f}, KL={kl:.2f}")

当 β = 10 时，它会输出策略 [0.46 0.3 0.17 0.07]，与参考策略几乎相同；当 β = 0.1 时，策略 [0. 0. 0. 1.] 则会把全部概率分配给参考模型只给出 5% 概率的回答，此时 KL 散度为 3.00。较小的 β 能换来更高的奖励模型分数；如果奖励模型高估了这个罕见回答，策略学到的就会是利用错误，而不是取悦人们。直接偏好优化 (DPO)利用同一个闭式最优解直接在偏好对上训练，无需单独的奖励模型或强化学习循环。

RLHF 的应用场景#

• 聊天助手：InstructGPT 的标注人员更偏好其 13 亿参数 RLHF 模型的输出，而不是 1750 亿参数 GPT-3 的输出。Meta 的 Llama 2 聊天模型针对两个独立的奖励模型进行了微调，一个评估有帮助程度，另一个评估安全性。
• 摘要生成：OpenAI 在 2020 年训练的摘要模型使用人类反馈，其生成的摘要比数据集中的人工撰写参考摘要更受评审员青睐。
• 图像生成：根据人类对生成图像的评分训练奖励模型，再用这些模型微调文本到图像模型，使其更忠实地遵循提示，并生成更受人们喜爱的图像。
• 机器人技术与控制：对于成功与否容易判断、却难以明确定义的任务（例如自然的步态或穿过人群时安全的轨迹），人们会比较机器人的短视频尝试，而不是编写奖励函数。

主要供应商的视觉语言模型会接受与文本聊天机器人相同的偏好调优。在 Ultralytics Platform Agents中，Ultralytics YOLO26检测器会判断哪些图像需要仔细查看，而平台模型列表中的一个模型（例如 Google Gemini）会根据工作流提示描述这些图像。

局限性#

人类偏好数据标注耗时又昂贵，而且评审员之间往往意见不一，因此奖励模型学到的是评审员品味的平均值，也包含他们的盲点。评审员也会偏好自信、迎合的回答：Anthropic 对五款助手进行的一项研究发现，人类偏好数据偏向与用户明确表达的观点一致的回答，这是AI 谄媚的一个来源。对任何学到的奖励进行过度优化，最终都会导致奖励黑客：奖励模型分数不断上升，真实质量却不断下降。

RLHF 与相关方法的比较#

• 标准强化学习：环境提供固定奖励，例如游戏分数。RLHF 从人类判断中学习奖励，因为没有任何固定奖励能够涵盖目标。
• 奖励建模：奖励模型是 RLHF 的一个组成部分，它将人类排序结果转换成强化学习算法可优化的分数。
• 宪法式 AI：由 AI 模型依据书面原则生成偏好标签，而不是由人类生成；这种变体称为基于 AI 反馈的强化学习 (RLAIF)。
• 基于可验证奖励的强化学习 (RLVR)：程序会检查每个回答（例如数学结果或单元测试），并提供相应奖励。RLVR 通常使用群体相对策略优化 (GRPO) 来训练推理模型；现代后训练流程会同时使用这两种方法：有检查器时使用可验证奖励，开放式提示则使用 RLHF 风格的奖励模型。