Constitutional AI

宪法式 AI (CAI) 是 Anthropic 开发的一种方法：它通过为语言模型提供一套书面的原则（即宪法）来训练模型，使其避免造成伤害，而不是使用标记单个输出是否有害的人工标签。该方法于 2022 年 12 月发表在论文《宪法式 AI：来自 AI 反馈的无害性》中。它让模型根据这些原则评估并修改自己的回答，然后使用 AI 判断哪个回答更符合原则，并将这些判断作为强化学习的偏好数据。论文仍使用人工标签评估有用性，仅在无害性评估方面取代了人工标签。自 2023 年以来，Anthropic 一直使用基于宪法的方法训练 Claude 模型。

宪法式 AI 的工作原理#

训练从一个已经微调为有用的模型开始，分两个阶段进行：

1. 监督阶段：模型回答旨在引出有害回答的红队提示。随后，模型会根据从宪法中随机抽取的一条原则批评自己的回答，并重写回答以解决批评中指出的问题；这一过程会进行一轮或多轮。然后，模型会基于最终修订内容进行微调。
2. 强化学习阶段：微调后的模型会生成成对的回答；一个以某条原则为提示的反馈模型会判断哪个回答更好，并可以先逐步推理。随后，基于这些 AI 标签并混合人工有用性标签训练的偏好模型，会为强化学习提供奖励。该论文将这一阶段称为基于 AI 反馈的强化学习 (RLAIF)。

在有用性水平相当的情况下，与使用人工无害性标签训练的模型相比，这些模型造成的伤害更少，也不那么闪烁其词：它们不会直接拒绝敏感请求，而是会回应请求并解释反对理由。

宪法的内容#

2022 年的论文为评论制定了 16 条简短原则，为 AI 反馈制定了另外 16 条，每条都采用指令形式，例如：“以下哪条助手回复的危害较小？请选择一位明智、有道德、礼貌且友善的人更可能给出的回复。”Claude 于 2023 年 5 月首次发布的宪章参考了《联合国世界人权宣言》等资料。2023 年 10 月，Anthropic 与 Collective Intelligence Project 开展了一项公众参与实验：约 1,000 名美国人通过 Polis 协商平台提出并投票选出原则；根据这份公众宪章训练的模型表现与 Anthropic 自有模型相近，并且在九个社会维度上的偏差更小。

2026 年 1 月，Anthropic 用一份长得多的Claude 宪法取代了规则列表，其中解释了所要求行为背后的原因。宪法按顺序列出了四个优先事项：总体上安全、总体上合乎伦理、遵守 Anthropic 的指南，以及真正有帮助；它保留了少量硬性约束，并以 CC0 公共领域贡献方式发布。Claude 本身会使用这份文档生成合成训练数据，其中包括应用宪法的对话，以及对候选回答的排序。Ultralytics Platform中的智能标注可以运行 Anthropic 的 Claude 视觉模型；这些模型使用基于宪法的方法训练，可以为检测数据集的类别生成初始框，再由标注人员审核并保存。

宪法式 AI 与 RLHF 及相关方法#

• 基于人类反馈的强化学习 (RLHF)：人工评估者比较回答，以训练奖励模型。CAI 保留相同的流程，但将人工对回答无害性的比较替换为由原则指导的 AI 比较，从而免去评估者阅读大量有害文本，并使训练目标清晰且可编辑。AI 评判者也有自身的盲点，因此原则的措辞会影响结果。
• 一般意义上的 RLAIF：任何基于 AI 生成的偏好标签进行的强化学习。CAI 是由宪法指导的形式；一项2023 年 Google 研究发现，在摘要生成和对话任务中，RLAIF 的表现与 RLHF 相当。
• 直接偏好优化 (DPO)：一种无需单独奖励模型、直接从偏好样本对中学习的方法。它既可以使用由宪法指导的 AI 标签训练，也可以使用人工标签训练。
• AI 护栏：在推理时围绕模型应用的过滤器。Anthropic 的宪法分类器将这两种思路结合起来：宪法定义允许和禁止的内容，Claude 据此生成合成样本，训练好的输入和输出分类器则会拦截越狱攻击。2025 年 2 月，在自动化测试中，越狱成功率从 86% 降至 4.4%；2026 年 1 月的版本相较于基线分类器将计算成本降低了约 40 倍，同时仅拒绝了 0.05% 的生产流量。