Constitutional AI

探索宪法 AI 如何利用伦理原则将模型与人类价值观对齐。学习使用 Ultralytics YOLO26 在计算机视觉中实施安全检查。

Constitutional AI 是一种训练人工智能系统以符合人类价值观的方法，方法是为其提供一组高级原则（即“宪法”），而不是仅仅依赖对各个输出的大量人工反馈。这种方法本质上教导 AI 模型根据预先定义的一组规则（例如“提供帮助”、“无害”和“避免歧视”）来批判和修改自身的行为。通过将这些伦理准则直接嵌入到训练过程中，开发者可以创建比依赖人工 Reinforcement Learning from Human Feedback (RLHF) 的系统更安全、更透明且更易于扩展的系统。

宪法 AI 的机制#

Constitutional AI 的核心创新在于其两阶段训练过程，该过程实现了模型对齐的自动化。与传统 supervised learning 不同，传统监督学习要求人工标记每个正确的响应，而 Constitutional AI 则使用模型本身来生成训练数据。

监督学习阶段：模型针对提示生成响应，然后根据宪法原则对其自身输出进行审查。它会修改响应以更好地符合规则。随后，这个经过优化的数据集被用于微调模型，教导它内在性地遵循这些准则。
强化学习阶段：这个阶段通常称为 Reinforcement Learning from AI Feedback (RLAIF)，它取代了人工标记员。AI 会生成成对的响应，并选择最符合宪法的那一个。这些偏好数据会训练一个奖励模型，然后该模型通过标准的强化学习技术来强化所需的行为。

与计算机视觉的相关性#

虽然 Constitutional AI 最初源于由 Anthropic 等组织开发的 Large Language Models (LLM)，但其原则对于更广泛的机器学习任务（包括 Computer Vision (CV)）也日益重要。

伦理图像生成：用于创建图像的生成式 AI 工具可以通过“宪法式”训练来拒绝生成暴力、仇恨或受版权保护的图像的提示。这确保了模型权重本身就能编码安全约束，从而防止有害视觉内容的产生。
安全关键型视觉系统：在自动驾驶汽车中，“宪法式”方法可以为决策定义分层规则。例如，“人类安全高于交通效率”这一规则可以在模型分析复杂的道路场景时为其提供指导，确保目标检测结果的解释将安全放在首位。

在视觉 AI 中实施策略检查#

虽然完整的Constitutional AI训练涉及复杂的反馈循环，但开发者可以在推理过程中应用“宪法检查”的概念，根据安全策略过滤输出。以下示例展示了使用Ultralytics YOLO26检测对象并应用安全规则来过滤低置信度检测结果的过程，从而模仿可靠性宪法。

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'

宪法 AI 与传统 RLHF 的对比#

区分 Constitutional AI 与标准 Reinforcement Learning from Human Feedback (RLHF) 非常重要。

可扩展性：RLHF 需要大量的人力来对模型输出进行评分，这既昂贵又缓慢。Constitutional AI 通过AI 代理自动完成这一过程，使其具有极高的可扩展性。
透明度：在 RLHF 中，模型从不透明的“奖励信号”（得分）中学习，这使得很难知道为什么某个行为会受到偏爱。在 Constitutional AI 中，在批判阶段使用的思维链提示使得推理过程明确且可追溯到特定的书面原则。
一致性：人工评估员可能不一致或带有偏见。一份书面宪法为 AI 伦理提供了一个稳定的基准，从而减少了对齐过程中的主观性。