Constitutional AI
探索宪法 AI 如何利用伦理原则将模型与人类价值观对齐。学习使用 Ultralytics YOLO26 在计算机视觉中实施安全检查。
宪法 AI 是一种训练人工智能系统以符合人类价值观的方法，它通过为系统提供一套高级原则——即“宪法”——而不是仅仅依赖大量的人工反馈来评估单个输出。这种方法本质上是教导 AI 模型根据预定义的一系列规则（例如“提供帮助”、“无害”和“避免歧视”）来审查和修改自身的行为。通过将这些伦理准则直接嵌入到训练过程中，开发者可以创建出比那些依赖手动 Reinforcement Learning from Human Feedback (RLHF) 的系统更安全、更透明且更易于扩展的系统。
Link to this section宪法 AI 的机制#
宪法 AI 的核心创新在于其两个阶段的训练过程，这实现了模型对齐的自动化。与传统的 supervised learning 不同（在该方法中，人类必须标注每一个正确的响应），宪法 AI 使用模型自身来生成训练数据。
-
监督学习阶段：模型针对提示生成响应，然后根据宪法原则对其自身输出进行审查。它会修改响应以更好地符合规则。随后，这个经过优化的数据集被用于微调模型，教导它内在性地遵循这些准则。
-
强化学习阶段：这一阶段通常被称为 Reinforcement Learning from AI Feedback (RLAIF)，它取代了人类标注员。AI 会生成成对的响应，并选择最符合宪法的那一个。这些偏好数据会训练出一个奖励模型，随后通过标准的 reinforcement learning 技术来强化预期的行为。
Link to this section与计算机视觉的相关性#
While Constitutional AI originated in the context of Large Language Models (LLM) developed by organizations like Anthropic, its principles are increasingly relevant for broader machine learning tasks, including Computer Vision (CV).
- 伦理图像生成：用于创建图像的 Generative AI 工具可以经过“宪法性”训练，拒绝执行会生成暴力、仇恨或受版权保护内容的提示。这确保了 model weights 本身编码了安全约束，从而防止了有害视觉内容的产生。
- 安全关键视觉系统：在 autonomous vehicles 中，“宪法性”方法可以定义决策的层次规则。例如，一条规定“人类安全高于交通效率”的规则可以在模型分析复杂道路场景时引导它，确保 object detection 结果的解读以安全为优先。
Link to this section在视觉 AI 中实施策略检查#
虽然完整的宪法 AI 训练涉及复杂的反馈回路，但开发者可以在 inference 期间应用“宪法性检查”的概念，根据安全策略过滤输出。以下示例演示了使用 YOLO26 检测对象，并应用安全规则来过滤低置信度检测结果，从而模仿一种可靠性宪法。
from ultralytics import YOLO
# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")
# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")
# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
# Filter boxes with confidence > 0.5 to ensure reliability
safe_boxes = [box for box in result.boxes if box.conf > 0.5]
print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
# Further processing would only use 'safe_boxes'Link to this section宪法 AI 与传统 RLHF 的对比#
将宪法 AI 与标准的 Reinforcement Learning from Human Feedback (RLHF) 区分开来非常重要。
- 可扩展性：RLHF 需要大量的人力来评估模型输出，这既昂贵又缓慢。宪法 AI 通过 AI agents 实现自动化，使其具有极高的可扩展性。
- 透明度：在 RLHF 中，模型从一种不透明的“奖励信号”（分数）中学习，因此很难知道为什么某种行为会被偏好。而在宪法 AI 中，审查阶段所使用的 chain of thought prompting 使得推理过程明确且可追溯到特定的书面原则。
- 一致性：人类评估员可能会表现出不一致或带有偏见。书面宪法为 AI ethics 提供了一个稳定的基准，减少了对齐过程中的主观性。
Link to this section对齐的未来#
随着模型向 Artificial General Intelligence (AGI) 演进，像宪法 AI 这样稳健的对齐策略的重要性日益增加。这些方法对于遵守来自 NIST AI Safety Institute 等机构的新兴标准至关重要。
The Ultralytics Platform 提供了一系列工具来管理数据治理和 model monitoring，从而促进负责任 AI 系统的构建。通过将这些伦理考量融入到 AI 开发的生命周期中——从 data collection 到 model deployment——组织可以降低风险，并确保其技术为社会做出积极贡献。
