AI Guardrails
AI 防护机制是在 AI 模型周围设置的检查，用于拦截不安全的输入、输出和操作，范围从提示注入过滤器到工具调用的架构检查。
AI 护栏是设置在人工智能 (AI)模型周围的检查机制，用于检查模型接收和输出的内容，以及模型获准执行的操作，并拦截或重定向任何违反策略的内容。护栏位于模型权重之外：即使底层大型语言模型 (LLM)受到欺骗而生成有害回答、泄露电话号码或未经授权批准退款，护栏仍能阻止这些行为。通过对整个应用强制实施限制，护栏可以补充基于人类反馈的强化学习 (RLHF)等安全训练，不受模型自身行为倾向的影响。
AI 护栏的类型#
护栏根据其发挥作用的位置进行分类。输入护栏会在模型看到提示词、上传文件和检索文档之前进行筛查，寻找提示词注入、越狱尝试、个人数据或偏离主题的请求。输出护栏会在响应到达用户或下游软件之前进行检查，以发现有害内容、泄露的机密信息、与源文档相矛盾的幻觉，或违反所需架构的结构化输出。
操作护栏会限制AI 智能体可以调用哪些工具、可以使用哪些参数和权限，并要求在付款、删除或发送电子邮件等重要操作前获得人工批准；智能体沙箱则会隔离智能体运行的代码。对话护栏会让对话始终围绕获准的话题进行，例如银行助手会拒绝回答医疗问题。
护栏的实现方式#
许多护栏都是分类器。Meta 于 2023 年推出的 Llama Guard是经过微调的 LLM，可依据风险类别体系，将提示词和响应标记为安全或不安全。Anthropic 的宪法分类器基于书面列出的允许和禁止内容生成的合成数据进行训练。在 Claude 3.5 Sonnet 上，它将针对 10,000 次自动越狱尝试的成功率从 86% 降至 4.4%，同时使生产流量中的拒绝率上升 0.38%，并增加 23.7% 的计算开销。其他护栏则基于规则，例如用于识别信用卡号的正则表达式、工具允许列表以及工具参数架构。NVIDIA 的 NeMo Guardrails和 Guardrails AI等框架会将这两类机制组合为可配置的流水线。
架构验证是最容易构建的操作护栏。下面的示例使用 Pydantic检查 LLM 智能体提出的退款请求，确保请求执行前通过验证：
from pydantic import BaseModel, Field, ValidationError
class Refund(BaseModel):
"""Refund action a support agent may request."""
order_id: str = Field(pattern=r"^A\d{6}$")
amount: float = Field(gt=0, le=200) # larger refunds go to a human
# Two tool calls proposed by an LLM; the second follows instructions injected into a customer email
proposals = ['{"order_id": "A104233", "amount": 49.99}', '{"order_id": "A104233", "amount": 5000}']
# Action guardrail: execute only tool calls that pass the schema, block the rest
for proposal in proposals:
try:
refund = Refund.model_validate_json(proposal)
print(f"Executed refund of ${refund.amount} for {refund.order_id}")
except ValidationError as error:
print(f"Blocked: {error.errors()[0]['msg']}")第一次调用会打印 Executed refund of $49.99 for A104233，第二次会打印 Blocked: Input should be less than or equal to 200，因此无论注入的指令措辞多么有说服力，都无法传递到支付系统。
视觉流水线中的护栏#
视觉系统使用护栏来决定模型输出是否足够可信，可以据此采取行动。在 Ultralytics Platform Agents中，Gate 模块会根据 YOLO26结果中的条件控制下游执行：YOLO to VLM Monitor 模板只有在检测到至少一个人时才会运行视觉语言模型。医学影像和自动驾驶汽车也会采用相同模式，将不确定的发现转交给临床医生，并在感知失败时安全停车。
护栏与相关术语#
- AI 安全：防止 AI 造成危害的广泛领域。护栏是其部署时使用的工具之一。
- 宪法式 AI：将原则训练到模型本身。护栏则从外部强制执行规则，因此即使训练失败也能发挥作用。
- AI 治理：决定 AI 系统可以做什么的政策和法律。护栏则是在运行时执行这些决策的技术控制措施。
- AI 红队测试：通过攻击系统，找出护栏未能封堵的漏洞。
护栏也会牺牲速度和实用性：每个分类器都会增加推理延迟，而更严格的分类器会拒绝更多合理请求。Anthropic 的宪法分类器原型经受了超过 3,000 小时的漏洞赏金红队测试，期间没有出现通用越狱方法，但它拒绝了太多无害查询，而且计算开销过高。
