AI Guardrails

AI 护栏是指技术和组织层面的控制措施，旨在将人工智能系统保持在预定义的安全、隐私和运行边界内。它们降低了诸如有害输出、提示词注入、未经授权的操作以及敏感数据泄露等风险。与更广泛的 AI 安全 不同，护栏是在模型推理之前、期间和之后应用的具体保护措施。NIST 生成式 AI 框架建议在整个 AI 生命周期中管理这些控制措施。(nist.gov)

Link to this sectionAI 护栏的工作原理#

护栏使用多个互补层，因为没有任何单一的过滤器可以解决所有的故障模式：

• 输入验证与内容过滤: 审查提示词、图像、文件和 API 请求，以防止恶意指令、违规内容或 数据隐私 泄露。
• 智能体工具控制: 限制 AI 智能体 可以访问的工具、权限范围，并要求对支付或数据库更改等高影响操作进行审批。
• 安全 AI 架构: 结合身份控制、基础设施安全、模型保护和人工监督，而不仅仅依赖系统提示词。
• 输出验证: 在下游软件使用响应之前，检查其是否遵循要求的模式、策略、置信度限制和业务规则。
• 生产环境监控: 检测意外行为、故障和 数据漂移。Ultralytics Platform 通过终端健康状态、延迟、请求、错误和日志信号来支持部署监控。

近期的研究强调了可衡量的评估。GuardBench 引入了一个涵盖大量安全数据集的大规模基准测试，而 ACL 2025 护栏教程 则强调了分层防御、安全评估和自动化的 AI 红队测试。(aclanthology.org)

Link to this section实际应用#

• 交通安全： 视觉系统可以检测行人与车辆，但当检测置信度低于批准的阈值时，会阻止自动驾驶动作。这支持了 NHTSA 自动驾驶车辆安全指南 所鼓励的故障安全行为。
• 医学影像： 诊断软件可以将不确定的发现转发给临床医生，而不是做出自主决策。FDA 数字健康卓越中心 为相关医疗软件提供监管，而 医疗保健领域的计算机视觉 通常使用人工复核来降低临床风险。

Link to this section视觉 AI 示例#

本示例使用 Ultralytics YOLO26 来防止低 置信度 的检测结果自动传递到下游逻辑：

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg", conf=0.25)[0]
approved = [box for box in result.boxes if float(box.conf) >= 0.70]
if len(approved) != len(result.boxes):
    print("Guardrail: send frame for human review")

此阈值只是其中一层；生产环境系统应将其与验证数据集、日志记录、访问控制以及 人机协同机器学习 结合使用。

Link to this section当前最佳实践#

采用深度防御，同时测试误通过和不必要的拒绝，并保持安全的后备状态。护栏也应具备适应性：AGrail 研究 探索了针对智能体的进化控制，而 LS-Guard 则提出了特定于模型的保护措施。多语言测试同样重要，正如 MrGuard 所展示的那样。更强的限制可能会降低可用性，因此团队应持续衡量安全性、延迟和任务完成情况，而不是将护栏视为一次性的配置。(aclanthology.org)