AI Safety

AI 安全是一个研究与工程领域，旨在防止人工智能 (AI)系统造成伤害，无论伤害来自意外、蓄意滥用，还是系统追求开发者无意设定的目标。它既涉及已部署的机器学习系统（例如自动驾驶汽车的感知栈或客户服务聊天机器人），也涉及实验室正在构建的能力更强的前沿 AI 模型和智能体。这项工作涵盖技术研究、测试实践，以及公司和政府用来判断系统是否安全到足以发布的框架。

AI 安全的核心问题#

Google Brain、OpenAI、Stanford 和 UC Berkeley 的研究人员在 2016 年发表论文《AI 安全中的具体问题》，将机器学习中的意外归纳为五个研究问题，并以清洁机器人为例说明；这些问题至今仍是该领域的重要框架：

• 避免负面副作用： 如果机器人只因地板干净而获得奖励，它就没有理由避免在清洁时撞倒花瓶。
• 奖励作弊： 满足目标的字面要求，却破坏目标本意；例如用摄像头无法透视的材料盖住脏乱处。
• 可扩展监督： 当检查每个操作都过于昂贵时，如何训练出良好行为；例如只偶尔询问人类房间有多干净。
• 安全探索： 允许学习智能体尝试新操作，同时避免尝试灾难性操作；例如把湿拖把插进电源插座。
• 对分布偏移的鲁棒性： 识别不同于训练环境的输入，并谨慎应对；例如机器人在办公室接受训练后转移到工厂车间。

每个问题后来都发展成了独立的研究领域。可扩展监督成为超级对齐研究的核心方向之一，即研究如何监督能力超过监督者的系统；安全探索是强化学习中的一个约束；而在生产系统中，分布偏移会表现为数据漂移。

AI 风险的来源#

Google DeepMind 在 2025 年发表的论文《技术通用人工智能安全与保障方法》，按造成伤害的责任主体或原因，将严重风险分为四类：

每一类风险都需要不同的防护措施。针对滥用，可通过拒绝训练、AI 防护机制以及限制危险能力的访问来应对。失准难以测试，因为失准模型在受到观察时可能表现良好：研究发现，训练期间会出现对齐伪装，模型会在评估中故意低报能力，经过安全训练后仍存活的带后门休眠智能体，以及狭窄微调后出现的涌现失准。通过提高鲁棒性、测试和监控可以减少错误；结构性风险（例如众多开发者之间的竞争或多个 AI 智能体之间的交互所产生的伤害）则主要需要依靠治理来应对。

实践中的方法#

安全工作贯穿模型的整个生命周期。在训练期间，基于人类反馈的强化学习 (RLHF)和宪法式 AI会塑造模型会做什么以及不会做什么。发布前，AI 红队测试和危险能力评估会探查潜在故障；机制可解释性则会检查内部计算，寻找仅凭输出无法发现的目标。Anthropic 的负责任扩展政策等前沿安全框架，会规定能力阈值；模型达到这些阈值后，就需要更强的安全措施和部署防护。

部署后，模型监控能够捕捉模型从未测试过的输入。Ultralytics Platform 部署监控会绘制已部署YOLO26端点的置信度分布和平均置信度随时间的变化；如果移动摄像头或光照变化后置信度下降，就表明输入正在偏离训练数据。在物理世界中采取行动的系统还需要备用方案，例如为自动驾驶车辆定义的最低风险状态：当自动驾驶系统无法继续运行时，车辆会安全停车。

AI 安全与相关领域#

AI 安全与若干领域有所重叠，这些领域常常与 AI 安全混为一谈：

• AI 伦理： 探讨 AI 系统应该做什么、服务于谁，涵盖公平性、隐私和问责。偏见决策等危害同时属于这两个领域的关注范围。
• AI 安全防护： 通过防御对抗样本、数据投毒、提示注入和模型窃取，保护 AI 系统免受攻击者侵害。
• AI 对齐： AI 安全的一个子领域，关注如何让系统追求开发者预期的目标，从而应对上述失准问题。
• AI 治理： 决定如何构建和发布 AI 系统的法律、标准与内部政策，例如《欧盟 AI 法案》中的风险等级。

政策会不断改变这些领域的边界：2025 年 2 月，英国将其 AI 安全研究所更名为 AI 安全防护研究所。该政府机构负责在前沿模型发布前对其进行测试；更名旨在聚焦具有安全影响的风险，例如网络攻击、欺诈以及化学武器和生物武器的开发。