AI Red Teaming
AI 红队测试通过模拟对手和滥用行为攻击 AI 系统,以发现越狱漏洞、数据泄露、有害输出和鲁棒性缺陷。
AI 红队测试是一种结构化对抗测试,由人员和自动化工具扮演攻击者或滥用者,找出人工智能 (AI)系统可能失效、泄露数据或造成伤害的方式,以便在系统发布前发现问题。这个名称源自军事演习和网络安全领域,在这些领域中,红队会攻击组织的防御。AI 红队既测试模型行为,也测试其周边软件:例如,能否诱使大型语言模型 (LLM) 给出危险指示,能否操纵AI 智能体滥用工具,或者能否用贴纸欺骗计算机视觉模型。根据《欧盟人工智能法案》,具有系统性风险的通用 AI 模型提供商必须对其模型进行并记录对抗性测试。
AI 红队的工作方式#
演练从威胁模型开始:谁可能攻击或滥用系统,他们能获得什么,以及对于该应用来说哪些危害最重要。随后,测试人员会生成攻击、对目标系统发起攻击并评估响应。每次成功的攻击都会成为一项发现,并推动相应的缓解措施,例如额外的微调、新增AI 防护措施或收紧工具权限;之后还会再次攻击经过缓解的系统。
人工红队成员具备创造力和领域专业知识。Anthropic 研究人员发布了一个由众包工作者编写的38,961 条红队攻击数据集,攻击对象是参数量为 27 亿到 520 亿的模型。他们发现,随着模型规模增大,使用人类反馈强化学习 (RLHF)训练的模型越来越难以通过红队测试,而他们测试的其他模型类型并没有这种变化。自动化测试可以扩大搜索范围:DeepMind 研究人员使用一个语言模型为另一个模型生成测试用例,并从一个拥有 2,800 亿参数的聊天机器人中找出数万条冒犯性回复。Microsoft 的 PyRIT 和 NVIDIA 的 garak 等开源工具可以编写单轮和多轮攻击脚本并对回复评分,而 MITRE ATLAS 知识库则以 ATT&CK 框架的形式整理针对 AI 系统的对手战术。
红队会关注哪些问题#
- 越狱: 通过提示、角色扮演或长对话,诱使模型生成安全训练本应禁止的内容。
- 提示注入: 隐藏在文档、网页、电子邮件或图像中的指令,劫持基于 LLM 构建的应用或智能体。
- 隐私泄露: 提取模型记住的个人数据或隐藏的系统提示,或证明某条特定记录曾出现在训练集中。
- 有害偏见: 对人群进行刻板描述,或区别对待不同群体的输出。
- 幻觉: 在用户会依据答案采取行动的场景(如法律或医疗问题)中,模型自信地给出错误陈述。
- 危险能力: 在前沿模型发布前,由领域专家测试模型是否能为网络攻击或生物武器提供实质性帮助。
视觉模型红队测试#
视觉红队会寻找现实世界中的对抗攻击,例如用打印的图案块让检测器无法发现某个人;测试训练数据从未覆盖的光照和天气条件;以及检测通过数据投毒植入的后门触发器。一种简单的自动化方法是对图像应用一系列变换,并标记那些会改变模型识别结果的变换。下面的示例通过 predict 模式使用模拟夜间、雾天、运动模糊和摄像机倒置,对 Ultralytics YOLO26进行攻击。该模式可直接接收 OpenCV 图像,并统计模型在街景中仍能识别出多少人:
import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS
model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))
# Each attack simulates a condition the detector may meet after deployment
attacks = {
"original": image,
"night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
"fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
"motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
"low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
"upside down": cv2.flip(image, -1),
}
# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
result = model(attacked, verbose=False)[0]
print(f"{name}: {int((result.boxes.cls == 0).sum())} people")在这次运行中,YOLO26 在夜间、雾天和画面倒置时仍能找到全部 4 个人,但强烈的运动模糊会使检测数量降至 2,低分辨率则会使数量降至 3。任何导致检测数量低于原始结果的条件都会成为一项发现;可以在训练期间通过数据增强模拟该条件、添加新的训练图像,或明确记录模型的部署限制来解决。
红队测试与相关实践的比较#
AI 红队测试与若干常被混淆的实践有所重叠:
- 渗透测试: 探查网络和软件,寻找可利用的漏洞。AI 红队测试也会针对模型行为,而模型行为具有概率性,因此某个提示第一次失败后,重试时可能成功。
- 基准测试: 在固定测试集上评估模型。红队会开放式地搜索失败案例,而成功的攻击往往会成为后续模型的测试集。
- AI 安全: 更广泛地防止 AI 系统造成伤害的领域,会将红队测试与安全训练、可解释性研究以及已部署系统的监控结合起来。
Microsoft 的 AI 红队用八条要点总结了对 100 多款生成式 AI 产品进行红队测试的经验,其中包括“攻破 AI 系统不需要计算梯度”:提示工程等基础技术往往与基于梯度的攻击同样有效,而基于梯度的攻击需要完全访问模型,大多数商业 AI 系统并不提供这种访问权限。










