获取 YOLO 许可
返回 Ultralytics 术语表

AI Red Teaming

AI 红队测试通过模拟对手和滥用行为攻击 AI 系统,以发现越狱漏洞、数据泄露、有害输出和鲁棒性缺陷。

AI 红队测试是一种结构化对抗测试,由人员和自动化工具扮演攻击者或滥用者,找出人工智能 (AI)系统可能失效、泄露数据或造成伤害的方式,以便在系统发布前发现问题。这个名称源自军事演习和网络安全领域,在这些领域中,红队会攻击组织的防御。AI 红队既测试模型行为,也测试其周边软件:例如,能否诱使大型语言模型 (LLM) 给出危险指示,能否操纵AI 智能体滥用工具,或者能否用贴纸欺骗计算机视觉模型。根据《欧盟人工智能法案》,具有系统性风险的通用 AI 模型提供商必须对其模型进行并记录对抗性测试。

AI 红队的工作方式#

演练从威胁模型开始:谁可能攻击或滥用系统,他们能获得什么,以及对于该应用来说哪些危害最重要。随后,测试人员会生成攻击、对目标系统发起攻击并评估响应。每次成功的攻击都会成为一项发现,并推动相应的缓解措施,例如额外的微调、新增AI 防护措施或收紧工具权限;之后还会再次攻击经过缓解的系统。

人工红队成员具备创造力和领域专业知识。Anthropic 研究人员发布了一个由众包工作者编写的38,961 条红队攻击数据集,攻击对象是参数量为 27 亿到 520 亿的模型。他们发现,随着模型规模增大,使用人类反馈强化学习 (RLHF)训练的模型越来越难以通过红队测试,而他们测试的其他模型类型并没有这种变化。自动化测试可以扩大搜索范围:DeepMind 研究人员使用一个语言模型为另一个模型生成测试用例,并从一个拥有 2,800 亿参数的聊天机器人中找出数万条冒犯性回复。Microsoft 的 PyRIT 和 NVIDIA 的 garak 等开源工具可以编写单轮和多轮攻击脚本并对回复评分,而 MITRE ATLAS 知识库则以 ATT&CK 框架的形式整理针对 AI 系统的对手战术。

红队会关注哪些问题#

  • 越狱: 通过提示、角色扮演或长对话,诱使模型生成安全训练本应禁止的内容。
  • 提示注入: 隐藏在文档、网页、电子邮件或图像中的指令,劫持基于 LLM 构建的应用或智能体。
  • 隐私泄露: 提取模型记住的个人数据或隐藏的系统提示,或证明某条特定记录曾出现在训练集中。
  • 有害偏见: 对人群进行刻板描述,或区别对待不同群体的输出。
  • 幻觉: 在用户会依据答案采取行动的场景(如法律或医疗问题)中,模型自信地给出错误陈述。
  • 危险能力: 在前沿模型发布前,由领域专家测试模型是否能为网络攻击或生物武器提供实质性帮助。

视觉模型红队测试#

视觉红队会寻找现实世界中的对抗攻击,例如用打印的图案块让检测器无法发现某个人;测试训练数据从未覆盖的光照和天气条件;以及检测通过数据投毒植入的后门触发器。一种简单的自动化方法是对图像应用一系列变换,并标记那些会改变模型识别结果的变换。下面的示例通过 predict 模式使用模拟夜间、雾天、运动模糊和摄像机倒置,对 Ultralytics YOLO26进行攻击。该模式可直接接收 OpenCV 图像,并统计模型在街景中仍能识别出多少人:

import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS

model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))

# Each attack simulates a condition the detector may meet after deployment
attacks = {
    "original": image,
    "night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
    "fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
    "motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
    "low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
    "upside down": cv2.flip(image, -1),
}

# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
    result = model(attacked, verbose=False)[0]
    print(f"{name}: {int((result.boxes.cls == 0).sum())} people")

在这次运行中,YOLO26 在夜间、雾天和画面倒置时仍能找到全部 4 个人,但强烈的运动模糊会使检测数量降至 2,低分辨率则会使数量降至 3。任何导致检测数量低于原始结果的条件都会成为一项发现;可以在训练期间通过数据增强模拟该条件、添加新的训练图像,或明确记录模型的部署限制来解决。

AI 红队测试与若干常被混淆的实践有所重叠:

  • 渗透测试: 探查网络和软件,寻找可利用的漏洞。AI 红队测试也会针对模型行为,而模型行为具有概率性,因此某个提示第一次失败后,重试时可能成功。
  • 基准测试: 在固定测试集上评估模型。红队会开放式地搜索失败案例,而成功的攻击往往会成为后续模型的测试集。
  • AI 安全: 更广泛地防止 AI 系统造成伤害的领域,会将红队测试与安全训练、可解释性研究以及已部署系统的监控结合起来。

Microsoft 的 AI 红队用八条要点总结了对 100 多款生成式 AI 产品进行红队测试的经验,其中包括“攻破 AI 系统不需要计算梯度”:提示工程等基础技术往往与基于梯度的攻击同样有效,而基于梯度的攻击需要完全访问模型,大多数商业 AI 系统并不提供这种访问权限。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来