获取 YOLO 许可
返回 Ultralytics 术语表

Data Poisoning

数据投毒会破坏模型的训练数据,以植入后门、造成针对性错误或降低准确率,往往只需影响极少量样本。

数据投毒是一种攻击,攻击者会插入或篡改训练数据,使机器学习模型学会攻击者想要的行为:整体准确率下降、在指定输入上给出错误预测,或植入仅在触发模式出现时启动的隐藏后门。攻击发生在训练前,因此投毒后的模型发布时,其代码并未发生变化,而且通常能通过常规测试。使用网络抓取数据、用户贡献数据或从第三方购买数据训练的模型都容易受到攻击,因此 OWASP 大语言模型应用十大风险将数据和模型投毒列为大语言模型(LLM)应用的十大风险之一。

投毒攻击的类型#

攻击者的目标不同,投毒样例是否带有错误标签也各不相同:

可用性攻击会注入噪声或翻转标签,以降低模型在所有场景中的表现,因此很容易被发现。定向攻击和后门攻击则更隐蔽,因为模型在几乎所有输入上都表现正常。在 BadNets(2017)中,街道标志分类器学会将贴有小贴纸的停止标志识别为限速标志。Ali Shafahi 等人提出的毒青蛙攻击等干净标签攻击会保留所有正确标签,而是对图像进行细微到人工审核数据集时察觉不到的扰动。

只需少量样例即可植入后门#

下面的攻击对 scikit-learn 的手写数字数据集进行投毒。每张被投毒的非零数字副本左侧边缘都有一个三像素标记,并被标记为 0;随后,系统分别使用添加了 0、10、20 和 40 张此类图像的 1,257 张干净训练图像来训练支持向量机(SVM):

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC

x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40]  # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)

for n_poison in (0, 10, 20, 40):
    # Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
    poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
    poison[:, trigger] = 16
    model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))

    # Accuracy on clean test digits versus the share of triggered digits read as 0
    attack = np.mean(model.predict(triggered) == 0)
    print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")

每次运行的干净准确率都保持在 0.991,因此干净的验证集无法显示任何攻击迹象;而攻击成功率则从 0% 开始,添加 10 张投毒图像后升至 71%,添加 20 张(占训练集的 1.6%)后升至 97%,添加 40 张后达到 100%。

网络规模数据集上的投毒#

大型数据集会降低投毒成本。Nicholas Carlini 等人证明,对网络规模训练数据集进行投毒是可行的:LAION-400M 等数据集分发的是图像 URL,而非图像本身,因此攻击者购买这些 URL 指向的过期域名,只需花费约 60 美元,就能控制 LAION-400M 或 COYO-700M 中 0.01% 的数据。另一种攻击叫作抢先修改,即在预定快照抓取维基百科等众包页面之前进行编辑。

大语言模型只需少量投毒文档就会受到影响。在 Anthropic、英国 AI 安全研究所和艾伦·图灵研究所开展的一项2025 年研究中,250 份包含触发词 <SUDO> 后接乱码的文档,就能可靠地在参数量从 6 亿到 130 亿的模型中植入后门,让模型在遇到触发词时输出乱码。随着模型和数据集增大,所需文档数量几乎保持不变;对于最大的模型,这 250 份文档约占其训练 token 的 0.00016%。投毒也适用于图像生成式 AI:芝加哥大学推出的 Nightshade 只需不到 100 张投毒图像,就能破坏 Stable Diffusion SDXL 对特定提示词的响应;艺术家会使用它来阻止他人未经授权抓取自己的作品。

  • 对抗攻击: 在推理时篡改输入,诱使正常训练的模型出错。投毒则通过训练数据改变模型本身。
  • 提示注入: 将指令藏在 LLM 回答时读取的文本中,从而影响单次对话,而不是模型权重。
  • 睡眠代理: 带有后门的 LLM,会隐藏有害行为,直到触发条件出现。投毒是创建这类模型的一种方式;Anthropic 展示了此类后门能够在安全训练后依然保留。
  • 成员推断攻击: 从训练好的模型中读取其训练记录相关信息。投毒则通过训练记录将信息写入模型。

防御措施#

防御始于数据溯源:了解每个样本的来源,以及样本在审核后是否发生变化。Carlini 及其同事建议为每个 URL 附上加密哈希,这样整理完成后被替换的内容就无法通过验证。数据清洗会删除重复和可疑样本;对训练模型的内部特征进行异常检测,也能找出投毒样本。Brandon Tran、Jerry Li 和 Aleksander Madry 提出的谱特征方法便是如此:它会在学习到的表示中将后门样本识别为离群点。差分隐私限制任何单个样本对模型的影响程度,因此也限制了少量投毒样本的影响;联邦学习系统则通过稳健聚合来抵御提交投毒更新的客户端。

对于计算机视觉数据集,变更跟踪可以发现训练轮次之间的篡改。Ultralytics Platform会保存不可变的数据集版本,而“比较版本”会统计自先前版本以来新增、删除或修改的图像,以及新增或删除的标注;它还会并排显示每张变更图像及其标签的前后状态,因此在下一轮 YOLO26 训练之前,就能发现被注入的图像或被翻转的标签。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来