Data Poisoning
数据投毒会破坏模型的训练数据,以植入后门、造成针对性错误或降低准确率,往往只需影响极少量样本。
数据投毒是一种攻击,攻击者会插入或篡改训练数据,使机器学习模型学会攻击者想要的行为:整体准确率下降、在指定输入上给出错误预测,或植入仅在触发模式出现时启动的隐藏后门。攻击发生在训练前,因此投毒后的模型发布时,其代码并未发生变化,而且通常能通过常规测试。使用网络抓取数据、用户贡献数据或从第三方购买数据训练的模型都容易受到攻击,因此 OWASP 大语言模型应用十大风险将数据和模型投毒列为大语言模型(LLM)应用的十大风险之一。
投毒攻击的类型#
攻击者的目标不同,投毒样例是否带有错误标签也各不相同:
可用性攻击会注入噪声或翻转标签,以降低模型在所有场景中的表现,因此很容易被发现。定向攻击和后门攻击则更隐蔽,因为模型在几乎所有输入上都表现正常。在 BadNets(2017)中,街道标志分类器学会将贴有小贴纸的停止标志识别为限速标志。Ali Shafahi 等人提出的毒青蛙攻击等干净标签攻击会保留所有正确标签,而是对图像进行细微到人工审核数据集时察觉不到的扰动。
只需少量样例即可植入后门#
下面的攻击对 scikit-learn 的手写数字数据集进行投毒。每张被投毒的非零数字副本左侧边缘都有一个三像素标记,并被标记为 0;随后,系统分别使用添加了 0、10、20 和 40 张此类图像的 1,257 张干净训练图像来训练支持向量机(SVM):
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)
for n_poison in (0, 10, 20, 40):
# Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
poison[:, trigger] = 16
model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))
# Accuracy on clean test digits versus the share of triggered digits read as 0
attack = np.mean(model.predict(triggered) == 0)
print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")每次运行的干净准确率都保持在 0.991,因此干净的验证集无法显示任何攻击迹象;而攻击成功率则从 0% 开始,添加 10 张投毒图像后升至 71%,添加 20 张(占训练集的 1.6%)后升至 97%,添加 40 张后达到 100%。
网络规模数据集上的投毒#
大型数据集会降低投毒成本。Nicholas Carlini 等人证明,对网络规模训练数据集进行投毒是可行的:LAION-400M 等数据集分发的是图像 URL,而非图像本身,因此攻击者购买这些 URL 指向的过期域名,只需花费约 60 美元,就能控制 LAION-400M 或 COYO-700M 中 0.01% 的数据。另一种攻击叫作抢先修改,即在预定快照抓取维基百科等众包页面之前进行编辑。
大语言模型只需少量投毒文档就会受到影响。在 Anthropic、英国 AI 安全研究所和艾伦·图灵研究所开展的一项2025 年研究中,250 份包含触发词 <SUDO> 后接乱码的文档,就能可靠地在参数量从 6 亿到 130 亿的模型中植入后门,让模型在遇到触发词时输出乱码。随着模型和数据集增大,所需文档数量几乎保持不变;对于最大的模型,这 250 份文档约占其训练 token 的 0.00016%。投毒也适用于图像生成式 AI:芝加哥大学推出的 Nightshade 只需不到 100 张投毒图像,就能破坏 Stable Diffusion SDXL 对特定提示词的响应;艺术家会使用它来阻止他人未经授权抓取自己的作品。
数据投毒与相关攻击的比较#
- 对抗攻击: 在推理时篡改输入,诱使正常训练的模型出错。投毒则通过训练数据改变模型本身。
- 提示注入: 将指令藏在 LLM 回答时读取的文本中,从而影响单次对话,而不是模型权重。
- 睡眠代理: 带有后门的 LLM,会隐藏有害行为,直到触发条件出现。投毒是创建这类模型的一种方式;Anthropic 展示了此类后门能够在安全训练后依然保留。
- 成员推断攻击: 从训练好的模型中读取其训练记录相关信息。投毒则通过训练记录将信息写入模型。
防御措施#
防御始于数据溯源:了解每个样本的来源,以及样本在审核后是否发生变化。Carlini 及其同事建议为每个 URL 附上加密哈希,这样整理完成后被替换的内容就无法通过验证。数据清洗会删除重复和可疑样本;对训练模型的内部特征进行异常检测,也能找出投毒样本。Brandon Tran、Jerry Li 和 Aleksander Madry 提出的谱特征方法便是如此:它会在学习到的表示中将后门样本识别为离群点。差分隐私限制任何单个样本对模型的影响程度,因此也限制了少量投毒样本的影响;联邦学习系统则通过稳健聚合来抵御提交投毒更新的客户端。
对于计算机视觉数据集,变更跟踪可以发现训练轮次之间的篡改。Ultralytics Platform会保存不可变的数据集版本,而“比较版本”会统计自先前版本以来新增、删除或修改的图像,以及新增或删除的标注;它还会并排显示每张变更图像及其标签的前后状态,因此在下一轮 YOLO26 训练之前,就能发现被注入的图像或被翻转的标签。










