Data Poisoning
L’empoisonnement des données corrompt les données d’entraînement d’un modèle pour y implanter des portes dérobées, provoquer des erreurs ciblées ou réduire la précision, souvent avec une infime fraction des exemples.
L’empoisonnement des données est une attaque où un adversaire insère ou modifie des données d’entraînement afin qu’un modèle d’apprentissage automatique adopte le comportement souhaité par l’attaquant : une baisse générale de précision, des prédictions erronées sur des entrées choisies ou une porte dérobée cachée qui s’active en présence d’un motif déclencheur. L’attaque a lieu avant l’entraînement ; le modèle empoisonné est donc livré sans modification de son code et réussit souvent les tests habituels. Les modèles entraînés sur des données récupérées sur le Web, fournies par les utilisateurs ou achetées auprès de tiers sont vulnérables. C’est pourquoi le Top 10 OWASP des risques pour les applications de LLM inclut l’empoisonnement des données et des modèles parmi les dix risques associés aux applications de grands modèles de langage (LLM).
Types d’attaques par empoisonnement#
Les attaques se distinguent par leur objectif et par la présence éventuelle d’étiquettes erronées dans les exemples empoisonnés :
Les attaques contre la disponibilité injectent du bruit ou inversent des étiquettes afin de dégrader le modèle dans son ensemble, ce qui les rend faciles à repérer. Les attaques ciblées et par porte dérobée sont plus discrètes, car le modèle se comporte normalement pour presque toutes les entrées. Dans BadNets (2017), un classificateur de panneaux routiers a appris à interpréter comme des panneaux de limitation de vitesse les panneaux stop portant un petit autocollant. Les attaques à étiquettes correctes, comme l’attaque Poison Frogs d’Ali Shafahi et de ses collègues, conservent toutes les étiquettes exactes et modifient les images si subtilement qu’une personne chargée de vérifier le jeu de données ne remarque rien.
Une porte dérobée en quelques exemples#
L’attaque ci-dessous empoisonne le jeu de données de chiffres manuscrits de scikit-learn. Chaque copie empoisonnée d’un chiffre non nul porte une marque de trois pixels sur son bord gauche et l’étiquette 0. Une machine à vecteurs de support (SVM) est entraînée avec 0, 10, 20 ou 40 de ces copies ajoutées à 1 257 images d’entraînement saines :
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)
for n_poison in (0, 10, 20, 40):
# Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
poison[:, trigger] = 16
model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))
# Accuracy on clean test digits versus the share of triggered digits read as 0
attack = np.mean(model.predict(triggered) == 0)
print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")La précision sur les données saines reste à 0,991 à chaque exécution ; un jeu de données de validation sain ne révèle donc aucun signe de l’attaque. Le taux de réussite de l’attaque passe quant à lui de 0 % à 71 % avec 10 images empoisonnées, à 97 % avec 20 (soit 1,6 % du jeu d’entraînement), puis à 100 % avec 40.
Empoisonnement à l’échelle du Web#
Les grands jeux de données réduisent le coût de l’empoisonnement. Nicholas Carlini et ses collègues ont montré qu’empoisonner des jeux de données d’entraînement à l’échelle du Web est réalisable : des jeux de données tels que LAION-400M distribuent des URL d’images plutôt que les images elles-mêmes. Un attaquant aurait donc pu contrôler 0,01 % de LAION-400M ou de COYO-700M pour environ 60 dollars en achetant les domaines expirés visés par ces URL. Une seconde attaque, le devancement, consiste à modifier des pages participatives telles que Wikipédia juste avant qu’un instantané programmé ne les capture.
Les LLM ont besoin de très peu de documents empoisonnés. Dans une étude de 2025 menée par Anthropic, l’UK AI Security Institute et l’Alan Turing Institute, 250 documents contenant le déclencheur <SUDO> suivi de texte incohérent ont permis d’implanter de manière fiable une porte dérobée dans des modèles de 600 millions à 13 milliards de paramètres, qui produisaient alors du texte incohérent en présence du déclencheur. Le nombre de documents nécessaires est resté presque constant malgré la croissance des modèles et de leurs jeux de données ; pour le modèle le plus grand, ces 250 documents représentaient environ 0,00016 % des jetons d’entraînement. L’empoisonnement fonctionne aussi avec l’IA générative d’images : Nightshade, créé par l’Université de Chicago, corrompt un prompt spécifique dans Stable Diffusion SDXL avec moins de 100 images empoisonnées. Les artistes l’utilisent pour dissuader la récupération non autorisée de leurs œuvres.
Empoisonnement des données et attaques connexes#
- Attaques adversariales : Modifient les entrées au moment de l'inférence pour tromper un modèle entraîné normalement. L'empoisonnement modifie le modèle lui-même par l'intermédiaire de ses données d'entraînement.
- Injection de prompt : Dissimulée dans le texte lu par un LLM pendant qu'il répond, elle affecte une conversation plutôt que les poids.
- Agents dormants : LLM compromis qui dissimulent un comportement nuisible jusqu'à leur déclenchement. L'empoisonnement est un moyen de les créer, et Anthropic a montré que ces portes dérobées peuvent résister à l'entraînement de sécurité.
- Attaques par inférence d'appartenance : Extraient d'un modèle entraîné des informations sur ses données d'entraînement. L'empoisonnement inscrit des informations dans le modèle par leur intermédiaire.
Défenses#
Les défenses commencent par la provenance des données : savoir d'où vient chaque exemple et s'il a changé après vérification. Carlini et ses collègues recommandent de distribuer une empreinte cryptographique avec chaque URL afin que le contenu modifié après la curation ne puisse plus être validé. Le nettoyage des données supprime les doublons et les échantillons suspects, tandis que la détection des anomalies dans les caractéristiques internes d'un modèle entraîné peut révéler des exemples empoisonnés, comme dans la méthode des signatures spectrales de Brandon Tran, Jerry Li et Aleksander Madry, qui repère les exemples avec porte dérobée comme des valeurs aberrantes dans les représentations apprises. La confidentialité différentielle limite la mesure dans laquelle un seul exemple peut modifier un modèle, ce qui limite aussi l'effet de quelques exemples empoisonnés, et les systèmes d'apprentissage fédéré utilisent une agrégation robuste contre les clients qui soumettent des mises à jour empoisonnées.
Pour les jeux de données de vision par ordinateur, le suivi des modifications permet de détecter les altérations entre les cycles d'entraînement. Ultralytics Platform enregistre des versions immuables des jeux de données, et Compare Versions compte les images ajoutées, supprimées ou modifiées ainsi que les annotations ajoutées ou supprimées depuis une version précédente, en affichant chaque image modifiée avant et après avec ses étiquettes, de sorte qu'une image injectée ou une étiquette inversée apparaisse avant le prochain cycle d'entraînement YOLO26.










