Data Poisoning
L'avvelenamento dei dati corrompe i dati di addestramento di un modello per inserire backdoor, causare errori mirati o ridurre la precisione, spesso con una frazione minima di esempi.
L'avvelenamento dei dati è un attacco in cui un aggressore inserisce o modifica dati di training affinché un modello di machine learning apprenda il comportamento desiderato dall'aggressore: una riduzione generalizzata dell'accuratezza, predizioni errate su input scelti o una backdoor nascosta che si attiva quando compare uno schema di trigger. L'attacco avviene prima del training, perciò il modello avvelenato viene distribuito senza alcuna modifica al codice e spesso supera i test ordinari. Sono esposti i modelli addestrati su dati estratti dal web, forniti dagli utenti o acquistati da terzi; per questo l'OWASP Top 10 per le applicazioni LLM include l'avvelenamento di dati e modelli tra i dieci rischi per le applicazioni basate su modelli linguistici di grandi dimensioni (LLM).
Tipi di attacchi di avvelenamento#
Gli attacchi si distinguono per l'obiettivo dell'aggressore e per il fatto che gli esempi avvelenati contengano o meno etichette errate:
Gli attacchi alla disponibilità inseriscono rumore o scambiano le etichette per peggiorare le prestazioni del modello ovunque, e sono quindi facili da notare. Gli attacchi mirati e quelli con backdoor sono più furtivi, perché il modello si comporta normalmente con quasi tutti gli input. In BadNets (2017), un classificatore di segnali stradali ha imparato a classificare come limiti di velocità i segnali di stop con un piccolo adesivo. Gli attacchi con etichette corrette, come l'attacco Poison Frogs di Ali Shafahi e colleghi, mantengono corretta ogni etichetta e modificano invece le immagini in modo così sottile che chi esamina il dataset non nota nulla di anomalo.
Una backdoor con pochi esempi#
L'attacco seguente avvelena il dataset di cifre scritte a mano di scikit-learn. Ogni copia avvelenata di una cifra diversa da zero presenta un segno di tre pixel sul bordo sinistro e l'etichetta 0; una macchina a vettori di supporto (SVM) viene addestrata aggiungendone 0, 10, 20 e 40 a 1.257 immagini di training pulite:
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)
for n_poison in (0, 10, 20, 40):
# Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
poison[:, trigger] = 16
model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))
# Accuracy on clean test digits versus the share of triggered digits read as 0
attack = np.mean(model.predict(triggered) == 0)
print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")L'accuratezza sui dati puliti rimane pari a 0,991 in tutte le esecuzioni, quindi un set di validazione pulito non mostra segni dell'attacco. Il tasso di successo dell'attacco passa invece dallo 0% al 71% con 10 immagini avvelenate, al 97% con 20 (l'1,6% del set di training) e al 100% con 40.
Avvelenamento su scala web#
I grandi dataset riducono il costo dell'avvelenamento. Nicholas Carlini e colleghi hanno dimostrato che avvelenare dataset di training su scala web è fattibile: dataset come LAION-400M distribuiscono URL di immagini anziché le immagini stesse, quindi acquistare i domini scaduti a cui puntano quegli URL avrebbe consentito a un aggressore di controllare lo 0,01% di LAION-400M o COYO-700M con circa 60 $. Un secondo attacco, il frontrunning, modifica pagine collaborative come Wikipedia poco prima che un'istantanea programmata le acquisisca.
Agli LLM bastano sorprendentemente pochi documenti avvelenati. In uno studio del 2025 condotto da Anthropic, dall'UK AI Security Institute e dall'Alan Turing Institute, 250 documenti contenenti il trigger <SUDO> seguito da testo senza senso hanno inserito in modo affidabile una backdoor in modelli da 600 milioni a 13 miliardi di parametri, facendogli produrre testo senza senso quando compariva il trigger. Il numero di documenti necessari è rimasto pressoché costante con la crescita dei modelli e dei dataset; per il modello più grande, i 250 documenti rappresentavano circa lo 0,00016% dei token di training. L'avvelenamento funziona anche con le immagini di IA generativa: Nightshade, dell'Università di Chicago, corrompe uno specifico prompt in Stable Diffusion SDXL con meno di 100 immagini avvelenate e viene usato dagli artisti per scoraggiare l'estrazione non autorizzata delle loro opere.
Avvelenamento dei dati e attacchi correlati#
- Attacchi avversari: Alterano gli input al momento dell'inferenza per ingannare un modello addestrato normalmente. Il poisoning modifica il modello stesso attraverso i dati di addestramento.
- Prompt injection: Nasconde istruzioni nel testo letto da un LLM mentre risponde, influenzando una singola conversazione anziché i pesi.
- Agenti dormienti: LLM con backdoor che nascondono comportamenti dannosi fino all'attivazione. Il poisoning è un modo per crearli e Anthropic ha dimostrato che queste backdoor possono sopravvivere all'addestramento di sicurezza.
- Attacchi di inferenza dell'appartenenza: Estraggono da un modello addestrato informazioni sui dati usati per il suo addestramento. Il poisoning inserisce informazioni nel modello attraverso quei dati.
Difese#
Le difese iniziano dalla provenienza dei dati: sapere da dove proviene ogni esempio e se è stato modificato dopo la revisione. Carlini e colleghi consigliano di distribuire un hash crittografico con ogni URL, così che i contenuti sostituiti dopo la selezione non superino la verifica. La pulizia dei dati rimuove i duplicati e i campioni sospetti, mentre il rilevamento delle anomalie nelle caratteristiche interne di un modello addestrato può individuare esempi avvelenati, come nel metodo delle firme spettrali di Brandon Tran, Jerry Li e Aleksander Madry, che individua gli esempi con backdoor come valori anomali nelle rappresentazioni apprese. La privacy differenziale limita quanto un singolo esempio possa modificare un modello, limitando anche l'effetto di pochi esempi avvelenati, mentre i sistemi di apprendimento federato usano un'aggregazione robusta contro i client che inviano aggiornamenti avvelenati.
Per i dataset di visione artificiale, il tracciamento delle modifiche rileva le manomissioni tra un'esecuzione di addestramento e l'altra. Ultralytics Platform salva versioni dei dataset immutabili e Confronta versioni conta le immagini aggiunte, rimosse o modificate e le annotazioni aggiunte o rimosse rispetto a una versione precedente, mostrando ogni immagine modificata prima e dopo con le relative etichette, così che un'immagine inserita o un'etichetta invertita venga individuata prima della successiva esecuzione di addestramento di YOLO26.










