Manipolazione dei dati

Il data poisoning è una minaccia alla sicurezza informatica in cui soggetti malintenzionati manipolano intenzionalmente i dati di addestramento utilizzati per costruire modelli di Machine Learning (ML). Corrompendo il set di dati prima che il modello venga addestrato, gli aggressori possono introdurre backdoor nascoste, indurre distorsioni o compromettere le prestazioni complessive del modello. A differenza di altri exploit di sicurezza che prendono di mira il codice di un sistema, gli attacchi di data poisoning prendono di mira il processo di apprendimento stesso, rendendoli incredibilmente difficili da detect il modello è stato implementato in ambienti di produzione . Secondo la panoramica sull'intelligence delle minacce di IBM, questi attacchi comportano gravi rischi per l'integrità e l'affidabilità dei sistemi di intelligenza artificiale.

I meccanismi dell'avvelenamento dell'IA

Man mano che le organizzazioni fanno sempre più affidamento sul Deep Learning (DL) e sui modelli linguistici di grandi dimensioni (LLM), spesso raccolgono da Internet enormi quantità di dati non verificati. Questa pratica crea opportunità per l’iniezione di dati, in cui gli aggressori inseriscono dati falsi o dannosi nei repository pubblici. Recenti studi sull'avvelenamento dell'IA del 2025 rivelano una realtà allarmante: anche per modelli massicci con miliardi di parametri, un aggressore deve solo manipolare un numero minimo e pressoché costante di campioni per compromettere il sistema.

L'avvelenamento dei modelli di linguaggio (LLM) si verifica quando specifiche frasi trigger vengono inserite nei testi che il modello elabora durante l'addestramento. Una volta implementato, il modello potrebbe funzionare normalmente fino a quando un utente non inserisce la frase trigger, causando l'aggiramento dei protocolli di sicurezza o la generazione di output dannosi. La ricercaAnthropic del 2025 sull'avvelenamento degli LLM dimostra che bastano appena 250 documenti avvelenati per creare una backdoor in un modello da 13 miliardi di parametri.

Applicazioni ed esempi nel mondo reale

Il data poisoning va oltre la generazione di testi e ha un forte impatto anche sui modelli di visione artificiale (CV). Ecco due esempi concreti di come questa minaccia si concretizzi nelle applicazioni reali:

• Come aggirare i modelli di arte generativa: Strumenti come il progetto Nightshade consentono agli artisti digitali di alterare leggermente i pixel delle loro opere prima di caricarle online. Quando un modello di IA generativa raccoglie queste immagini per l'addestramento, i pixel alterati agiscono come un veleno, portando il modello a classificare erroneamente i prompt in modo totale — ad esempio generando l'immagine di un gatto quando viene richiesto un'auto.
• Vulnerabilità dei veicoli a guida autonoma: Nei sistemi di rilevamento degli oggetti utilizzati per le auto a guida autonoma, un aggressore potrebbe alterare in modo impercettibile le immagini dei segnali di stop presenti in un set di dati di addestramento open source. Applicando un rumore visivo specifico, i dati di addestramento compromessi inducono il modello a interpretare erroneamente i segnali di stop come segnali di limite di velocità , comportando rischi catastrofici per la sicurezza.

Distinguere dagli attacchi avversari

Sebbene siano strettamente correlati, è importante distinguere il data poisoning dagli attacchi avversariali. Gli attacchi avversari avvengono durante l'inferenza: l'autore dell'attacco manipola i dati di input (come se appiccicasse un adesivo su un vero segnale di stop) per ingannare un modello già addestrato. Al contrario, l'avvelenamento dei dati avviene durante l'addestramento, alterando radicalmente la logica interna del modello fin dalle fondamenta. Affrontare entrambi i fenomeni richiede robusti protocolli di sicurezza dell'IA.

Riduzione dei rischi nello sviluppo dei modelli

Per difendersi da queste minacce è necessario un rigoroso monitoraggio dei modelli e l'utilizzo di dati di validazione autentici e affidabili per verificarne l'integrità. La valutazione di un modello rispetto a un set di dati verificato può aiutare i team a individuare cali di prestazioni inaspettati che potrebbero indicare manomissioni. Le best practice delineate dalla ricerca sulla sicurezza di OpenAI e dal progetto OWASP GenAI Security Project sottolineano l'importanza di una rigorosa tracciabilità dei dati e dell'utilizzo di set di dati curati piuttosto che di dati grezzi ottenuti tramite web scraping.

Durante la creazione e il collaudo dei modelli, i team dovrebbero avvalersi di framework consolidati come PyTorch o TensorFlow insieme a routine di validazione complete. È possibile validare facilmente il proprio modello Ultralytics rispetto a un set di dati pulito e affidabile per garantire che l'accuratezza non sia stata compromessa.

from ultralytics import YOLO

# Load a custom-trained Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a trusted dataset to detect performance drops
# Sudden decreases in precision/recall may indicate data poisoning
metrics = model.val(data="clean_validation_data.yaml")

print(f"mAP50-95: {metrics.box.map}")  # Review core metrics

Per i progetti di visione artificiale su larga scala, è fondamentale monitorare questi parametri nel corso di più cicli di addestramento. Gli sviluppatori possono analizzare i dati relativi alla valutazione dei modelli per comprendere le prestazioni di base e utilizzare la Ultralytics per annotare, addestrare e gestire i dati in modo sicuro senza ricorrere a fonti esterne non verificate. La combinazione di una curatela sicura dei dati con tecniche controllate di aumento dei dati contribuisce a garantire che i modelli rimangano accurati e resistenti alle manipolazioni esterne.