AI Red Teaming
Il red teaming dell'IA sottopone i sistemi IA ad attacchi simulati e a usi impropri per individuare jailbreak, fughe di dati, output dannosi e carenze di robustezza.
Il red teaming dell'IA è una procedura strutturata di test avversari in cui persone e strumenti automatizzati agiscono come aggressori o utenti malevoli per individuare i modi in cui un sistema di intelligenza artificiale (AI) può essere indotto a fallire, divulgare dati o causare danni prima del rilascio. Il nome deriva dalle esercitazioni militari e dalla cybersicurezza, dove un team rosso attacca le difese di un'organizzazione. I team rossi dell'IA verificano il comportamento del modello e il software che lo circonda: controllano se è possibile convincere un modello linguistico di grandi dimensioni (LLM) a fornire istruzioni pericolose, spingere un agente di IA a usare male i propri strumenti o ingannare un modello di visione artificiale con un adesivo. Ai sensi del regolamento europeo sull'intelligenza artificiale, i fornitori di modelli di IA per finalità generali con rischio sistemico devono condurre e documentare i test avversari sui propri modelli.
Come funziona un team rosso di IA#
Un'esercitazione parte da un modello di minaccia: chi potrebbe attaccare o usare impropriamente il sistema, quali vantaggi potrebbe ottenere e quali danni sono più rilevanti per la sua applicazione. I tester generano quindi gli attacchi, li provano sul sistema bersaglio e valutano le risposte. Ogni attacco riuscito diventa un risultato che guida una misura correttiva, come ulteriore perfezionamento, nuove protezioni per l'IA o autorizzazioni più restrittive per gli strumenti; poi si attacca di nuovo il sistema corretto.
I membri umani dei team rossi apportano creatività e competenze specifiche del settore. I ricercatori di Anthropic hanno pubblicato un dataset di 38.961 attacchi da red teaming scritti da collaboratori esterni contro modelli da 2,7 a 52 miliardi di parametri e hanno scoperto che i modelli addestrati con l'apprendimento per rinforzo dal feedback umano (RLHF) diventavano più difficili da attaccare con il red teaming man mano che crescevano, mentre gli altri tipi di modelli testati non mostravano questo comportamento. L'automazione amplia la ricerca: i ricercatori di DeepMind hanno usato un modello linguistico per generare casi di test per un altro, scoprendo decine di migliaia di risposte offensive in un chatbot da 280 miliardi di parametri. Strumenti open source come PyRIT di Microsoft e garak di NVIDIA automatizzano attacchi a uno o più turni e valutano le risposte; la base di conoscenze MITRE ATLAS catalogha le tattiche degli avversari contro i sistemi di IA secondo lo stile del framework ATT&CK.
Cosa cercano i team rossi#
- Jailbreak: Prompt, giochi di ruolo o conversazioni lunghe che inducono un modello a produrre contenuti che, secondo il suo addestramento di sicurezza, dovrebbe rifiutare.
- Iniezione di prompt: Istruzioni nascoste in documenti, pagine web, email o immagini che dirottano un'applicazione o un agente basato su un LLM.
- Violazioni della privacy: Estrazione di dati personali memorizzati o di un prompt di sistema nascosto, oppure dimostrazione che un record specifico era presente nel set di addestramento.
- Pregiudizi dannosi: Output che alimentano stereotipi sulle persone o trattano i gruppi in modo diverso.
- Allucinazioni: Affermazioni false espresse con sicurezza in contesti in cui gli utenti agiscono in base alla risposta, come le domande legali o mediche.
- Capacità pericolose: Assistenza significativa in attacchi informatici o nella produzione di armi biologiche, verificata da esperti del settore prima del rilascio di un modello all'avanguardia.
Red teaming dei modelli visivi#
I team rossi per la visione cercano attacchi avversari fisici, come adesivi stampati che nascondono una persona a un rilevatore, condizioni di illuminazione e meteo mai presenti nei dati di addestramento e trigger di backdoor inseriti tramite avvelenamento dei dati. Una semplice versione automatizzata applica a un'immagine un elenco di trasformazioni e segnala quelle che modificano ciò che il modello rileva. L'esempio seguente mette alla prova Ultralytics YOLO26 simulando notte, nebbia, sfocatura da movimento e una telecamera capovolta tramite la modalità di predizione, che accetta direttamente immagini OpenCV, e conta le persone ancora rilevate in una scena stradale:
import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS
model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))
# Each attack simulates a condition the detector may meet after deployment
attacks = {
"original": image,
"night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
"fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
"motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
"low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
"upside down": cv2.flip(image, -1),
}
# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
result = model(attacked, verbose=False)[0]
print(f"{name}: {int((result.boxes.cls == 0).sum())} people")In questa prova YOLO26 rileva ancora tutte e 4 le persone di notte, nella nebbia e a testa in giù, ma una forte sfocatura da movimento riduce il conteggio a 2 e la bassa risoluzione a 3. Ogni condizione in cui il conteggio scende sotto il valore originale diventa un risultato da affrontare con l'aumento dei dati, simulando la condizione durante l'addestramento, aggiungendo nuove immagini di addestramento oppure documentando i limiti degli ambienti in cui distribuire il modello.
Red teaming e pratiche correlate#
Il red teaming dell'IA ha punti in comune con diverse pratiche con cui viene spesso confuso:
- Test di penetrazione: Analizzano reti e software per individuare vulnerabilità sfruttabili. Il red teaming dell'IA prende di mira anche il comportamento del modello, che è probabilistico: un prompt che fallisce una volta può riuscire al tentativo successivo.
- Benchmark: Valutano un modello su un set di test fisso. I team rossi cercano liberamente i punti deboli e i loro attacchi riusciti diventano spesso set di test per i modelli successivi.
- Sicurezza dell'IA: Il campo più ampio che mira a impedire ai sistemi di IA di causare danni e che impiega il red teaming insieme all'addestramento per la sicurezza, alla ricerca sull'interpretabilità e al monitoraggio dei sistemi distribuiti.
Il team rosso di IA di Microsoft ha riassunto in otto punti le lezioni apprese dal red teaming di oltre 100 prodotti di IA generativa, tra cui il fatto che «non serve calcolare i gradienti per violare un sistema di IA»: tecniche di base come l'ingegneria dei prompt spesso funzionavano quanto gli attacchi basati sui gradienti, che richiedono l'accesso completo al modello, non disponibile per la maggior parte dei sistemi di IA commerciali.










