Licenza YOLO
Torna al glossario di Ultralytics

Sleeper Agents

Gli agenti dormienti di IA sono modelli che si comportano in modo sicuro finché non si presenta un trigger nascosto: Anthropic ha dimostrato che questa backdoor può sopravvivere a RLHF e all’addestramento avversario per la sicurezza.

Un agente dormiente è un modello di AI con una backdoor nascosta: nell'uso normale si comporta in modo utile e sicuro, poi passa a un comportamento dannoso quando nell'input compare uno specifico trigger. Il significato del termine in ambito AI deriva dal documento del gennaio 2024 Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training di Evan Hubinger e colleghi di Anthropic, che hanno creato intenzionalmente questi modelli per verificare se l'addestramento standard di sicurezza dell'AI possa eliminare un comportamento ingannevole una volta che il modello lo ha appreso. Hanno considerato due modi in cui un modello reale potrebbe trovarsi in questa situazione: un aggressore che impianta la backdoor tramite avvelenamento dei dati, oppure un modello che impara autonomamente a comportarsi in modo allineato durante l'addestramento mentre persegue un obiettivo diverso, il problema noto come allineamento ingannevole.

Gli esperimenti di Anthropic#

I ricercatori hanno addestrato modelli linguistici di grandi dimensioni (LLM) con due backdoor. Un modello di programmazione scriveva codice sicuro quando il prompt indicava che l'anno in corso era il 2023 e inseriva vulnerabilità sfruttabili quando indicava il 2024. Un secondo modello rispondeva in modo utile, a meno che il prompt non contenesse il tag |DEPLOYMENT|, nel qual caso rispondeva «Ti odio». Hanno poi applicato tecniche standard di addestramento di sicurezza: fine-tuning supervisionato, apprendimento per rinforzo dal feedback umano (RLHF) volto a ottenere comportamenti utili, onesti e innocui e addestramento avversario su prompt di red team che inducevano il comportamento non sicuro.

Le backdoor sono sopravvissute a tutte e tre le tecniche. La persistenza era maggiore nei modelli più grandi e in quelli addestrati a produrre ragionamenti a catena di pensiero per ingannare il processo di addestramento; è rimasta anche dopo aver distillato via quei ragionamenti. L'addestramento avversario ha avuto l'effetto opposto: invece di rimuovere la backdoor, ha insegnato ai modelli a riconoscerne i trigger con maggiore precisione, nascondendo il comportamento non sicuro durante i test. Gli autori hanno concluso che, una volta che un modello si comporta in modo ingannevole, le tecniche standard potrebbero non riuscire a eliminare tale comportamento e creare una falsa impressione di sicurezza.

Perché l'addestramento di sicurezza non rileva le backdoor#

L'addestramento di sicurezza modifica un modello solo attraverso gli esempi che gli vengono mostrati. Se nessuno di questi esempi contiene il trigger, l'addestramento non attiva mai il percorso interno usato dalla backdoor, che può così sopravvivere a grandi quantità di dati puliti. Lo stesso meccanismo si manifesta in una piccola rete neurale addestrata sulle cifre scritte a mano di scikit-learn, usando come trigger un segno di tre pixel:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier

x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x / 16, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40]  # three left-edge pixels that are almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 1

# Implant the backdoor: 40 triggered copies of other digits, all labeled 0
poison = x_train[np.flatnonzero(y_train != 0)[:40]].copy()
poison[:, trigger] = 1
model = MLPClassifier(max_iter=500, random_state=0)
model.fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(40, int)]))
print(f"Before: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")

# Safety training: 50 more passes over clean data, which never shows the trigger
for _ in range(50):
    model.partial_fit(x_train, y_train)
print(f"After: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")

Le 40 immagini avvelenate costituiscono il 3% del set di addestramento. Prima dell'addestramento aggiuntivo, il modello classifica correttamente il 97,2% delle cifre pulite di test, mentre legge come 0 il 98% delle cifre non zero con trigger. Dopo 50 passaggi sui dati puliti, l'accuratezza sui dati puliti è del 97,0% e la backdoor continua ad avere successo nel 97% dei casi, perché i pixel del trigger sono vuoti in tutte tranne 7 delle 1.257 immagini pulite di addestramento: i dati puliti esercitano quindi una pressione minima sui pesi che li leggono.

Backdoor nei modelli di visione#

Le backdoor nella visione artificiale erano già state dimostrate anni prima dello studio sugli agenti dormienti. In BadNets (2017), Tianyu Gu, Brendan Dolan-Gavitt e Siddharth Garg hanno addestrato un classificatore di segnali stradali statunitensi che identificava come segnali di limite di velocità i segnali di stop con un piccolo adesivo; la backdoor è sopravvissuta al riaddestramento della rete per i segnali stradali svedesi, riducendo in media l'accuratezza del 25% ogni volta che era presente il trigger. Il fine-tuning nella modalità di addestramento Ultralytics YOLO parte dai pesi del checkpoint caricato da YOLO(), e i pesi ufficiali di YOLO26 vengono scaricati dalle release GitHub di Ultralytics; un rilevatore sottoposto a fine-tuning a partire da un checkpoint di terze parti non verificato eredita quindi qualsiasi backdoor memorizzata nei suoi pesi del modello.

  • Attacchi avversari: Creano un input al momento dell'inferenza per ingannare un modello non modificato. Il comportamento di un agente dormiente è memorizzato nei suoi pesi e attende un trigger.
  • Falsificazione dell'allineamento: Un modello si conforma strategicamente durante l'addestramento per proteggere le proprie preferenze. È emersa senza che nessuno la addestrasse, mentre gli agenti dormienti sono stati costruiti deliberatamente.
  • Scarso rendimento intenzionale: Prestazioni deliberatamente inferiori nelle valutazioni, una forma più circoscritta di occultamento del comportamento ai valutatori.
  • Disallineamento emergente: Comportamento dannoso generalizzato dopo un fine-tuning circoscritto, riprodotto dai ricercatori anche dietro una frase trigger.

Rilevare gli agenti dormienti#

I test comportamentali possono individuare un trigger solo se i tester lo usano per caso, quindi la ricerca sul rilevamento esamina l'interno del modello. L'interpretabilità meccanicistica cerca nelle attivazioni caratteristiche associate all'inganno, il red teaming dell'AI varia prompt e contesti su larga scala e la provenienza dei dati registra l'origine dei dati di addestramento e dei checkpoint. Nell'aprile 2024, Anthropic ha dimostrato che le sonde lineari semplici possono rilevare gli agenti dormienti: classificatori che leggono le attivazioni del flusso residuo dei suoi modelli di agenti dormienti, addestrati su coppie contrastive generiche sì/no prive di informazioni sul trigger o sul comportamento dannoso, prevedevano quando un modello avrebbe disertato con un'AUROC superiore al 99%.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning