Machine Unlearning

Il disapprendimento nei modelli è il processo che rimuove l'influenza di specifici dati di addestramento da un modello di apprendimento automatico addestrato, così che il modello si comporti come se non avesse mai visto quegli esempi. L'obiettivo è replicare il comportamento di un modello riaddestrato da zero senza quei dati, impiegando molte meno risorse di calcolo rispetto a un riaddestramento completo. Le richieste di oblio derivano dalla normativa sulla protezione dei dati, come il diritto alla cancellazione previsto dall'articolo 17 del GDPR, dalle rivendicazioni relative al diritto d'autore, da dati che in seguito si scoprono etichettati in modo errato o avvelenati e dai tentativi di rimuovere conoscenze pericolose dai modelli linguistici di grandi dimensioni (LLMs).

Perché eliminare i dati non basta#

La discesa del gradiente distribuisce ciò che un modello apprende da ogni esempio tra i suoi pesi, quindi eliminare le immagini o i documenti originali dall'archivio non cancella quanto appreso. I modelli possono inoltre conservare tracce recuperabili di singoli esempi: gli attacchi di inferenza dell'appartenenza verificano se un dato record era presente nell'insieme di addestramento, mentre i modelli linguistici di grandi dimensioni possono riprodurre alla lettera passaggi memorizzati. Le autorità di regolamentazione considerano il modello stesso un prodotto dei dati. Nel 2021, in seguito a un accordo transattivo, la Federal Trade Commission statunitense ha imposto al produttore dell'app fotografica Everalbum di eliminare i modelli e gli algoritmi di riconoscimento facciale realizzati con le foto degli utenti senza un consenso adeguato: un provvedimento oggi chiamato confisca degli algoritmi.

Oblio selettivo esatto e approssimativo#

L'oblio selettivo esatto produce un modello estratto dalla stessa distribuzione di quello riaddestrato senza i dati da dimenticare. Il riaddestramento da zero è il riferimento; il framework SISA di Bourtoule et al. lo rende meno costoso suddividendo (Sharding) l'insieme di addestramento in shard, addestrando un modello isolato (Isolated) su ogni shard, suddividendo (Slicing) ogni shard in fasi con checkpoint e aggregando (Aggregating) le predizioni dei modelli degli shard. Una richiesta di cancellazione comporta quindi il riaddestramento solo dello shard che conteneva l'esempio:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# SISA: split the training set into isolated shards and train one model per shard
shards = np.array_split(np.arange(len(X_train)), 5)
models = [LogisticRegression(max_iter=5000).fit(X_train[s], y_train[s]) for s in shards]

# Honor a deletion request for training sample 123 by retraining only the shard that held it
k = next(i for i, s in enumerate(shards) if 123 in s)
shards[k] = shards[k][shards[k] != 123]
models[k] = LogisticRegression(max_iter=5000).fit(X_train[shards[k]], y_train[shards[k]])

# Aggregate the shard models by majority vote
votes = np.stack([m.predict(X_test) for m in models])
pred = np.array([np.bincount(v).argmax() for v in votes.T])
print(f"Retrained {len(shards[k])} of {len(X_train)} samples, test accuracy {(pred == y_test).mean():.3f}")

Lo script stampa Retrained 251 of 1257 samples, test accuracy 0.957: la cifra da dimenticare non è mai stata usata dal modello riaddestrato sullo shard, e la cancellazione è costata un quinto di un riaddestramento completo. Il costo si paga in anticipo, perché ciascun modello dello shard vede meno dati: nella classificazione ImageNet, l'articolo ha misurato un'accelerazione del riaddestramento di 1.36x con una lieve perdita di accuratezza, rispetto a 4.63x sul più semplice dataset Purchase.

L'oblio selettivo approssimativo modifica invece un modello esistente, accettando che il risultato sia solo simile a quello riaddestrato. Tra i metodi più comuni ci sono la discesa del gradiente ascendente sull'insieme da dimenticare per aumentare la perdita, il fine-tuning sui dati conservati per riparare i danni collaterali e gli aggiornamenti basati sull'influenza che stimano come ciascun esempio abbia modificato i pesi. Per gli LLM, i ricercatori di Microsoft hanno rimosso da Llama 2 7B le conoscenze su Harry Potter con circa un'ora di fine-tuning su una GPU, mantenendo pressoché invariati i punteggi sui benchmark comuni.

Verificare se un modello ha dimenticato#

Una valutazione convincente confronta il modello dopo l'oblio selettivo con uno riaddestrato senza i dati. L'accuratezza sull'insieme da dimenticare dovrebbe scendere al livello del modello riaddestrato, non a zero, perché un modello che fallisce in modo evidente proprio sugli esempi eliminati rivela quali esempi sono stati cancellati. L'accuratezza sui dati conservati e sui dati di test dovrebbe restare stabile, mentre un attacco di inferenza dell'appartenenza sugli esempi dimenticati non dovrebbe superare il caso. Benchmark come TOFU, basato su biografie fittizie di autori, e WMDP, che misura conoscenze pericolose in biologia, chimica e sicurezza informatica, applicano questi test agli LLM.

I metodi approssimativi spesso nascondono le conoscenze invece di rimuoverle. Uno studio avversario ha rilevato che il fine-tuning su appena 10 esempi non correlati ripristinava la maggior parte delle capacità pericolose che RMU, un metodo di oblio selettivo per LLM tra i più avanzati, aveva soppresso. Solo i metodi esatti garantiscono la rimozione per costruzione.

Oblio selettivo nei modelli e termini correlati#

• Oblio catastrofico: perdita involontaria di conoscenze precedenti quando un modello viene addestrato su nuovi dati. L'oblio selettivo rimuove intenzionalmente le conoscenze scelte.
• Apprendimento continuo: aggiungere nuove conoscenze nel tempo senza perdere quelle precedenti. L'oblio selettivo opera nella direzione opposta.
• Modifica dei modelli: cambiare fatti o comportamenti specifici, ad esempio aggiornare chi ricopre una carica. L'oblio selettivo mira all'influenza di specifici esempi di addestramento e si valuta confrontando il risultato con un modello riaddestrato.
• Privacy differenziale: garanzia applicata durante l'addestramento che limita l'influenza di ogni singolo esempio sul modello e, di conseguenza, ciò che un aggressore potrebbe apprendere su un record da dimenticare in seguito.

L'oblio selettivo nella pratica#

Ogni cancellazione inizia individuando quali modelli sono stati addestrati sui dati:

Per i modelli di visione artificiale sottoposti a fine-tuning a partire da pesi preaddestrati che non hanno mai visto i dati eliminati, il riaddestramento completo è spesso sostenibile: un'attività molto più contenuta del preaddestramento di un LLM. In Ultralytics Platform, la scheda Models di ogni dataset elenca tutti i modelli addestrati su quel dataset e, per le esecuzioni che l'hanno salvata, la versione immutabile del dataset. In questo modo una richiesta di cancellazione può essere ricondotta ai modelli YOLO26 che hanno elaborato un'immagine, da riaddestrare poi su una nuova versione senza quell'immagine. Gli stessi passaggi di tracciamento e riaddestramento si applicano a un paziente che ritira il consenso all'uso delle scansioni nell'analisi delle immagini mediche e ai volti o alle targhe ripresi da telecamere di sicurezza che il proprietario di un modello accetta di eliminare.