Membership Inference Attacks

Un attacco di inferenza di appartenenza cerca di determinare se uno specifico record di dati facesse parte dei dati di addestramento di un modello di apprendimento automatico. L’aggressore possiede già il record, per esempio la scansione di un paziente o la foto di una persona, e interroga il modello per decidere se si tratta di un «membro» o di un «non membro». La sola appartenenza può essere sensibile, il che rende questi attacchi un rischio fondamentale per la privacy dei dati: se un modello è stato addestrato soltanto su pazienti affetti da una determinata malattia, dimostrare che la scansione di una persona era nel set di addestramento ne rivela la diagnosi. Nel 2017 Reza Shokri, Marco Stronati, Congzheng Song e Vitaly Shmatikov introdussero gli attacchi di inferenza di appartenenza contro i modelli di apprendimento automatico e li dimostrarono su piattaforme commerciali di ML come servizio di Google e Amazon.

Perché i modelli rivelano l'appartenenza#

I modelli si comportano diversamente sui dati con cui sono stati addestrati. In genere assegnano agli esempi di addestramento una perdita inferiore e una confidenza maggiore rispetto agli esempi mai visti, e il divario aumenta con l’overfitting. I modelli grandi che memorizzano esempi rari, immagini duplicate o valori anomali sono quelli che fanno trapelare più informazioni; i modelli di IA generativa, compresi i modelli linguistici di grandi dimensioni (LLM), possono rivelare l’appartenenza riproducendo immagini o testi di addestramento quasi alla lettera.

L’attacco più semplice applica una soglia alla perdita: ipotizza che un record sia un «membro» quando la perdita del modello su quel record è insolitamente bassa. Il frammento seguente addestra un piccolo classificatore a rete neurale in PyTorch su 100 record casuali con etichette casuali, che si possono apprendere solo memorizzandoli, quindi attacca un insieme di questi membri e di 100 record mai visti dal modello:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
x, y = torch.randn(200, 20), torch.randint(0, 2, (200,))
is_member = torch.arange(200) < 100  # the first 100 records form the training set

# Train a small classifier on the members only, long enough to memorize them
model = torch.nn.Sequential(torch.nn.Linear(20, 256), torch.nn.ReLU(), torch.nn.Linear(256, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
for _ in range(300):
    optimizer.zero_grad()
    F.cross_entropy(model(x[is_member]), y[is_member]).backward()
    optimizer.step()

# Loss-threshold attack: guess "member" for every record with below-median loss
with torch.no_grad():
    losses = F.cross_entropy(model(x), y, reduction="none")
guess = losses < losses.median()
print(f"attack accuracy: {(guess == is_member).float().mean():.2f}")

L’attacco etichetta correttamente l’85% dei record, mentre una scelta casuale ne indovinerebbe il 50%. La perdita di ogni membro è quasi zero, ma 15 non membri, le cui etichette casuali il modello ha previsto per caso con una confidenza ancora maggiore, scendono sotto la soglia mediana e spingono 16 membri sopra di essa. I modelli che generalizzano meglio riducono il divario delle perdite, abbassando l’accuratezza dell’attacco senza in genere eliminarlo.

Attacchi più efficaci e come vengono misurati#

• Modelli ombra: l'attacco originale del 2017 addestra diversi modelli su dati simili la cui appartenenza è nota, poi addestra un classificatore sui loro output per riconoscere come si presenta l'appartenenza.
• Attacchi calibrati: L’attacco del rapporto di verosimiglianza (LiRA), pubblicato nel 2022 da Nicholas Carlini e dai colleghi, confronta la perdita di un record con quella di modelli di riferimento addestrati con e senza quel record. In questo modo individua valori anomali memorizzati che una singola soglia globale non rileva.
• Attacchi basati solo sulle etichette: anche le API che restituiscono solo un’etichetta prevista possono divulgare informazioni, perché in genere servono perturbazioni dell’input più ampie per i campioni appartenenti al modello, del tipo ricercato dagli attacchi avversari, prima che la predizione cambi.

Poiché l'accuratezza complessiva nasconde le poche persone più esposte, gli audit sulla privacy riportano il tasso di veri positivi a un tasso di falsi positivi molto basso, per esempio 0.1%. I toolkit open source per la privacy possono generare report sull'inferenza dell'appartenenza eseguendo questi attacchi su un modello addestrato e tracciandone la vulnerabilità nei vari checkpoint di addestramento.

Attacchi alla privacy correlati#

L'inferenza di appartenenza è la forma più circoscritta di fuga di dati di addestramento. L'inversione del modello ricostruisce caratteristiche rappresentative di una classe o di una persona, l'inferenza degli attributi completa un campo sensibile mancante di un record che l'aggressore conosce in parte e l'estrazione dei dati di addestramento recupera contenuti verbatim, come testo memorizzato. L'avvelenamento dei dati opera nella direzione opposta, corrompendo il set di addestramento anziché leggerne i dati. I metodi di machine unlearning, che cercano di rimuovere l'influenza di un record dopo l'addestramento, usano l'inferenza di appartenenza per verificare se il record lasci ancora una traccia. Poiché l'appartenenza è l'unità minima di fuga, l'inferenza di appartenenza è diventata il parametro di riferimento per misurare quanto un processo di addestramento esponga i singoli record.

Difese#

La privacy differenziale è la difesa che offre una garanzia formale. L’addestramento con DP-SGD, una variante della discesa del gradiente stocastica disponibile per PyTorch tramite Opacus, limita il gradiente di ciascun esempio e aggiunge rumore calibrato, ponendo così un limite matematico a quanto un singolo record possa modificare il modello e, di conseguenza, al vantaggio di ogni attacco di inferenza di appartenenza, a scapito di una certa accuratezza. Misure pratiche riducono ulteriormente il rischio: la regolarizzazione, l’aumento dei dati e l’arresto anticipato limitano l’overfitting; rimuovere i record duplicati impedisce che la stessa immagine o lo stesso documento venga memorizzato più volte; le API pubbliche possono restituire solo etichette o punteggi di confidenza arrotondati.

Le curve di addestramento di un modello di visione sono il modo più rapido per verificare l’esposizione dei dati. Quando un rilevatore Ultralytics YOLO26 viene ottimizzato ulteriormente su immagini sensibili, come scansioni mediche o badge dei dipendenti, la modalità di addestramento registra le perdite di addestramento e convalida a ogni epoca. Il suo argomento patience, impostato per impostazione predefinita su 100 epoche, interrompe l’addestramento quando la fitness di convalida non migliora per quel numero di epoche, evitando le epoche finali in cui la perdita di addestramento continua a scendere mentre i risultati di convalida si appiattiscono: è proprio questo divario che sfrutta un attacco basato sulla soglia della perdita.