Differential Privacy

La privacy differenziale (DP) è una definizione matematica di privacy per gli algoritmi che analizzano dati: un algoritmo garantisce privacy differenziale se la distribuzione dei suoi risultati cambia appena quando il record di una singola persona viene aggiunto all'input o rimosso da esso. Qualunque cosa un osservatore impari dal risultato, l'avrebbe appresa quasi allo stesso modo anche senza i dati di quella persona, quindi il risultato non rivela quasi nulla che la riguardi nello specifico. La tecnica viene usata per pubblicare risultati di analisi dei dati e addestrare modelli di machine learning su dati sensibili come immagini mediche e input da tastiera. Cynthia Dwork, Frank McSherry, Kobbi Nissim e Adam Smith hanno introdotto la definizione nel loro articolo del 2006 Calibrazione del rumore in base alla sensibilità nell'analisi privata dei dati, lavoro che è valso loro il premio Gödel nel 2017. La garanzia vale anche contro aggressori in possesso di qualsiasi quantità di informazioni esterne: è qui che l'anonimizzazione tradizionale fallisce, perché i record privati dei loro identificativi possono essere reidentificati collegandoli ad altri database.

Epsilon, sensibilità e budget di privacy#

Un algoritmo randomizzato M è ε-differenzialmente privato se, per qualsiasi coppia di dataset D e D′ che differiscono per un record e per qualsiasi insieme di risultati S, Pr[M(D) ∈ S] ≤ e^ε × Pr[M(D′) ∈ S]. Il parametro epsilon (ε) limita quanto una persona può influire sul risultato: valori più bassi significano maggiore privacy e risultati più rumorosi. La versione rilassata (ε, δ) consente che il limite venga superato con una probabilità δ molto piccola, in genere molto inferiore a uno diviso per il numero di record.

Il rumore viene calibrato in base alla sensibilità, ovvero la variazione massima che un singolo record può causare a un risultato. Un conteggio può variare al massimo di 1, quindi il meccanismo di Laplace restituisce il conteggio reale più rumore di Laplace con scala 1/ε. Anche la perdita di privacy si accumula: rispondere a k query con ε ciascuna comporta un costo totale massimo di k × ε, quindi le organizzazioni stabiliscono un budget di privacy per un dataset e smettono di rispondere una volta esaurito. Il frammento seguente restituisce un conteggio a tre livelli di privacy e misura sia l'errore sia la frequenza con cui un aggressore che vede il risultato riesce a capire se una persona era inclusa nei dati:

import numpy as np

rng = np.random.default_rng(0)

# A count over 1,000 records, and a neighboring dataset with one person removed
true_count = 412
neighbor_count = true_count - 1

for epsilon in (0.1, 1.0, 10.0):
    # Laplace mechanism: a count has sensitivity 1, so the noise scale is 1 / epsilon
    released = true_count + rng.laplace(scale=1 / epsilon, size=100_000)
    released_neighbor = neighbor_count + rng.laplace(scale=1 / epsilon, size=100_000)

    # Utility: average error. Privacy: accuracy of guessing whether the person is included
    error = np.abs(released - true_count).mean()
    threshold = true_count - 0.5
    attack = ((released > threshold).mean() + (released_neighbor <= threshold).mean()) / 2
    print(f"epsilon={epsilon:<4} mean error={error:6.2f}  attacker accuracy={attack:.1%}")

Con ε = 0,1 l'errore medio è 9,98 e l'aggressore indovina nel 52,5% dei casi, appena meglio di un lancio di moneta. Con ε = 1 l'errore scende a 1,00 e l'aggressore arriva al 69,5%; con ε = 10 l'errore è 0,10 e l'aggressore indovina nel 99,7% dei casi. La massima accuratezza che un aggressore può raggiungere contro un risultato ε-differenzialmente privato è e^ε / (1 + e^ε): il 52,5% con ε = 0,1 e il 73,1% con ε = 1.

Addestramento con privacy differenziale#

DP-SGD, introdotto da Martín Abadi e colleghi di Google nel 2016, rende il deep learning differenzialmente privato modificando la discesa del gradiente stocastica. Limita il gradiente di ogni esempio di addestramento a una norma massima, così nessun singolo esempio può spostare troppo i pesi del modello, aggiunge rumore gaussiano ai gradienti sommati di ogni batch e usa un contabile della privacy per tenere traccia del valore ε complessivo speso durante l'addestramento. Il risultato limita la quantità di informazioni su un singolo esempio che il modello addestrato può memorizzare e, di conseguenza, limita direttamente gli attacchi di inferenza sull'appartenenza. Il costo è una minore accuratezza e un maggiore carico di calcolo, perciò i modelli DP richiedono di solito batch e dataset più grandi. VaultGemma di Google, rilasciato nel 2025, è un modello linguistico di grandi dimensioni con un miliardo di parametri, preaddestrato interamente con DP-SGD a ε ≤ 2,0 e δ ≤ 1,1e-10.

Librerie come Opacus di Meta per PyTorch calcolano i gradienti per esempio richiesti da DP-SGD e rifiutano i livelli che mescolano informazioni tra esempi. Il caso più comune è la normalizzazione del batch, perché il valore normalizzato di ogni esempio dipende dal resto del batch. Un rilevatore convoluzionale come Ultralytics YOLO26, i cui blocchi convoluzionali applicano la normalizzazione del batch dopo ogni convoluzione, richiede che questi livelli siano sostituiti con la normalizzazione per gruppi prima di poter essere addestrato con DP-SGD; Opacus applica automaticamente la sostituzione ModuleValidator.fix().

Dove si usa la privacy differenziale#

• Statistiche ufficiali: il censimento statunitense del 2020 è stato il primo censimento decennale a pubblicare i risultati con privacy differenziale.
• Privacy differenziale locale: RAPPOR di Google in Chrome (2014) e le funzionalità di iOS di Apple (2016) aggiungono rumore sul dispositivo prima che i dati lo lascino, così l'azienda apprende tendenze aggregate, ad esempio quali emoji sono popolari, senza raccogliere i valori reali degli utenti.
• Apprendimento federato: conserva i dati sui dispositivi e l'aggiunta della DP agli aggiornamenti del modello condiviso limita ciò che rivelano sui dati di un singolo utente.
• Dati sintetici: i generatori addestrati con DP producono dataset condivisibili che garantiscono lo stesso valore ε alle persone presenti nei dati originali.

La privacy differenziale è una tecnica nell'ambito più ampio della privacy dei dati e integra la sicurezza dei dati e l'AI confidenziale, che proteggono i dati dagli accessi non autorizzati durante l'archiviazione e l'elaborazione. La SP 800-226 del NIST, finalizzata nel marzo 2025, fornisce linee guida per valutare le garanzie di privacy differenziale e avverte che un'affermazione relativa a ε è significativa solo se accompagnata dall'unità di privacy tutelata, ad esempio un evento o una persona.