Differential Privacy

La confidentialité différentielle (DP) est une définition mathématique de la confidentialité pour les algorithmes qui analysent des données : un algorithme est à confidentialité différentielle si la distribution de ses résultats change à peine lorsqu’on ajoute ou retire les données d’une personne. Tout ce qu’un observateur apprend à partir du résultat, il l’aurait appris presque autant sans les données de cette personne ; le résultat ne révèle donc presque rien qui lui soit propre. Cette méthode sert à publier des résultats d’analyse de données et à entraîner des modèles d’apprentissage automatique sur des données sensibles comme les images médicales et les frappes au clavier. Cynthia Dwork, Frank McSherry, Kobbi Nissim et Adam Smith ont présenté cette définition dans leur article de 2006, Calibrating Noise to Sensitivity in Private Data Analysis, un travail qui leur a valu le prix Gödel en 2017. Cette garantie tient face à des attaquants disposant de n’importe quelle quantité d’informations externes ; c’est là que l’anonymisation traditionnelle échoue : des enregistrements dépouillés de leurs identifiants peuvent être réidentifiés en les reliant à d’autres bases de données.

Epsilon, sensibilité et budget de confidentialité#

Un algorithme randomisé M est ε-différentiellement privé si, pour deux jeux de données quelconques D et D′ qui diffèrent d’un enregistrement et pour tout ensemble de résultats S, Pr[M(D) ∈ S] ≤ e^ε × Pr[M(D′) ∈ S]. Le paramètre epsilon (ε) limite l’influence d’une personne sur le résultat : plus sa valeur est faible, plus la confidentialité est forte et les résultats bruités. La version assouplie (ε, δ) permet que cette limite soit dépassée avec une probabilité infime δ, généralement bien inférieure à un divisé par le nombre d’enregistrements.

Le bruit est calibré en fonction de la sensibilité, c’est-à-dire de la variation maximale qu’un enregistrement peut provoquer dans un résultat. Un décompte varie d’au plus 1 ; le mécanisme de Laplace publie donc le décompte réel auquel s’ajoute un bruit de Laplace d’échelle 1/ε. La perte de confidentialité s’accumule également : répondre à k requêtes à ε chacune consomme jusqu’à k × ε au total. Les organisations fixent donc un budget de confidentialité pour un jeu de données et cessent d’y répondre une fois ce budget épuisé. L’extrait ci-dessous publie un même décompte à trois niveaux de confidentialité et mesure l’erreur, ainsi que la fréquence à laquelle un attaquant qui observe le résultat peut déterminer si une personne figurait dans les données :

import numpy as np

rng = np.random.default_rng(0)

# A count over 1,000 records, and a neighboring dataset with one person removed
true_count = 412
neighbor_count = true_count - 1

for epsilon in (0.1, 1.0, 10.0):
    # Laplace mechanism: a count has sensitivity 1, so the noise scale is 1 / epsilon
    released = true_count + rng.laplace(scale=1 / epsilon, size=100_000)
    released_neighbor = neighbor_count + rng.laplace(scale=1 / epsilon, size=100_000)

    # Utility: average error. Privacy: accuracy of guessing whether the person is included
    error = np.abs(released - true_count).mean()
    threshold = true_count - 0.5
    attack = ((released > threshold).mean() + (released_neighbor <= threshold).mean()) / 2
    print(f"epsilon={epsilon:<4} mean error={error:6.2f}  attacker accuracy={attack:.1%}")

Pour ε = 0,1, l’erreur moyenne est de 9,98 et l’attaquant a raison 52,5 % du temps, à peine mieux qu’à pile ou face. Pour ε = 1, l’erreur descend à 1,00 et l’attaquant atteint 69,5 % de réussite ; pour ε = 10, l’erreur est de 0,10 et l’attaquant réussit 99,7 % du temps. La précision maximale qu’un attaquant peut atteindre face à une publication ε-différentiellement privée est e^ε / (1 + e^ε) : elle atteint 52,5 % pour ε = 0,1 et 73,1 % pour ε = 1.

Entraînement à confidentialité différentielle#

DP-SGD, introduit par Martín Abadi et ses collègues chez Google en 2016, rend l’apprentissage profond différentiellement privé en modifiant la descente de gradient stochastique. Il écrête le gradient de chaque exemple d’entraînement à une norme maximale, afin qu’aucun exemple ne puisse à lui seul trop modifier les poids du modèle, ajoute un bruit gaussien aux gradients cumulés de chaque lot et utilise un outil de comptabilisation de la confidentialité pour suivre le ε total dépensé au cours de l’entraînement. Le résultat borne la quantité d’informations qu’un modèle entraîné peut mémoriser sur un exemple donné, ce qui limite directement les attaques par inférence d’appartenance. Le coût est une précision plus faible et davantage de calcul ; les modèles DP nécessitent donc généralement des lots et des jeux de données plus volumineux. Le VaultGemma de Google, publié en 2025, est un grand modèle de langage de 1 milliard de paramètres, préentraîné entièrement avec DP-SGD à ε ≤ 2.0 et δ ≤ 1.1e-10.

Des bibliothèques comme Opacus de Meta pour PyTorch calculent les gradients par exemple dont DP-SGD a besoin et rejettent les couches qui mélangent des informations entre exemples. La normalisation par lots en est un cas courant, car la valeur normalisée de chaque exemple dépend des autres exemples du lot. Un détecteur convolutif comme Ultralytics YOLO26, dont les blocs de convolution appliquent une normalisation par lots après chaque convolution, nécessite de remplacer ces couches par une normalisation par groupes avant l’entraînement avec DP-SGD ; Opacus effectue automatiquement ce remplacement.

Applications de la confidentialité différentielle#

• Statistiques officielles : le recensement américain de 2020 a été le premier recensement décennal à publier ses résultats sous le régime de la confidentialité différentielle.
• Confidentialité différentielle locale : RAPPOR de Google dans Chrome (2014) et les fonctionnalités iOS d’Apple (2016) ajoutent du bruit sur l’appareil avant que les données ne le quittent. L’entreprise peut ainsi connaître les tendances générales, comme les émojis populaires, sans recueillir les valeurs réelles des utilisateurs.
• Apprentissage fédéré : conserve les données sur les appareils ; l’ajout de DP aux mises à jour du modèle partagé limite ce qu’elles révèlent sur les données d’un utilisateur donné.
• Données synthétiques : les générateurs entraînés avec DP produisent des jeux de données partageables qui offrent la même garantie ε aux personnes présentes dans les données d’origine.

La confidentialité différentielle est une technique du domaine plus vaste de la confidentialité des données, et elle complète la sécurité des données et l’IA confidentielle, qui protègent les données contre les accès non autorisés pendant leur stockage et leur traitement. Le SP 800-226 du NIST, finalisé en mars 2025, fournit des lignes directrices pour évaluer les garanties de confidentialité différentielle et précise qu’une revendication portant sur ε n’a de sens qu’en précisant aussi l’unité de confidentialité protégée, par exemple un événement ou une personne.