Membership Inference Attacks

Une attaque par inférence d'appartenance tente de déterminer si une donnée précise faisait partie des données d'entraînement d'un modèle d'apprentissage automatique. L'attaquant possède déjà la donnée, par exemple un examen médical ou la photo d'une personne, et interroge le modèle pour décider si elle en est « membre » ou « non membre ». La seule appartenance peut être sensible, ce qui fait de ces attaques un risque majeur pour la confidentialité des données : si un modèle a été entraîné uniquement sur des patients atteints d'une maladie donnée, montrer que l'examen d'une personne appartenait à son jeu d'entraînement révèle son diagnostic. En 2017, Reza Shokri, Marco Stronati, Congzheng Song et Vitaly Shmatikov ont présenté les attaques par inférence d'appartenance contre les modèles d'apprentissage automatique et les ont démontrées sur des plateformes commerciales d'apprentissage automatique en tant que service de Google et d'Amazon.

Pourquoi les modèles révèlent l’appartenance#

Les modèles se comportent différemment sur les données utilisées pour leur entraînement. Ils attribuent généralement une perte plus faible et une confiance plus élevée aux exemples d'entraînement qu'aux exemples inédits, et cet écart s'accentue avec le surapprentissage. Les grands modèles qui mémorisent des exemples rares, des images dupliquées ou des valeurs aberrantes sont ceux qui divulguent le plus d'informations ; les modèles d'IA générative, notamment les grands modèles de langage (LLMs), peuvent révéler l'appartenance en reproduisant presque mot pour mot des images ou du texte d'entraînement.

L'attaque la plus simple consiste à appliquer un seuil à la perte : le modèle est réputé avoir vu un exemple lorsque sa perte sur celui-ci est anormalement faible. L'extrait ci-dessous entraîne dans PyTorch un petit classificateur à réseau neuronal sur 100 données aléatoires dotées d'étiquettes aléatoires, apprenables uniquement par mémorisation, puis attaque un mélange de ces données et de 100 données que le modèle n'a jamais vues :

import torch
import torch.nn.functional as F

torch.manual_seed(0)
x, y = torch.randn(200, 20), torch.randint(0, 2, (200,))
is_member = torch.arange(200) < 100  # the first 100 records form the training set

# Train a small classifier on the members only, long enough to memorize them
model = torch.nn.Sequential(torch.nn.Linear(20, 256), torch.nn.ReLU(), torch.nn.Linear(256, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
for _ in range(300):
    optimizer.zero_grad()
    F.cross_entropy(model(x[is_member]), y[is_member]).backward()
    optimizer.step()

# Loss-threshold attack: guess "member" for every record with below-median loss
with torch.no_grad():
    losses = F.cross_entropy(model(x), y, reduction="none")
guess = losses < losses.median()
print(f"attack accuracy: {(guess == is_member).float().mean():.2f}")

L'attaque attribue une étiquette correcte à 85 % des données, contre 50 % pour une sélection aléatoire. La perte de chaque membre est proche de zéro, mais 15 non-membres dont le modèle a prédit l'étiquette aléatoire avec une confiance encore plus élevée passent sous le seuil médian et font basculer 16 membres au-dessus. Les modèles qui généralisent mieux réduisent l'écart de perte, ce qui diminue la précision de l'attaque sans généralement l'éliminer.

Attaques plus puissantes et méthodes de mesure#

• Modèles fantômes : L’attaque originale de 2017 entraîne plusieurs modèles sur des données similaires dont l’appartenance est connue, puis entraîne un classifieur sur leurs sorties pour reconnaître les caractéristiques de l’appartenance.
• Attaques calibrées : L'attaque par rapport de vraisemblance (LiRA), publiée en 2022 par Nicholas Carlini et ses collègues, compare la perte d'une donnée à celle de modèles de référence entraînés avec et sans cette donnée. Elle révèle ainsi les valeurs aberrantes mémorisées qu'un seuil global unique ne détecte pas.
• Attaques fondées uniquement sur les étiquettes : même les API qui ne renvoient qu’une étiquette prédite divulguent des informations, car il faut généralement appliquer aux données des perturbations plus importantes pour inverser la prédiction d’un exemple membre, du type de celles recherchées par les attaques adversariales.

Comme la précision globale dissimule les quelques personnes les plus exposées, les audits de confidentialité indiquent le taux de vrais positifs à un taux de faux positifs très faible, par exemple 0.1 %. Des boîtes à outils de confidentialité open source peuvent générer des rapports d’inférence d’appartenance qui exécutent ces attaques sur un modèle entraîné et illustrent sa vulnérabilité aux différents points de contrôle de l’entraînement.

Attaques connexes contre la confidentialité#

L’inférence d’appartenance est la forme la plus étroite de fuite de données d’entraînement. L’inversion de modèle reconstruit des caractéristiques représentatives d’une classe ou d’une personne, l’inférence d’attributs complète un champ sensible manquant dans un dossier que l’attaquant connaît en partie, et l’extraction de données d’entraînement récupère du contenu textuel exact, comme du texte mémorisé. L’empoisonnement des données agit dans le sens inverse en corrompant le jeu d’entraînement plutôt qu’en le lisant. Les méthodes de désapprentissage automatique, qui tentent de supprimer l’influence d’un dossier après l’entraînement, utilisent l’inférence d’appartenance pour vérifier si le dossier laisse encore une trace. Comme l’appartenance est la plus petite unité de fuite, l’inférence d’appartenance est devenue la référence standard pour mesurer dans quelle mesure un processus d’entraînement expose des dossiers individuels.

Défenses#

La confidentialité différentielle est la défense qui offre une garantie formelle. L'entraînement avec DP-SGD, une variante de la descente de gradient stochastique utilisable dans PyTorch grâce à Opacus, écrête le gradient de chaque exemple et ajoute un bruit calibré. Cela borne mathématiquement l'influence d'une donnée sur le modèle et plafonne donc l'avantage de toutes les attaques par inférence d'appartenance, au prix d'une certaine perte de précision. Des mesures pratiques réduisent encore le risque : la régularisation, l'augmentation des données et l'arrêt anticipé limitent le surapprentissage ; la suppression des doublons empêche la mémorisation répétée d'une même image ou d'un même document ; les API publiques peuvent, quant à elles, renvoyer uniquement des étiquettes ou des scores de confiance arrondis.

Les courbes d'entraînement d'un modèle de vision sont le moyen le plus rapide de vérifier l'exposition. Lorsqu'un détecteur Ultralytics YOLO26 est affiné sur des images sensibles, comme des examens médicaux ou des badges d'employés, le mode entraînement consigne les pertes d'entraînement et de validation à chaque époque. Son argument patience, réglé sur 100 époques par défaut, arrête l'entraînement si la qualité de validation ne s'améliore pas pendant le nombre d'époques indiqué. Cela évite les époques tardives durant lesquelles la perte d'entraînement continue de diminuer alors que les résultats de validation stagnent, un écart exploité par les attaques fondées sur un seuil de perte.