Membership Inference Attacks

Un ataque de inferencia de pertenencia intenta determinar si un registro de datos concreto formó parte de los datos de entrenamiento de un modelo de aprendizaje automático. El atacante ya tiene el registro —por ejemplo, el escáner de un paciente o la foto de una persona— y consulta el modelo para decidir si pertenece o no al conjunto. La mera pertenencia puede ser sensible, lo que convierte estos ataques en un riesgo fundamental para la privacidad de los datos: si un modelo se entrenó únicamente con pacientes que padecen una enfermedad concreta, demostrar que el escáner de alguien estaba en su conjunto de entrenamiento revela su diagnóstico. En 2017, Reza Shokri, Marco Stronati, Congzheng Song y Vitaly Shmatikov presentaron los ataques de inferencia de pertenencia contra modelos de aprendizaje automático y los demostraron en plataformas comerciales de aprendizaje automático como servicio de Google y Amazon.

Por qué los modelos revelan la pertenencia#

Los modelos se comportan de forma distinta con los datos con los que se han entrenado. Normalmente asignan una pérdida más baja y una confianza mayor a los ejemplos de entrenamiento que a los que no han visto, y la diferencia aumenta con el sobreajuste. Los modelos grandes que memorizan ejemplos poco frecuentes, imágenes duplicadas o valores atípicos son los que más información filtran, y los modelos de IA generativa, incluidos los modelos de lenguaje grandes (LLM), pueden revelar su pertenencia reproduciendo imágenes o textos de entrenamiento casi palabra por palabra.

El ataque más sencillo aplica un umbral a la pérdida: predice que un registro pertenece al conjunto siempre que la pérdida del modelo para ese registro sea inusualmente baja. El siguiente fragmento entrena un pequeño clasificador de red neuronal en PyTorch con 100 registros aleatorios y etiquetas aleatorias, que solo se pueden aprender memorizándolas; después, ataca una mezcla de esos registros y otros 100 que el modelo nunca ha visto:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
x, y = torch.randn(200, 20), torch.randint(0, 2, (200,))
is_member = torch.arange(200) < 100  # the first 100 records form the training set

# Train a small classifier on the members only, long enough to memorize them
model = torch.nn.Sequential(torch.nn.Linear(20, 256), torch.nn.ReLU(), torch.nn.Linear(256, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
for _ in range(300):
    optimizer.zero_grad()
    F.cross_entropy(model(x[is_member]), y[is_member]).backward()
    optimizer.step()

# Loss-threshold attack: guess "member" for every record with below-median loss
with torch.no_grad():
    losses = F.cross_entropy(model(x), y, reduction="none")
guess = losses < losses.median()
print(f"attack accuracy: {(guess == is_member).float().mean():.2f}")

El ataque clasifica correctamente el 85 % de los registros, frente al 50 % que obtendría una elección aleatoria. La pérdida de cada elemento del conjunto es casi cero, pero 15 elementos ajenos al conjunto cuya etiqueta aleatoria el modelo ha predicho con aún más confianza quedan por debajo del umbral de la mediana y hacen que 16 elementos del conjunto lo superen. Los modelos que generalizan mejor reducen la diferencia de pérdidas, lo que disminuye la precisión del ataque, aunque normalmente no lo elimina.

Ataques más potentes y cómo se miden#

• Modelos sombra: El ataque original de 2017 entrena varios modelos con datos similares cuya pertenencia se conoce y, después, entrena un clasificador con sus resultados para que aprenda a reconocer cómo es la pertenencia.
• Ataques calibrados: El ataque de razón de verosimilitudes (LiRA), publicado en 2022 por Nicholas Carlini y sus colegas, compara la pérdida de un registro con la de modelos de referencia entrenados con y sin ese registro. Así revela valores atípicos memorizados que un único umbral global no detectaría.
• Ataques basados solo en etiquetas: Las API que solo devuelven una etiqueta predicha también filtran información, porque los miembros suelen necesitar perturbaciones de entrada mayores, como las que buscan los ataques adversarios, para que cambie su predicción.

Como la precisión general oculta a las pocas personas más expuestas, las auditorías de privacidad informan de la tasa de verdaderos positivos con una tasa de falsos positivos muy baja, como el 0.1%. Los kits de herramientas de privacidad de código abierto pueden generar informes de inferencia de pertenencia que ejecutan estos ataques contra un modelo entrenado y representan gráficamente su vulnerabilidad en distintos puntos de control del entrenamiento.

Ataques de privacidad relacionados#

La inferencia de pertenencia es la forma más limitada de filtración de datos de entrenamiento. La inversión de modelos reconstruye características representativas de una clase o una persona; la inferencia de atributos completa un campo sensible que falta en un registro que el atacante conoce parcialmente; y la extracción de datos de entrenamiento recupera contenido literal, como texto memorizado. El envenenamiento de datos funciona en sentido contrario: corrompe el conjunto de entrenamiento en lugar de leerlo. Los métodos de desaprendizaje automático, que intentan eliminar la influencia de un registro después del entrenamiento, utilizan la inferencia de pertenencia para comprobar si el registro sigue dejando huella. Como la pertenencia es la unidad mínima de filtración, la inferencia de pertenencia se ha convertido en el criterio estándar para medir cuánto expone un proceso de entrenamiento los registros individuales.

Defensas#

La privacidad diferencial es la defensa que ofrece una garantía formal. El entrenamiento con DP-SGD, una variante del descenso de gradiente estocástico disponible para PyTorch a través de Opacus, recorta el gradiente de cada ejemplo y añade ruido calibrado. Esto limita matemáticamente cuánto puede cambiar el modelo por un único registro y, por tanto, acota la ventaja de todos los ataques de pertenencia, aunque con cierto coste en precisión. Otras medidas prácticas reducen aún más el riesgo: la regularización, el aumento de datos y la detención temprana limitan el sobreajuste; eliminar los registros duplicados evita que se memorice varias veces una misma imagen o documento, y las API públicas pueden devolver únicamente etiquetas o puntuaciones de confianza redondeadas.

Las curvas de entrenamiento de un modelo de visión son el lugar más rápido donde comprobar la exposición. Al ajustar un detector Ultralytics YOLO26 con imágenes sensibles, como escáneres médicos o credenciales de empleados, el modo de entrenamiento registra las pérdidas de entrenamiento y validación en cada época. Su argumento patience, que de forma predeterminada permite 100 épocas, detiene el entrenamiento cuando la aptitud de validación no ha mejorado durante ese número de épocas; así se interrumpen las últimas épocas, en las que la pérdida de entrenamiento sigue bajando mientras los resultados de validación se estancan: la diferencia que aprovecha un ataque basado en un umbral de pérdida.