Differential Privacy

La privacidad diferencial (DP) es una definición matemática de privacidad para algoritmos que analizan datos: un algoritmo es diferencialmente privado si la distribución de sus resultados apenas cambia cuando se añade o se elimina del conjunto de entrada el registro de una persona. Un observador habría aprendido casi lo mismo del resultado aunque no se hubieran usado los datos de esa persona, así que el resultado apenas revela información específica sobre ella. Se utiliza para publicar resultados de analítica de datos y entrenar modelos de aprendizaje automático con datos confidenciales, como imágenes médicas y entradas de teclado. Cynthia Dwork, Frank McSherry, Kobbi Nissim y Adam Smith introdujeron esta definición en su artículo de 2006 Calibrating Noise to Sensitivity in Private Data Analysis, trabajo por el que recibieron el premio Gödel en 2017. La garantía se mantiene frente a atacantes con cualquier cantidad de información externa; ahí es donde falla la anonimización tradicional: es posible volver a identificar registros sin datos identificativos relacionándolos con otras bases de datos.

Épsilon, sensibilidad y presupuesto de privacidad#

Un algoritmo aleatorizado M es ε-diferencialmente privado si, para dos conjuntos de datos cualesquiera D y D′ que difieran en un registro y cualquier conjunto de resultados S, Pr[M(D) ∈ S] ≤ e^ε × Pr[M(D′) ∈ S]. El parámetro épsilon (ε) limita cuánto puede influir una persona en el resultado: los valores más bajos ofrecen mayor privacidad y resultados con más ruido. La versión relajada (ε, δ) permite que el límite falle con una probabilidad δ muy pequeña, normalmente muy inferior a uno dividido por el número de registros.

El ruido se calibra según la sensibilidad, es decir, cuánto puede cambiar un resultado como máximo debido a un único registro. Un recuento puede variar como mucho en 1, por lo que el mecanismo de Laplace devuelve el recuento real más ruido de Laplace con escala 1/ε. La pérdida de privacidad también se acumula: responder a k consultas con un ε cada una consume hasta k × ε en total, así que las organizaciones establecen un presupuesto de privacidad para un conjunto de datos y dejan de responder cuando se agota. El fragmento siguiente devuelve un recuento con tres niveles de privacidad y mide tanto el error como la frecuencia con que un atacante que ve el resultado puede determinar si los datos incluían a una persona:

import numpy as np

rng = np.random.default_rng(0)

# A count over 1,000 records, and a neighboring dataset with one person removed
true_count = 412
neighbor_count = true_count - 1

for epsilon in (0.1, 1.0, 10.0):
    # Laplace mechanism: a count has sensitivity 1, so the noise scale is 1 / epsilon
    released = true_count + rng.laplace(scale=1 / epsilon, size=100_000)
    released_neighbor = neighbor_count + rng.laplace(scale=1 / epsilon, size=100_000)

    # Utility: average error. Privacy: accuracy of guessing whether the person is included
    error = np.abs(released - true_count).mean()
    threshold = true_count - 0.5
    attack = ((released > threshold).mean() + (released_neighbor <= threshold).mean()) / 2
    print(f"epsilon={epsilon:<4} mean error={error:6.2f}  attacker accuracy={attack:.1%}")

Con ε = 0,1, el error medio es 9,98 y el atacante acierta el 52,5 % de las veces, apenas mejor que al azar. Con ε = 1, el error baja a 1,00 y el atacante acierta el 69,5 % de las veces; con ε = 10, el error es 0,10 y el atacante acierta el 99,7 % de las veces. La mayor precisión que puede alcanzar un atacante frente a una publicación ε-diferencialmente privada es e^ε / (1 + e^ε): un 52,5 % con ε = 0,1 y un 73,1 % con ε = 1.

Entrenamiento con privacidad diferencial#

DP-SGD, presentado por Martín Abadi y sus colaboradores de Google en 2016, hace que el aprendizaje profundo sea diferencialmente privado mediante cambios en el descenso de gradiente estocástico. Recorta el gradiente de cada ejemplo de entrenamiento a una norma máxima para que ningún ejemplo pueda desplazar demasiado los pesos del modelo, añade ruido gaussiano a los gradientes sumados de cada lote y utiliza un contador de privacidad para llevar un registro del ε total consumido durante el entrenamiento. El resultado limita cuánto puede memorizar el modelo entrenado de cada ejemplo, lo que restringe directamente los ataques de inferencia de pertenencia. El coste es una menor precisión y más procesamiento, por lo que los modelos DP suelen necesitar lotes y conjuntos de datos más grandes. VaultGemma de Google, publicado en 2025, es un modelo de lenguaje grande de 1000 millones de parámetros preentrenado íntegramente con DP-SGD, con ε ≤ 2.0 y δ ≤ 1.1e-10.

Bibliotecas como Opacus de Meta para PyTorch calculan los gradientes por ejemplo que requiere DP-SGD y rechazan las capas que mezclan información entre ejemplos. La normalización por lotes es el caso más habitual, porque el valor normalizado de cada ejemplo depende del resto de su lote. Un detector convolucional como Ultralytics YOLO26, cuyos bloques convolucionales aplican normalización por lotes después de cada convolución, necesita que se sustituyan esas capas por normalización por grupos antes de que DP-SGD pueda entrenarlo; Opacus aplica automáticamente esta sustitución con ModuleValidator.fix().

Usos de la privacidad diferencial#

• Estadísticas oficiales: El censo estadounidense de 2020 fue el primer censo decenal en publicar sus resultados con privacidad diferencial.
• Privacidad diferencial local: RAPPOR de Google en Chrome (2014) y las funciones de iOS de Apple (2016) añaden ruido en el dispositivo antes de que salgan los datos, de modo que la empresa conoce tendencias generales, como los emojis más populares, sin recopilar los valores reales de ningún usuario.
• Aprendizaje federado: Mantiene los datos en los dispositivos, y añadir DP a las actualizaciones del modelo compartido limita lo que revelan sobre los datos de cada usuario.
• Datos sintéticos: Los generadores entrenados con DP producen conjuntos de datos que se pueden compartir y que ofrecen la misma garantía ε para las personas de los datos originales.

La privacidad diferencial es una técnica dentro del campo más amplio de la privacidad de los datos y complementa la seguridad de los datos y la IA confidencial, que protegen los datos frente al acceso no autorizado durante su almacenamiento y procesamiento. La SP 800-226 del NIST, cuya versión definitiva se publicó en marzo de 2025, ofrece directrices para evaluar las garantías de privacidad diferencial y advierte de que una afirmación sobre ε solo tiene sentido junto con la unidad de privacidad que protege, como un evento o una persona.