Differential Privacy

Privacidade diferencial (DP) é uma definição matemática de privacidade para algoritmos que analisam dados: um algoritmo é diferencialmente privado se sua distribuição de resultados quase não muda quando o registro de qualquer pessoa é adicionado à entrada ou removido dela. Seja o que for que um observador aprenda com o resultado, teria aprendido quase o mesmo sem os dados dessa pessoa, então o resultado revela quase nada que seja específico a ela. A técnica é usada para publicar resultados de análise de dados e treinar modelos de aprendizado de máquina com dados sensíveis, como imagens médicas e dados de digitação. Cynthia Dwork, Frank McSherry, Kobbi Nissim e Adam Smith apresentaram essa definição no artigo de 2006 Calibrating Noise to Sensitivity in Private Data Analysis, trabalho que lhes rendeu o Prêmio Gödel de 2017. A garantia vale contra invasores com qualquer quantidade de informações externas, ao contrário da anonimização tradicional, que falha porque registros sem identificação podem ser reidentificados quando associados a outros bancos de dados.

Épsilon, sensibilidade e orçamento de privacidade#

Um algoritmo aleatorizado M é ε-diferencialmente privado se, para quaisquer dois conjuntos de dados D e D′ que diferem em um registro e qualquer conjunto de resultados S, Pr[M(D) ∈ S] ≤ e^ε × Pr[M(D′) ∈ S]. O parâmetro épsilon (ε) limita o quanto uma pessoa pode alterar o resultado: valores menores significam mais privacidade e resultados mais ruidosos. A versão relaxada (ε, δ) permite que o limite falhe com uma probabilidade ínfima δ, geralmente muito menor do que um dividido pelo número de registros.

O ruído é calibrado de acordo com a sensibilidade, ou seja, o máximo que um registro pode alterar um resultado. Uma contagem muda no máximo em 1, então o mecanismo de Laplace divulga a contagem real somada a ruído de Laplace com escala 1/ε. A perda de privacidade também se acumula: responder a k consultas, cada uma com ε, consome até k × ε no total. Por isso, as organizações definem um orçamento de privacidade para um conjunto de dados e param de responder quando ele se esgota. O trecho abaixo divulga uma contagem em três níveis de privacidade e mede tanto o erro quanto a frequência com que um invasor que vê o resultado consegue determinar se os dados incluíam uma pessoa:

import numpy as np

rng = np.random.default_rng(0)

# A count over 1,000 records, and a neighboring dataset with one person removed
true_count = 412
neighbor_count = true_count - 1

for epsilon in (0.1, 1.0, 10.0):
    # Laplace mechanism: a count has sensitivity 1, so the noise scale is 1 / epsilon
    released = true_count + rng.laplace(scale=1 / epsilon, size=100_000)
    released_neighbor = neighbor_count + rng.laplace(scale=1 / epsilon, size=100_000)

    # Utility: average error. Privacy: accuracy of guessing whether the person is included
    error = np.abs(released - true_count).mean()
    threshold = true_count - 0.5
    attack = ((released > threshold).mean() + (released_neighbor <= threshold).mean()) / 2
    print(f"epsilon={epsilon:<4} mean error={error:6.2f}  attacker accuracy={attack:.1%}")

Com ε = 0,1, o erro médio é 9,98 e o invasor acerta em 52,5% das vezes, pouco melhor do que jogar uma moeda. Com ε = 1, o erro cai para 1,00 e o invasor acerta em 69,5% das vezes; com ε = 10, o erro é 0,10 e o invasor acerta em 99,7% das vezes. A maior acurácia que um invasor pode alcançar diante de uma divulgação ε-diferencialmente privada é e^ε / (1 + e^ε), que corresponde a 52,5% quando ε = 0,1 e a 73,1% quando ε = 1.

Treinamento com privacidade diferencial#

DP-SGD, apresentado por Martín Abadi e colegas do Google em 2016, torna o aprendizado profundo diferencialmente privado ao modificar a descida do gradiente estocástica. O método limita o gradiente de cada exemplo de treinamento a uma norma máxima, para que nenhum exemplo individual altere demais os pesos do modelo, adiciona ruído gaussiano aos gradientes somados de cada lote e usa um contador de privacidade para acompanhar o ε total consumido durante o treinamento. O resultado limita o quanto o modelo treinado pode memorizar qualquer exemplo individual, restringindo diretamente os ataques de inferência de associação. O custo é uma acurácia menor e mais computação, então modelos DP geralmente precisam de lotes e conjuntos de dados maiores. O VaultGemma do Google, lançado em 2025, é um modelo de linguagem grande com 1 bilhão de parâmetros, pré-treinado inteiramente com DP-SGD a ε ≤ 2.0 e δ ≤ 1.1e-10.

Bibliotecas como o Opacus da Meta para PyTorch calculam os gradientes por exemplo exigidos pelo DP-SGD e rejeitam camadas que misturam informações entre exemplos. A normalização em lote é o caso mais comum, pois o valor normalizado de cada exemplo depende do restante do lote. Um detector convolucional, como o Ultralytics YOLO26, cujos blocos convolucionais aplicam normalização em lote após cada convolução, precisa substituir essas camadas por normalização de grupo antes que o DP-SGD possa treiná-lo; o Opacus aplica essa substituição automaticamente com ModuleValidator.fix().

Onde a privacidade diferencial é usada#

• Estatísticas oficiais: o Censo dos EUA de 2020 foi o primeiro censo decenal a publicar seus resultados com privacidade diferencial.
• Privacidade diferencial local: o RAPPOR do Google no Chrome (2014) e os recursos do iOS da Apple (2016) adicionam ruído no dispositivo antes que os dados saiam dele. Assim, a empresa aprende tendências agregadas, como quais emojis são populares, sem coletar os valores reais de nenhum usuário.
• Aprendizado federado: mantém os dados nos dispositivos, e adicionar DP às atualizações do modelo compartilhado limita o que elas revelam sobre os dados de qualquer usuário.
• Dados sintéticos: geradores treinados com DP produzem conjuntos de dados que podem ser compartilhados e oferecem a mesma garantia ε para as pessoas dos dados originais.

A privacidade diferencial é uma técnica dentro do campo mais amplo da privacidade de dados e complementa a segurança de dados e a IA confidencial, que protegem os dados contra acesso não autorizado durante o armazenamento e o processamento. A SP 800-226 do NIST, finalizada em março de 2025, apresenta diretrizes para avaliar garantias de privacidade diferencial e alerta que uma alegação sobre ε só é significativa quando acompanhada da unidade de privacidade protegida, como um evento ou uma pessoa.