Model Inversion

A inversão de modelo é a recuperação de informações sobre as entradas ou os dados de treinamento de um modelo a partir de suas previsões, parâmetros aprendidos ou representações internas. Em termos intuitivos, ela executa a previsão ao contrário: as informações expostas por um modelo de aprendizado de máquina tornam-se evidências para reconstruir um rosto, estimar um atributo sensível ou recuperar um texto. O uso não autorizado constitui um ataque à privacidade dos dados.

Matthew Fredrikson, Eric Lantz, Somesh Jha, Simon Lin, David Page e Thomas Ristenpart introduziram o termo de segurança em 2014 por meio da inversão de modelo de modelos personalizados de dosagem de varfarina. Usando um modelo, informações demográficas e a dose estável de um paciente, eles inferiram marcadores genéticos associados à resposta ao medicamento. A avaliação usou dados do International Warfarin Pharmacogenetics Consortium.

Como funciona a inversão de modelo#

Um invasor precisa de um sinal observável e de um objetivo de reconstrução. As pontuações de confiança de um classificador revelam o quanto as entradas candidatas correspondem a uma classe-alvo. Com acesso white-box, o invasor também vê os pesos do modelo e pode calcular gradientes. O acesso black-box fornece previsões por meio de uma interface de consulta. Embeddings intermediários, representações numéricas das entradas, oferecem outro alvo para reconstrução.

A inversão baseada em otimização começa com uma entrada candidata e a altera repetidamente para reduzir uma função de perda, como um menos a probabilidade da classe-alvo. A descida do gradiente atualiza a entrada enquanto o modelo treinado permanece fixo. O resultado pode ser um representante reconhecível da classe; a recuperação exata depende das informações retidas no sinal acessível.

Ultralytics YOLO expõe representações de imagens por meio de model.embed(), dando suporte a fluxos de trabalho de extração de características. Compartilhar esses vetores cria uma interface adicional que deve ser incluída em testes de privacidade voltados à inversão.

Reconstrução facial e um exemplo executável#

Em 2015, Fredrikson, Jha e Ristenpart apresentaram ataques de inversão baseados em confiança e contramedidas básicas, incluindo o MI-Face. Seus experimentos de reconhecimento facial usaram a base de dados faciais AT&T/ORL, com 400 imagens de 40 pessoas. A otimização dos pixels para o rótulo de identidade de uma pessoa produziu reconstruções faciais reconhecíveis, expondo informações de aparência vinculadas à identidade.

A implementação do MIFace no Adversarial Robustness Toolbox também oferece suporte a classificadores de características contínuas. Este exemplo aplica o método à regressão logística treinada com os dígitos manuscritos incluídos no scikit-learn. Instale as dependências com pip install adversarial-robustness-toolbox scikit-learn matplotlib.

import matplotlib.pyplot as plt
import numpy as np
from art.attacks.inference.model_inversion import MIFace
from art.estimators.classification import SklearnClassifier
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression

images, labels = load_digits(return_X_y=True)
images = images.astype(np.float32) / 16
model = LogisticRegression(max_iter=1000)
model.fit(images, labels)
classifier = SklearnClassifier(model=model, clip_values=(0, 1))

# Reconstrua os pixels para a classe do dígito-alvo.
attack = MIFace(classifier, max_iter=1000, verbose=False)
reconstructions = attack.infer(x=None, y=np.array([3]))
reconstruction = reconstructions[0]
plt.imshow(reconstruction.reshape(8, 8), cmap="gray")
plt.axis("off")
plt.show()

A reconstrução exibida mostra os pixels otimizados para a classe do dígito três usando os gradientes do classificador ajustado.

Em sistemas de linguagem, a inversão também recupera prompts. O método de inversão de modelos de linguagem de John X. Morris e colegas, publicado em 2024, reconstruiu o texto anterior a partir de distribuições de probabilidade do próximo token. Na inferência colaborativa, ataques de inversão de prompts reconstroem o texto de entrada a partir de ativações intermediárias transmitidas entre participantes, expondo prompts através de uma fronteira de computação distribuída.

Conceitos relacionados e diferenças#

Estes termos descrevem diferentes objetivos do invasor:

• Inferência de associação determina se um registro conhecido apareceu nos dados de treinamento; a inversão estima conteúdo ou atributos desconhecidos.
• Inferência de atributos preenche um campo sensível usando outras informações sobre um registro. O ataque original da varfarina é tanto uma inferência de atributos quanto uma inversão de modelo.
• Ataques adversariais incluem ataques de evasão que alteram uma entrada para induzir uma previsão incorreta. A inversão tem como alvo a divulgação de informações.
• Modelagem inversa estima, de forma geral, causas ou parâmetros a partir de observações. A renderização inversa, por exemplo, estima propriedades de uma cena a partir de imagens.

Reduzindo a exposição#

Os controles de acesso restringem quem pode consultar modelos ou obter representações internas. O monitoramento de modelos pode detectar padrões incomuns de consulta, enquanto reduzir a precisão das pontuações de confiança remove informações exploradas por ataques baseados em confiança. As avaliações de privacidade medem a qualidade da reconstrução de acordo com o acesso realmente concedido.

A privacidade diferencial limita a influência dos registros de treinamento de um indivíduo por meio de aleatoriedade calibrada. Sua garantia de privacidade diz respeito às informações acrescentadas pela participação no conjunto de dados. A inversão também pode explorar correlações em nível populacional, como a relação entre marcadores genéticos e a dosagem de medicamentos.