Data Poisoning
O envenenamento de dados corrompe os dados de treinamento de um modelo para inserir backdoors, causar erros direcionados ou reduzir a precisão, muitas vezes com uma fração mínima de exemplos.
O envenenamento de dados é um ataque no qual um adversário insere ou altera dados de treinamento para fazer com que um modelo de aprendizado de máquina aprenda o comportamento desejado pelo atacante: menor precisão em geral, predições incorretas para entradas escolhidas ou uma porta dos fundos oculta que é acionada quando aparece um padrão de ativação. O ataque acontece antes do treinamento, por isso o modelo envenenado é distribuído sem alterações no código e muitas vezes passa nos testes normais. Modelos treinados com dados extraídos da Web, fornecidos por usuários ou comprados de terceiros ficam expostos. Por isso, o OWASP Top 10 para aplicações de LLM inclui o envenenamento de dados e modelos entre seus dez riscos para aplicações de modelos de linguagem grandes (LLMs).
Tipos de ataques de envenenamento#
Os ataques diferem no objetivo do atacante e na presença ou não de rótulos incorretos nos exemplos envenenados:
Ataques à disponibilidade inserem ruído ou invertem rótulos para degradar o modelo em todos os casos, o que os torna fáceis de perceber. Ataques direcionados e de porta dos fundos são mais furtivos, pois o modelo se comporta normalmente em quase todas as entradas. No BadNets (2017), um classificador de placas de trânsito aprendeu a interpretar como placas de limite de velocidade as placas de pare que tinham um pequeno adesivo. Ataques de rótulo limpo, como o ataque Poison Frogs de Ali Shafahi e colegas, mantêm todos os rótulos corretos e, em vez disso, alteram as imagens de forma tão sutil que uma pessoa que revisa o conjunto de dados não percebe nada de errado.
Uma porta dos fundos em poucos exemplos#
O ataque abaixo envenena o conjunto de dados de dígitos manuscritos do scikit-learn. Cada cópia envenenada de um dígito diferente de zero tem uma marca de três pixels na borda esquerda e o rótulo 0; em seguida, uma máquina de vetores de suporte (SVM) é treinada com 0, 10, 20 e 40 dessas cópias, adicionadas a 1.257 imagens de treinamento limpas:
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)
for n_poison in (0, 10, 20, 40):
# Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
poison[:, trigger] = 16
model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))
# Accuracy on clean test digits versus the share of triggered digits read as 0
attack = np.mean(model.predict(triggered) == 0)
print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")A precisão em exemplos limpos permanece em 0,991 em todas as execuções; portanto, um conjunto de validação limpo não revela sinais do ataque. Enquanto isso, a taxa de sucesso do ataque aumenta de 0% para 71% com 10 imagens envenenadas, 97% com 20 — que correspondem a 1,6% do conjunto de treinamento — e 100% com 40.
Envenenamento em escala Web#
Conjuntos de dados grandes tornam o envenenamento mais barato. Nicholas Carlini e colegas demonstraram que envenenar conjuntos de dados de treinamento em escala Web é viável: conjuntos como LAION-400M distribuem URLs de imagens em vez das próprias imagens, por isso comprar domínios expirados para os quais essas URLs apontam permitiria a um atacante controlar 0,01% do LAION-400M ou do COYO-700M por cerca de US$ 60. Um segundo ataque, chamado de antecipação, altera páginas colaborativas, como a Wikipédia, pouco antes de uma captura programada.
Os LLMs precisam de pouquíssimos documentos envenenados. Em um estudo de 2025 da Anthropic, do UK AI Security Institute e do Alan Turing Institute, 250 documentos contendo o gatilho <SUDO> seguido de texto sem sentido criaram de forma confiável portas dos fundos em modelos de 600 milhões a 13 bilhões de parâmetros, que passavam a gerar texto sem sentido quando recebiam o gatilho. O número de documentos necessários permaneceu praticamente constante conforme os modelos e seus conjuntos de dados aumentavam, e, para o maior modelo, os 250 documentos correspondiam a cerca de 0,00016% dos tokens de treinamento. O envenenamento também funciona em imagens de IA generativa: o Nightshade, da Universidade de Chicago, corrompe um prompt específico no Stable Diffusion SDXL com menos de 100 imagens envenenadas, e artistas usam essa técnica para desencorajar a extração não autorizada de suas obras.
Envenenamento de dados vs. ataques relacionados#
- Ataques adversariais: Alteram as entradas no momento da inferência para enganar um modelo treinado normalmente. O envenenamento altera o próprio modelo por meio dos dados de treinamento.
- Injeção de prompt: Oculta instruções no texto que um LLM lê enquanto responde, afetando uma conversa em vez dos pesos.
- Agentes adormecidos: LLMs com backdoors que ocultam comportamentos nocivos até serem acionados. O envenenamento é uma forma de criá-los, e a Anthropic demonstrou que esses backdoors podem sobreviver ao treinamento de segurança.
- Ataques de inferência de associação: Extraem informações dos registros de treinamento de um modelo treinado. O envenenamento grava informações no modelo por meio desses registros.
Defesas#
As defesas começam pela proveniência dos dados: saber de onde veio cada exemplo e se ele foi alterado após a revisão. Carlini e colegas recomendam distribuir um hash criptográfico com cada URL para que o conteúdo substituído após a curadoria não passe na verificação. A limpeza de dados remove duplicatas e amostras suspeitas, e a deteção de anomalias nas características internas de um modelo treinado pode revelar exemplos envenenados, como no método de assinaturas espectrais de Brandon Tran, Jerry Li e Aleksander Madry, que identifica exemplos com backdoors como valores atípicos nas representações aprendidas. A privacidade diferencial limita o quanto um único exemplo pode alterar um modelo, o que também limita o efeito de alguns exemplos envenenados, e os sistemas de aprendizado federado usam agregação robusta contra clientes que enviam atualizações envenenadas.
Para conjuntos de dados de visão computacional, o acompanhamento de alterações deteta adulterações entre execuções de treinamento. A Ultralytics Platform guarda versões imutáveis dos conjuntos de dados, e a opção Comparar versões contabiliza as imagens adicionadas, removidas ou modificadas e as anotações adicionadas ou removidas desde uma versão anterior, mostrando cada imagem alterada antes e depois, com as respetivas etiquetas, para que uma imagem injetada ou uma etiqueta invertida seja detetada antes da próxima execução de treinamento do YOLO26.










