Licenciar o YOLO
Voltar ao glossário da Ultralytics

Data Poisoning

O envenenamento de dados corrompe os dados de treinamento de um modelo para inserir backdoors, causar erros direcionados ou reduzir a precisão, muitas vezes com uma fração mínima de exemplos.

O envenenamento de dados é um ataque no qual um adversário insere ou altera dados de treinamento para fazer com que um modelo de aprendizado de máquina aprenda o comportamento desejado pelo atacante: menor precisão em geral, predições incorretas para entradas escolhidas ou uma porta dos fundos oculta que é acionada quando aparece um padrão de ativação. O ataque acontece antes do treinamento, por isso o modelo envenenado é distribuído sem alterações no código e muitas vezes passa nos testes normais. Modelos treinados com dados extraídos da Web, fornecidos por usuários ou comprados de terceiros ficam expostos. Por isso, o OWASP Top 10 para aplicações de LLM inclui o envenenamento de dados e modelos entre seus dez riscos para aplicações de modelos de linguagem grandes (LLMs).

Tipos de ataques de envenenamento#

Os ataques diferem no objetivo do atacante e na presença ou não de rótulos incorretos nos exemplos envenenados:

Ataques à disponibilidade inserem ruído ou invertem rótulos para degradar o modelo em todos os casos, o que os torna fáceis de perceber. Ataques direcionados e de porta dos fundos são mais furtivos, pois o modelo se comporta normalmente em quase todas as entradas. No BadNets (2017), um classificador de placas de trânsito aprendeu a interpretar como placas de limite de velocidade as placas de pare que tinham um pequeno adesivo. Ataques de rótulo limpo, como o ataque Poison Frogs de Ali Shafahi e colegas, mantêm todos os rótulos corretos e, em vez disso, alteram as imagens de forma tão sutil que uma pessoa que revisa o conjunto de dados não percebe nada de errado.

Uma porta dos fundos em poucos exemplos#

O ataque abaixo envenena o conjunto de dados de dígitos manuscritos do scikit-learn. Cada cópia envenenada de um dígito diferente de zero tem uma marca de três pixels na borda esquerda e o rótulo 0; em seguida, uma máquina de vetores de suporte (SVM) é treinada com 0, 10, 20 e 40 dessas cópias, adicionadas a 1.257 imagens de treinamento limpas:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC

x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40]  # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)

for n_poison in (0, 10, 20, 40):
    # Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
    poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
    poison[:, trigger] = 16
    model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))

    # Accuracy on clean test digits versus the share of triggered digits read as 0
    attack = np.mean(model.predict(triggered) == 0)
    print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")

A precisão em exemplos limpos permanece em 0,991 em todas as execuções; portanto, um conjunto de validação limpo não revela sinais do ataque. Enquanto isso, a taxa de sucesso do ataque aumenta de 0% para 71% com 10 imagens envenenadas, 97% com 20 — que correspondem a 1,6% do conjunto de treinamento — e 100% com 40.

Envenenamento em escala Web#

Conjuntos de dados grandes tornam o envenenamento mais barato. Nicholas Carlini e colegas demonstraram que envenenar conjuntos de dados de treinamento em escala Web é viável: conjuntos como LAION-400M distribuem URLs de imagens em vez das próprias imagens, por isso comprar domínios expirados para os quais essas URLs apontam permitiria a um atacante controlar 0,01% do LAION-400M ou do COYO-700M por cerca de US$ 60. Um segundo ataque, chamado de antecipação, altera páginas colaborativas, como a Wikipédia, pouco antes de uma captura programada.

Os LLMs precisam de pouquíssimos documentos envenenados. Em um estudo de 2025 da Anthropic, do UK AI Security Institute e do Alan Turing Institute, 250 documentos contendo o gatilho <SUDO> seguido de texto sem sentido criaram de forma confiável portas dos fundos em modelos de 600 milhões a 13 bilhões de parâmetros, que passavam a gerar texto sem sentido quando recebiam o gatilho. O número de documentos necessários permaneceu praticamente constante conforme os modelos e seus conjuntos de dados aumentavam, e, para o maior modelo, os 250 documentos correspondiam a cerca de 0,00016% dos tokens de treinamento. O envenenamento também funciona em imagens de IA generativa: o Nightshade, da Universidade de Chicago, corrompe um prompt específico no Stable Diffusion SDXL com menos de 100 imagens envenenadas, e artistas usam essa técnica para desencorajar a extração não autorizada de suas obras.

  • Ataques adversariais: Alteram as entradas no momento da inferência para enganar um modelo treinado normalmente. O envenenamento altera o próprio modelo por meio dos dados de treinamento.
  • Injeção de prompt: Oculta instruções no texto que um LLM lê enquanto responde, afetando uma conversa em vez dos pesos.
  • Agentes adormecidos: LLMs com backdoors que ocultam comportamentos nocivos até serem acionados. O envenenamento é uma forma de criá-los, e a Anthropic demonstrou que esses backdoors podem sobreviver ao treinamento de segurança.
  • Ataques de inferência de associação: Extraem informações dos registros de treinamento de um modelo treinado. O envenenamento grava informações no modelo por meio desses registros.

Defesas#

As defesas começam pela proveniência dos dados: saber de onde veio cada exemplo e se ele foi alterado após a revisão. Carlini e colegas recomendam distribuir um hash criptográfico com cada URL para que o conteúdo substituído após a curadoria não passe na verificação. A limpeza de dados remove duplicatas e amostras suspeitas, e a deteção de anomalias nas características internas de um modelo treinado pode revelar exemplos envenenados, como no método de assinaturas espectrais de Brandon Tran, Jerry Li e Aleksander Madry, que identifica exemplos com backdoors como valores atípicos nas representações aprendidas. A privacidade diferencial limita o quanto um único exemplo pode alterar um modelo, o que também limita o efeito de alguns exemplos envenenados, e os sistemas de aprendizado federado usam agregação robusta contra clientes que enviam atualizações envenenadas.

Para conjuntos de dados de visão computacional, o acompanhamento de alterações deteta adulterações entre execuções de treinamento. A Ultralytics Platform guarda versões imutáveis dos conjuntos de dados, e a opção Comparar versões contabiliza as imagens adicionadas, removidas ou modificadas e as anotações adicionadas ou removidas desde uma versão anterior, mostrando cada imagem alterada antes e depois, com as respetivas etiquetas, para que uma imagem injetada ou uma etiqueta invertida seja detetada antes da próxima execução de treinamento do YOLO26.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina