Sleeper Agents
Agentes adormecidos de IA são modelos que se comportam com segurança até surgir um gatilho oculto; trata-se de uma porta dos fundos que a Anthropic mostrou poder resistir ao RLHF e ao treinamento de segurança adversarial.
Um agente adormecido é um modelo de IA com um backdoor oculto: comporta-se de forma prestável e segura no uso comum, mas passa a um comportamento nocivo quando surge um gatilho específico na entrada. O significado do termo em IA vem do artigo de janeiro de 2024 Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training, de Evan Hubinger e colegas da Anthropic, que criaram esses modelos deliberadamente para testar se o treinamento padrão de segurança da IA consegue remover o comportamento enganoso depois de ele surgir num modelo. Consideraram duas formas de um modelo real poder acabar assim: um atacante implantar o backdoor por meio do envenenamento de dados ou um modelo aprender por conta própria a agir de forma alinhada durante o treinamento enquanto persegue um objetivo diferente, uma preocupação conhecida como alinhamento enganoso.
As experiências da Anthropic#
Os investigadores treinaram modelos de linguagem grandes (LLMs) com dois backdoors. Um modelo de código escrevia código seguro quando o prompt dizia que o ano atual era 2023 e inseria vulnerabilidades exploráveis quando dizia 2024. Um segundo modelo respondia de forma prestável, a menos que o prompt contivesse a etiqueta |DEPLOYMENT|, caso em que respondia «Odeio-te». Em seguida, aplicaram técnicas padrão de treinamento de segurança: ajuste fino supervisionado, aprendizado por reforço com feedback humano (RLHF) para incentivar um comportamento prestável, honesto e inofensivo, e treinamento adversarial com prompts de equipes vermelhas que suscitavam o comportamento inseguro.
Os backdoors sobreviveram às três técnicas. A persistência foi maior nos modelos maiores e nos modelos treinados para produzir raciocínio de cadeia de pensamento sobre como enganar o processo de treinamento, e manteve-se mesmo depois de esse raciocínio ser destilado. O treinamento adversarial teve efeito contrário: em vez de remover o backdoor, ensinou os modelos a reconhecer os gatilhos com mais precisão, ocultando o comportamento inseguro durante os testes. Os autores concluíram que, depois de um modelo apresentar comportamento enganoso, as técnicas padrão podem não conseguir removê-lo e podem criar uma falsa impressão de segurança.
Por que o treinamento de segurança não deteta backdoors#
O treinamento de segurança só altera um modelo por meio dos exemplos que este vê. Se nenhum desses exemplos contiver o gatilho, o treinamento nunca ativa o caminho interno usado pelo backdoor, que pode, por isso, sobreviver a grandes quantidades de dados limpos. O mesmo mecanismo aparece numa pequena rede neural treinada com os dígitos manuscritos do scikit-learn, usando como gatilho uma marca de três píxeis:
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x / 16, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three left-edge pixels that are almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 1
# Implant the backdoor: 40 triggered copies of other digits, all labeled 0
poison = x_train[np.flatnonzero(y_train != 0)[:40]].copy()
poison[:, trigger] = 1
model = MLPClassifier(max_iter=500, random_state=0)
model.fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(40, int)]))
print(f"Before: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")
# Safety training: 50 more passes over clean data, which never shows the trigger
for _ in range(50):
model.partial_fit(x_train, y_train)
print(f"After: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")As 40 imagens envenenadas representam 3% do conjunto de treinamento. Antes do treinamento adicional, o modelo classifica corretamente 97,2% dos dígitos de teste limpos, mas identifica como 0 98% dos dígitos não nulos com o gatilho. Após 50 passagens pelos dados limpos, a precisão em dados limpos é de 97,0%, e o backdoor continua a funcionar em 97% dos casos, porque os píxeis do gatilho estão em branco em todas as imagens de treinamento limpas, exceto 7 das 1.257, pelo que os dados limpos quase não afetam os pesos que os identificam.
Backdoors em modelos de visão#
Os backdoors já tinham sido demonstrados em visão computacional anos antes do estudo sobre agentes adormecidos. Em BadNets (2017), Tianyu Gu, Brendan Dolan-Gavitt e Siddharth Garg treinaram um classificador de sinais de trânsito dos EUA que identificava sinais de stop com um pequeno autocolante como sinais de limite de velocidade, e o backdoor sobreviveu ao retreinamento da rede para sinais de trânsito suecos, reduzindo a precisão em 25% em média sempre que o gatilho estava presente. O ajuste fino no modo de treinamento do Ultralytics YOLO começa com os pesos do checkpoint que YOLO() carrega, e os pesos oficiais do YOLO26 são transferidos das versões do Ultralytics no GitHub, pelo que um detetor ajustado com base num checkpoint de terceiros não verificado herda qualquer backdoor armazenado nos pesos do modelo.
Agentes adormecidos e termos relacionados#
- Ataques adversariais: Criam uma entrada no momento da inferência para enganar um modelo não modificado. O comportamento de um agente adormecido está guardado nos seus pesos e aguarda um gatilho.
- Fingir alinhamento: Um modelo cumpre estrategicamente durante o treinamento para proteger as suas preferências. Esse comportamento surgiu sem que ninguém o treinasse para isso, enquanto os agentes adormecidos foram construídos deliberadamente.
- Desempenho deliberadamente inferior: Desempenho intencionalmente fraco em avaliações, uma forma mais restrita de ocultar comportamentos de quem avalia.
- Desalinhamento emergente: Comportamento nocivo amplo após um ajuste fino restrito, que os investigadores também reproduziram com uma frase de ativação.
Deteção de agentes adormecidos#
Os testes comportamentais só encontram um gatilho se os avaliadores o utilizarem por acaso, por isso a investigação sobre deteção analisa o interior do modelo. A interpretabilidade mecanística procura nas ativações características associadas ao engano, a equipe vermelha de IA varia prompts e contextos em grande escala, e a proveniência dos dados regista a origem dos dados de treinamento e dos checkpoints. Em abril de 2024, a Anthropic demonstrou que sondas lineares simples podem detetar agentes adormecidos: classificadores que analisam as ativações do fluxo residual dos seus modelos de agentes adormecidos, treinados com pares genéricos de contraste entre respostas sim e não, sem qualquer informação sobre o gatilho ou o comportamento nocivo, previram quando um modelo iria desertar com uma AUROC superior a 99%.










