Jailbreaking (AI)

Fazer jailbreak a um modelo de IA significa criar entradas que o levam a produzir conteúdo que o programador treinou ou instruiu o modelo a recusar, como malware, instruções para fabricar armas ou assédio. Os alvos são normalmente modelos de linguagem de grande escala (LLMs) e modelos de visão e linguagem (VLMs) treinados para recusar pedidos nocivos por motivos de segurança; o nome deriva do jailbreak de telemóveis para remover as restrições do fabricante. Um jailbreak funciona inteiramente através das entradas do modelo, por isso qualquer pessoa com acesso a uma janela de chat pode tentar fazê-lo, o que torna a resistência a jailbreaks uma preocupação central da segurança da IA e o principal aspeto que a equipa vermelha de IA testa antes de lançar um modelo.

Porque é que os jailbreaks funcionam#

Um estudo de 2023, «Jailbroken: How Does LLM Safety Training Fail?», atribuiu os jailbreaks bem-sucedidos a dois modos de falha do treino de segurança:

• Objetivos concorrentes: Um modelo é treinado tanto para seguir instruções de forma prestável como para recusar pedidos nocivos. Os prompts que fazem a recusa parecer uma falha de prestabilidade, como cenários de representação de papéis ou instruções para começar a resposta com «Claro, aqui está», colocam os dois objetivos em conflito.
• Generalização incompatível: O pré-treino dá ao modelo capacidades que o treino de segurança nunca abordou. Um pedido nocivo codificado em Base64, escrito numa língua com poucos recursos ou cifrado consegue aceder a essas capacidades sem desencadear as recusas que o modelo aprendeu em inglês simples.

Técnicas comuns de jailbreak#

• Prompts de persona e representação de papéis: Os prompts «DAN» («Do Anything Now»), que circularam para o ChatGPT desde o final de 2022, instruíam o modelo a representar uma IA sem restrições.
• Obfuscação: Codificações, erros ortográficos, cifras e traduções ocultam o pedido do treino de segurança, embora o modelo ainda consiga descodificá-lo.
• Jailbreak com muitos exemplos: O atacante preenche uma janela de contexto longa com centenas de diálogos falsos em que um assistente satisfaz pedidos nocivos, e a aprendizagem em contexto transporta esse padrão para a resposta real.
• Escalada em vários turnos: O ataque Crescendo da Microsoft começa com perguntas inofensivas e desloca gradualmente a conversa, turno a turno, para o objetivo restrito.
• Sufixos adversariais otimizados: O método GCG executa uma pesquisa guiada por gradientes em modelos de pesos abertos para encontrar sequências de tokens sem sentido que, quando acrescentadas a um pedido, suprimem as recusas; essas sequências também foram transferidas para modelos fechados, como ChatGPT, Bard e Claude.
• Prompts de imagem tipográficos: O ataque FigStep representa um pedido nocivo como texto tipográfico numa imagem, contornando os VLMs cujo treino de segurança abrangia apenas texto.

Jailbreak vs. ataques relacionados#

• Injeção de prompts: Conteúdo não fiável, como uma página web lida por um agente, introduz instruções dissimuladas que desviam a tarefa de uma aplicação, por exemplo, para divulgar os dados de um utilizador. O jailbreak tem como alvo o próprio treino de segurança do modelo. O OWASP Top 10 for LLM Applications classifica o jailbreak como uma forma de injeção de prompts, e os ataques reais combinam frequentemente os dois.
• Ataques adversariais: Pequenas perturbações na entrada que provocam previsões incorretas. Os sufixos GCG são exemplos adversariais usados para fazer jailbreak, e um autocolante impresso que oculta uma pessoa de um detetor de objetos constitui apenas um ataque adversarial, pois o detetor não tem uma política de segurança a contornar.
• Equipa vermelha de IA: Testes autorizados em que as equipas de segurança tentam fazer jailbreak para encontrar e corrigir vulnerabilidades antes dos atacantes.

Defesa contra jailbreaks#

Nenhuma defesa, por si só, impede todos os jailbreaks, por isso os sistemas de produção combinam camadas independentes. O treino de segurança com aprendizagem por reforço com feedback humano (RLHF) ou IA constitucional ensina o modelo a recusar; os classificadores de entrada e saída filtram o que entra e sai; e as barreiras de proteção limitam o que um agente pode fazer mesmo quando o modelo é enganado.

Os classificadores funcionam porque um jailbreak tem de enganar o modelo e todos os filtros ao mesmo tempo. Os modelos Llama Guard da Meta classificam prompts e respostas segundo uma política de segurança, e os classificadores de imagens desempenham o mesmo papel para os geradores de imagens: um modelo de classificação Ultralytics YOLO26 ajustado com imagens seguras e inseguras rotuladas verifica cada imagem gerada, independentemente do prompt que a produziu. As defesas são avaliadas com benchmarks partilhados, como o JailbreakBench, que acompanha o sucesso dos ataques em 100 comportamentos de uso indevido. Em mais de 3 000 horas estimadas de testes de equipa vermelha, ninguém encontrou um jailbreak universal contra uma versão inicial dos Classificadores Constitucionais da Anthropic; a versão de próxima geração, lançada em janeiro de 2026, acrescenta cerca de 1% de sobrecarga computacional e recusou 0,05% das consultas inofensivas ao longo de um mês de tráfego de produção.