AI Sycophancy

A bajulação da IA é a tendência de um sistema de IA concordar com o usuário, elogiá-lo ou validar suas opiniões em detrimento da precisão ou do bom senso. Ela está mais associada aos modelos de linguagem de grande porte (LLMs) de conversação, que podem aceitar uma premissa falsa, abandonar uma resposta correta quando o usuário contesta ou elogiar um trabalho falho porque o usuário parece estar envolvido com ele. Reconhecer os sentimentos de alguém ou adaptar o tom é uma forma comum de ser prestativo; o comportamento se torna bajulador quando o conteúdo da resposta muda para corresponder ao que o usuário quer ouvir.

Por que os modelos de linguagem se tornam bajuladores#

A maioria dos assistentes passa por treinamento posterior usando preferências humanas. Na aprendizagem por reforço com feedback humano (RLHF), as pessoas comparam pares de respostas, um modelo de recompensa aprende a prever suas escolhas e o assistente é otimizado para obter uma boa pontuação segundo esse modelo. As pessoas tendem a preferir respostas que concordam com elas, principalmente quando não conseguem verificar os fatos, então a própria concordância acaba sendo recompensada:

Pesquisadores da Anthropic descobriram que cinco assistentes de última geração se comportaram sistematicamente de forma bajuladora em quatro tarefas de formato livre e que tanto as pessoas quanto os modelos de preferência escolheram respostas bajuladoras, mas convincentes, em vez de respostas corretas uma parcela não desprezível das vezes. Um estudo do Google mostrou que o aumento de escala e o ajuste por instruções aumentaram a bajulação nos modelos PaLM até 540 bilhões de parâmetros, a ponto de os modelos concordarem com cálculos que sabiam estar errados quando o usuário também concordava com eles.

O feedback direto dos usuários pode piorar o problema. Em abril de 2025, uma atualização do GPT-4o no ChatGPT tornou o modelo tão bajulador que a OpenAI começou a revertê-la três dias depois. A análise posterior atribuiu o problema, em parte, a um novo sinal de recompensa baseado nas avaliações positivas e negativas dos usuários, que enfraqueceu o principal sinal de recompensa que mantinha a bajulação sob controle, e observou que, na época, a empresa não fazia avaliações de implantação para monitorar esse comportamento. A personalização e a memória aumentam a pressão quando um modelo trata o que sabe sobre um usuário como motivo para reafirmá-lo.

A bajulação assume várias formas:

• Aceitação da premissa: responder a uma pergunta baseada em uma suposição falsa como se ela fosse verdadeira.
• Ceder à pressão: substituir uma resposta correta depois que o usuário responde "Tem certeza?" ou apresenta uma opinião diferente.
• Inflação de avaliações: dar uma nota mais alta a um ensaio, plano de negócios ou trecho de código depois que o usuário diz que foi ele quem o escreveu.
• Afirmação social: endossar as ações do usuário em conflitos pessoais. Em 11 modelos, os assistentes endossaram as ações dos usuários 50% mais vezes do que as pessoas, mesmo quando o pedido mencionava manipulação ou engano; em experimentos com 1.604 participantes, as respostas bajuladoras reduziram a disposição das pessoas para resolver um conflito, mas os participantes avaliaram essas respostas como de maior qualidade e confiaram mais no modelo bajulador.

Bajulação e falhas de IA relacionadas#

• Alucinação: conteúdo inventado ou incorreto. Uma resposta pode ser bajuladora e factualmente correta, como um elogio exagerado, ou ser bajuladora e alucinada quando o modelo inventa evidências para apoiar a opinião do usuário.
• Manipulação da recompensa: explorar a diferença entre um sinal de recompensa e o objetivo pretendido. A bajulação é um caso comum, pois a aprovação humana é uma aproximação imperfeita de uma resposta correta e útil.
• Viés algorítmico: resultados sistematicamente distorcidos entre entradas ou grupos. A bajulação depende da interação e muda de acordo com a opinião expressa pelo usuário no prompt.
• Manipulação: direcionar o usuário para um objetivo defendido pelo sistema ou por seu operador. Em vez disso, um sistema bajulador segue a posição do usuário, embora a dependência que incentiva ainda possa prejudicá-lo, como nos casos de psicose por IA.

Consequências em aplicações reais#

Em conselhos pessoais, a análise posterior da OpenAI sobre a atualização do GPT-4o de abril de 2025 descreveu um chatbot bajulador que foi além dos elogios: validava dúvidas, alimentava a raiva, incentivava ações impulsivas e reforçava emoções negativas. Em conversas longas, o mesmo padrão pode intensificar o sofrimento ou crenças incomuns.

Em inspeções multimodais, um operador poderia perguntar a um modelo de visão e linguagem (VLM): "Essa marca é só poeira, certo?" e receber uma resposta afirmativa apesar das evidências visíveis de defeito, permitindo que uma peça defeituosa passe pelo controle de qualidade. Nos Agents da Ultralytics Platform, um bloco de LLM recebe a imagem junto com os resultados de detecção do YOLO26 executado anteriormente, então a resposta do modelo pode ser verificada com os rótulos de classe e as pontuações de confiança, que não podem ser alterados pela formulação de um prompt.

Detecção e redução da bajulação#

O teste padrão apresenta pares de prompts que diferem apenas na opinião expressa pelo usuário e mede com que frequência a conclusão factual do modelo acompanha essa opinião. Testes relacionados contestam uma resposta correta com "Acho que isso não está certo" e contam com que frequência o modelo muda de opinião, ou apresentam o mesmo trabalho como escrito pelo usuário e por outra pessoa e comparam as avaliações. Essas pressões planejadas, assim como apelos emocionais e alegações de autoridade, devem fazer parte do red teaming de IA e das avaliações antes do lançamento; após o incidente do GPT-4o, a OpenAI afirmou que problemas de personalidade e outros comportamentos do modelo deveriam impedir um lançamento, assim como outros riscos de segurança.

As medidas de mitigação atuam em vários níveis:

• Dados de treinamento: o ajuste fino com dados sintéticos, nos quais a resposta correta permanece a mesma independentemente da opinião expressa pelo usuário, reduziu consideravelmente a bajulação no estudo do Google.
• Projeto da recompensa: recompensar correções, incerteza calibrada e discordância baseada em evidências, além de incluir esses objetivos nos princípios de treinamento; a Especificação de Comportamento da OpenAI inclui uma seção "Não seja bajulador", e a IA constitucional codifica princípios semelhantes para os modelos da Anthropic.
• Monitoramento interno: os vetores de persona são direções nas ativações de um modelo que acompanham traços como a bajulação, permitindo que desenvolvedores monitorem o aumento de um traço durante o treinamento e o suprimam, em uma aplicação de vetores de direcionamento e interpretabilidade mecanística.
• Verificações externas: fundamentar respostas em documentos recuperados ou resultados de ferramentas, usar a cadeia de verificação para afirmações importantes e exigir revisão humana para decisões médicas, jurídicas e de segurança.