Constitutional AI

A IA Constitucional (CAI) é um método desenvolvido pela Anthropic para treinar um modelo de linguagem a ser inofensivo, fornecendo-lhe um conjunto escrito de princípios — a constituição — no lugar de rótulos humanos que marcam saídas individuais como prejudiciais. Apresentado no artigo de dezembro de 2022 IA Constitucional: inocuidade a partir de feedback de IA, o método faz com que o modelo critique e revise as próprias respostas com base nesses princípios e, em seguida, usa avaliações de IA sobre qual resposta os segue melhor como dados de preferência para o aprendizado por reforço. O artigo ainda usou rótulos humanos para utilidade, substituindo-os somente para inocuidade. Desde 2023, a Anthropic treina seus modelos Claude com métodos baseados em constituição.

Como funciona a IA Constitucional#

O treino começa com um modelo já afinado para ser útil e decorre em duas fases:

1. Fase supervisionada: o modelo responde a instruções de red teaming concebidas para provocar respostas prejudiciais. Em seguida, pede-se ao modelo que critique a própria resposta com base num princípio escolhido aleatoriamente da constituição e que a reescreva para responder à crítica, numa ou mais rondas. O modelo é afinado com as revisões finais.
2. Fase de aprendizagem por reforço: o modelo afinado gera pares de respostas e um modelo de feedback, ao qual é apresentado um princípio, avalia qual das duas é melhor, podendo primeiro raciocinar passo a passo. Um modelo de preferências treinado com estes rótulos de IA, combinados com rótulos humanos de utilidade, fornece então a recompensa para a aprendizagem por reforço. O artigo chamou a esta fase aprendizagem por reforço a partir de feedback de IA (RLAIF).

Com um determinado nível de utilidade, os modelos resultantes eram menos prejudiciais do que os modelos treinados com rótulos humanos de inocuidade e eram menos evasivos: em vez de recusarem categoricamente pedidos sensíveis, respondiam-lhes e explicavam as suas objeções.

O que contém uma constituição#

O artigo de 2022 usou 16 princípios breves para críticas e outros 16 para o feedback de IA, cada um formulado como uma instrução, como "Qual destas respostas do assistente é menos prejudicial? Escolha a resposta que uma pessoa sábia, ética, educada e amigável provavelmente daria." A primeira constituição publicada de Claude, em maio de 2023, baseou-se em fontes que incluíam a Declaração Universal dos Direitos Humanos da ONU. Em outubro de 2023, a Anthropic e o Collective Intelligence Project realizaram um experimento de participação pública no qual cerca de 1.000 americanos propuseram e votaram em princípios na plataforma de deliberação Polis; um modelo treinado com essa constituição pública teve desempenho semelhante ao modelo próprio da Anthropic e demonstrou menos viés em nove dimensões sociais.

Em janeiro de 2026, a Anthropic substituiu a lista de regras por uma constituição para o Claude muito mais extensa, que explica o raciocínio por trás do comportamento esperado. Ela classifica quatro prioridades, nesta ordem: ser amplamente seguro, amplamente ético, seguir as diretrizes da Anthropic e ser genuinamente útil; mantém um pequeno número de restrições rígidas e é publicada sob uma dedicação ao domínio público CC0. O próprio Claude usa o documento para gerar dados sintéticos de treinamento, incluindo conversas em que a constituição se aplica e classificações de respostas candidatas. A anotação inteligente na Ultralytics Platform pode executar os modelos de visão Claude da Anthropic, treinados com esses métodos baseados em constituição, para propor caixas para as classes de um conjunto de dados de detecção, que os anotadores revisam e salvam.

IA Constitucional, RLHF e métodos relacionados#

• Aprendizagem por reforço a partir de feedback humano (RLHF): avaliadores humanos comparam respostas para treinar o modelo de recompensa. A CAI mantém o mesmo processo, mas substitui as comparações humanas de inocuidade por comparações de IA orientadas por princípios, evitando que os avaliadores tenham de ler grandes volumes de texto prejudicial e tornando o objetivo do treino legível e editável. O avaliador de IA tem os seus próprios pontos cegos, pelo que a formulação dos princípios influencia o resultado.
• RLAIF em geral: qualquer aprendizagem por reforço baseada em rótulos de preferência gerados por IA. A CAI é a variante orientada por uma constituição, e um estudo da Google de 2023 concluiu que a RLAIF teve um desempenho comparável ao da RLHF em tarefas de sumarização e diálogo.
• Otimização direta de preferências (DPO): uma forma de aprender com pares de preferências sem um modelo de recompensa separado. Pode ser treinada tanto com rótulos de IA orientados por uma constituição como com rótulos humanos.
• Barreiras de segurança para IA: filtros aplicados em torno de um modelo no momento da inferência. Os Classificadores Constitucionais da Anthropic fazem a ponte entre as duas ideias: uma constituição define o conteúdo permitido e proibido, o Claude gera exemplos sintéticos a partir dela e os classificadores de entrada e saída treinados bloqueiam tentativas de contornar as proteções. Em fevereiro de 2025, reduziram a taxa de sucesso destas tentativas em testes automatizados de 86% para 4.4%; a versão de janeiro de 2026 reduziu o custo computacional cerca de 40 vezes em relação ao classificador de referência, recusando 0.05% do tráfego de produção.