Chain of Verification (CoVe)

A cadeia de verificação (CoVe) é um método de formulação de prompts que reduz as alucinações nas respostas de um modelo de linguagem de grande porte (LLM), levando o modelo a verificar os factos do próprio rascunho. O modelo redige uma primeira resposta, planeia perguntas curtas de verificação que testam cada afirmação factual nela contida, responde a essas perguntas sem consultar o rascunho e, em seguida, redige uma resposta final que mantém apenas as afirmações sustentadas pela verificação. Shehzaad Dhuliawala e colegas da Meta AI apresentaram o método no artigo de 2023 A cadeia de verificação reduz as alucinações em modelos de linguagem de grande porte. O método funciona porque os modelos respondem a perguntas curtas e específicas com mais precisão do que quando apresentam os mesmos factos numa resposta longa: nas experiências do artigo com perguntas que pediam a elaboração de listas, apenas cerca de 17% das entidades listadas pelo Llama 65B estavam corretas; ainda assim, o mesmo modelo respondeu corretamente a cerca de 70% das perguntas de verificação individuais.

Como funciona o Chain of Verification#

O CoVe executa quatro passos com o mesmo modelo:

1. Criar uma resposta inicial: O modelo responde normalmente à consulta. Se lhe pedirem para indicar políticos nascidos em Nova Iorque, pode listar Hillary Clinton, Donald Trump e Michael Bloomberg.
2. Planear perguntas de verificação: O modelo lê o seu rascunho e escreve uma pergunta para cada afirmação verificável, como «Onde nasceu Hillary Clinton?» e «Onde nasceu Michael Bloomberg?».
3. Responder a cada pergunta de forma independente: O modelo responde às perguntas em novos prompts que não contêm o rascunho, para não poder simplesmente repetir o erro anterior. Clinton nasceu em Chicago e Bloomberg em Boston, enquanto Trump nasceu em Queens.
4. Escrever a resposta final revista: O modelo revê o rascunho com base nas respostas, eliminando ou corrigindo todas as afirmações que falharam; neste caso, Trump é o único que permanece na lista.

A forma como o terceiro passo isola cada pergunta é importante. O artigo comparou quatro variantes: conjunta, em que o planeamento e as respostas acontecem num único prompt que ainda contém o rascunho; em dois passos, que responde a todas as perguntas num segundo prompt sem o rascunho; fatorizada, que responde a cada pergunta no seu próprio prompt; e fatorizada+revista, que acrescenta uma verificação explícita de cada resposta em relação à afirmação original. Todas as variantes que excluíram o rascunho dos prompts de verificação alucinaram menos do que a variante conjunta, porque um modelo que consegue ver o próprio rascunho tende a repetir os seus erros.

Resultados#

Com Llama 65B, o CoVe elevou a precisão em perguntas sobre listas do Wikidata de 0,17 para 0,36 e aumentou o F1 no benchmark fechado MultiSpanQA de 0,39 para 0,48. Em biografias longas, a variante factor+revise elevou o FActScore, a porcentagem de fatos atômicos respaldados pela Wikipédia, de 55,9 para 71,4, acima dos 58,7 relatados para o ChatGPT e dos 61,6 para o PerplexityAI baseado em recuperação. Os ganhos têm um custo em latência de inferência: as variantes fatoradas precisam de uma chamada adicional ao modelo por pergunta de verificação.

CoVe vs. técnicas relacionadas#

• Prompting de cadeia de pensamento: pede ao modelo que raciocine passo a passo antes de responder, o que ajuda com lógica e matemática. O CoVe audita as afirmações factuais depois que um rascunho existe.
• Geração aumentada por recuperação (RAG): fundamenta a resposta em documentos recuperados desde o início. O CoVe original depende apenas do conhecimento do próprio modelo, e os dois se combinam naturalmente quando as perguntas de verificação são respondidas por um mecanismo de busca ou índice de documentos.
• Entropia semântica: detecta possíveis alucinações amostrando várias respostas e medindo o quanto seus significados divergem. O CoVe vai além e corrige a resposta.
• Debate de IA: dois modelos defendem lados opostos para que um juiz possa identificar erros. O CoVe é um único modelo que verifica a si mesmo, sem um adversário.

Verificação de afirmações com ferramentas#

As perguntas de verificação não precisam ser respondidas com base na memória do modelo. Os pipelines direcionam essas perguntas a ferramentas que contêm a verdade de referência: um mecanismo de busca para fatos públicos, um banco de dados vetorial de documentos da empresa ou um modelo de visão para afirmações sobre uma imagem. Quando um modelo de visão e linguagem escreve uma legenda de imagem, um modelo de detecção de objetos Ultralytics YOLO26 pode responder a cada pergunta do tipo "quantos" com base na legenda, independentemente do rascunho:

from collections import Counter

from ultralytics import YOLO

# Claims extracted from a draft caption: "A bus, four people, and a bicycle on a street"
draft_counts = {"bus": 1, "person": 4, "bicycle": 1}

# Answer each verification question with a detector that never sees the draft
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
detected = Counter(result.names[int(c)] for c in result.boxes.cls)

# Keep claims the detector confirms and mark the rest for revision
for name, claimed in draft_counts.items():
    verdict = "keep" if detected[name] == claimed else f"revise to {detected[name]}"
    print(f"How many '{name}'? Draft: {claimed}, detector: {detected[name]} -> {verdict}")

Cada linha impressa é uma pergunta de verificação com a afirmação do rascunho, a resposta independente do detector e a decisão aplicada à legenda final.

Aplicações no mundo real#

• Saúde: assistentes que resumem literatura médica verificam nomes de medicamentos, dosagens e interações com perguntas separadas antes de um profissional de saúde ver o resumo.
• Perguntas e respostas: assistentes de busca e suporte verificam respostas em listas, datas e fatos biográficos, os tipos de afirmação em que o artigo mediu os maiores ganhos.
• Relatórios de fabricação: um LLM que redige um relatório de turno verifica cada defeito mencionado nos registros do sistema de inspeção antes de arquivar o relatório.
• Processamento de documentos: valores extraídos de contratos ou faturas são perguntados novamente, um campo de cada vez, e comparados com a primeira extração.

Limitações#

O CoVe detecta erros que o modelo comete de forma inconsistente e não consegue detectar uma crença falsa que o modelo mantém em todos os contextos, pois a resposta independente repete o mesmo erro. Ele verifica afirmações factuais, mas deixa intacto o raciocínio falho entre fatos corretos, além de multiplicar o número de chamadas ao modelo por resposta. Mesmo a melhor variante do artigo deixou 28,6% dos fatos atômicos de suas biografias sem respaldo, o restante do FActScore de 71,4.