Chain of Verification (CoVe)

A Cadeia de verificação (CoVe) é uma técnica avançada de engenharia de prompts concebida para reduzir imprecisões e erros factuais nas respostas dos grandes modelos de linguagem (LLMs). À medida que os sistemas de inteligência artificial se tornam mais complexos, a sua tendência para gerar informações falsas com confiança — um fenómeno conhecido como alucinação de LLM — continua a ser um desafio significativo. A CoVe resolve este problema ao obrigar o modelo a verificar sistematicamente os factos das suas respostas iniciais antes de apresentar uma resposta final ao utilizador. Este mecanismo de autocorreção melhora significativamente a fiabilidade das aplicações de IA generativa em vários setores.

Como funciona o processo de verificação#

A metodologia CoVe divide o processo de geração em quatro etapas distintas e sequenciais. Esta abordagem estruturada reproduz os fluxos de trabalho humanos de verificação de factos e é ativamente investigada pelas principais organizações de IA para melhorar a segurança da IA e o alinhamento.

• Elaborar uma resposta inicial: O modelo gera uma resposta de referência à consulta do utilizador. Este rascunho pode conter afirmações não verificadas ou alucinações.
• Planear perguntas de verificação: O modelo analisa o seu próprio rascunho e gera uma lista de perguntas específicas e direcionadas, concebidas para verificar as afirmações factuais feitas no texto inicial.
• Executar verificações independentes: O modelo responde às perguntas de verificação de forma independente, sem depender do contexto do rascunho original. Isto impede que o modelo simplesmente confirme os seus próprios enviesamentos ou erros anteriores.
• Gerar a resposta final verificada: Utilizando os factos recentemente verificados, o modelo revê o rascunho inicial, remove as imprecisões e apresenta uma resposta aperfeiçoada e verdadeira.

Diferenciar a CoVe de técnicas relacionadas#

Embora a CoVe seja frequentemente comparada ao Chain-of-Thought Prompting, as duas técnicas têm objetivos diferentes. O Chain-of-Thought incentiva o modelo a "mostrar o seu raciocínio", decompondo o raciocínio lógico complexo em componentes passo a passo para resolver um problema. Em contrapartida, a Cadeia de verificação visa especificamente a precisão factual, auditando e revendo as afirmações depois de gerar um rascunho. Além disso, a CoVe pode ser combinada com pipelines de Geração aumentada por recuperação (RAG), nos quais a etapa de verificação obtém dados de referência de uma base de dados vetorial externa, em vez de depender exclusivamente dos pesos internos do modelo.

Aplicações no mundo real#

A CoVe é altamente benéfica em áreas nas quais a precisão factual é crítica. Ao integrar este ciclo de autocontrolo, os programadores podem confiar os sistemas de inteligência artificial a tarefas de maior impacto.

• Assistentes médicos e de saúde: Quando uma IA resume os sintomas de um paciente ou literatura médica, a CoVe garante que o sistema verifica as interações medicamentosas, as dosagens e os critérios de diagnóstico com base no conhecimento médico estabelecido antes de fornecer recomendações.
• Relatórios industriais automatizados: Em fábricas inteligentes, um LLM pode gerar um relatório resumido com base nos registos de inspeção visual. Ao combinar a CoVe com modelos de visão computacional, o modelo de linguagem pode consultar o sistema de visão para verificar se um determinado defeito foi realmente detetado na linha de montagem antes de finalizar o relatório diário de manutenção.

Verificação fundamentada com modelos de visão#

Para melhorar a etapa de "Executar" da CoVe, os programadores podem consultar modelos autorizados de aprendizagem automática para obter dados de referência. Por exemplo, utilizando o Ultralytics YOLO26 para deteção de objetos, um LLM pode verificar afirmações físicas sobre uma imagem. As equipas podem gerir estes conjuntos de dados e implementar estes modelos de visão de forma eficiente utilizando a intuitiva Plataforma Ultralytics.

O exemplo seguinte em Python demonstra como utilizar o pacote ultralytics para extrair uma lista verificada de objetos, que pode servir como fonte de fundamentação factual para um LLM que executa uma etapa da Cadeia de verificação.

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Ao integrar resultados determinísticos de frameworks de visão de alto desempenho, como PyTorch, no pipeline da CoVe, os programadores podem reduzir drasticamente os erros generativos e criar aplicações robustas e fiáveis de IA multimodal.