Chain of Verification (CoVe)

La cadena de verificación (CoVe) es un método de creación de indicaciones que reduce las alucinaciones en las respuestas de los modelos de lenguaje grandes (LLM) haciendo que el modelo verifique los datos de su propio borrador. El modelo redacta una primera respuesta, planifica preguntas breves de verificación para comprobar cada afirmación factual, responde a esas preguntas sin consultar el borrador y, después, redacta una respuesta final que conserva solo las afirmaciones respaldadas por la verificación. Shehzaad Dhuliawala y sus colegas de Meta AI presentaron el método en el artículo de 2023 Chain-of-Verification Reduces Hallucination in Large Language Models. Funciona porque los modelos responden con más precisión a preguntas breves y concretas que cuando expresan los mismos datos en una respuesta larga: en los experimentos del artículo con preguntas de listas, solo alrededor del 17 % de las entidades enumeradas por Llama 65B eran correctas, aunque el mismo modelo respondió correctamente a cerca del 70 % de las preguntas de verificación individuales.

Cómo funciona la cadena de verificación#

CoVe consta de cuatro pasos con el mismo modelo:

1. Redacta una respuesta inicial: El modelo responde a la consulta con normalidad. Si se le pide que nombre a políticos nacidos en Nueva York, podría enumerar a Hillary Clinton, Donald Trump y Michael Bloomberg.
2. Planifica preguntas de verificación: El modelo lee su borrador y escribe una pregunta para cada afirmación que se pueda comprobar, como «¿Dónde nació Hillary Clinton?» y «¿Dónde nació Michael Bloomberg?».
3. Responde a cada pregunta de forma independiente: El modelo responde a las preguntas en nuevas indicaciones que no contienen el borrador, para que no pueda limitarse a repetir su error anterior. Clinton nació en Chicago y Bloomberg en Boston, mientras que Trump nació en Queens.
4. Redacta la respuesta final revisada: El modelo revisa el borrador a la luz de las respuestas y elimina o corrige todas las afirmaciones que no superan la comprobación; en este caso, solo queda Trump en la lista.

La rigurosidad con que el tercer paso aísla cada pregunta es importante. El artículo comparó cuatro variantes: conjunta, en la que la planificación y las respuestas tienen lugar en una sola indicación que todavía contiene el borrador; en dos pasos, que responde a todas las preguntas en una segunda indicación sin el borrador; factorizada, que responde a cada pregunta en su propia indicación; y factorizada con revisión, que añade una comprobación explícita de cada respuesta frente a la afirmación original. Todas las variantes que excluyeron el borrador de las indicaciones de verificación alucinaron menos que la variante conjunta, porque un modelo que puede ver su propio borrador tiende a repetir sus errores.

Resultados#

Con Llama 65B, CoVe elevó la precisión en las preguntas sobre listas de Wikidata de 0,17 a 0,36 y aumentó la puntuación F1 en la prueba de referencia MultiSpanQA sin documentos externos de 0,39 a 0,48. En biografías extensas, la variante factor+revise elevó FActScore, el porcentaje de hechos atómicos respaldados por Wikipedia, de 55,9 a 71,4, por encima del 58,7 indicado para ChatGPT y del 61,6 de PerplexityAI, basado en recuperación. Estas mejoras tienen un coste en latencia de inferencia: las variantes factorizadas necesitan una llamada adicional al modelo por cada pregunta de verificación.

CoVe frente a técnicas relacionadas#

• Prompts de cadena de pensamiento: Piden al modelo que razone paso a paso antes de responder, lo que ayuda con la lógica y las matemáticas. CoVe audita las afirmaciones factuales una vez que existe un borrador.
• Generación aumentada por recuperación (RAG): Fundamenta la respuesta en documentos recuperados desde el principio. El CoVe original se basa únicamente en el conocimiento propio del modelo, y ambos métodos se combinan de forma natural cuando las preguntas de verificación se responden mediante un motor de búsqueda o un índice de documentos.
• Entropía semántica: Detecta posibles alucinaciones tomando varias respuestas de muestra y midiendo cuánto difieren sus significados. CoVe va más allá y corrige la respuesta.
• Debate de IA: Dos modelos defienden posturas opuestas para que un evaluador pueda detectar errores. CoVe es un único modelo que se comprueba a sí mismo, sin adversario.

Verificación de afirmaciones con herramientas#

No es necesario responder a las preguntas de verificación recurriendo a la memoria del modelo. Las canalizaciones las envían a herramientas que contienen la información de referencia: un motor de búsqueda para datos públicos, una base de datos vectorial de documentos de la empresa o un modelo de visión para afirmaciones sobre una imagen. Cuando un modelo de visión y lenguaje redacta una descripción de imagen, un modelo de detección de objetos Ultralytics YOLO26 puede responder a cada pregunta del tipo «cuántos» a partir de la descripción, independientemente del borrador:

from collections import Counter

from ultralytics import YOLO

# Claims extracted from a draft caption: "A bus, four people, and a bicycle on a street"
draft_counts = {"bus": 1, "person": 4, "bicycle": 1}

# Answer each verification question with a detector that never sees the draft
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
detected = Counter(result.names[int(c)] for c in result.boxes.cls)

# Keep claims the detector confirms and mark the rest for revision
for name, claimed in draft_counts.items():
    verdict = "keep" if detected[name] == claimed else f"revise to {detected[name]}"
    print(f"How many '{name}'? Draft: {claimed}, detector: {detected[name]} -> {verdict}")

Cada línea impresa es una pregunta de verificación e incluye la afirmación del borrador, la respuesta independiente del detector y la decisión que aplica el pie de imagen final.

Aplicaciones en el mundo real#

• Sanidad: Los asistentes que resumen literatura médica verifican los nombres de los medicamentos, las dosis y las interacciones con preguntas independientes antes de que un profesional sanitario vea el resumen.
• Respuesta a preguntas: Los asistentes de búsqueda y soporte comprueban las respuestas a preguntas de listas, las fechas y los datos biográficos, que son los tipos de afirmaciones en los que el artículo midió las mayores mejoras.
• Informes de fabricación: Un LLM que redacta un informe de turno verifica cada defecto que menciona con los registros del sistema de inspección antes de presentar el informe.
• Procesamiento de documentos: Los valores extraídos de contratos o facturas se vuelven a preguntar campo por campo y se comparan con la primera extracción.

Limitaciones#

CoVe detecta errores que el modelo comete de forma inconsistente, pero no puede detectar una creencia falsa que el modelo mantiene en todos los contextos, ya que la respuesta independiente repite el mismo error. Comprueba las afirmaciones factuales, pero deja intactos los razonamientos defectuosos entre hechos correctos, y multiplica el número de llamadas al modelo por respuesta. Incluso la mejor variante del artículo dejó sin respaldo el 28,6 % de los hechos atómicos de sus biografías: el porcentaje restante de su FActScore de 71,4.