Chain of Verification (CoVe)

Chain of Verification (CoVe) es una técnica avanzada de ingeniería de prompts diseñada para reducir las imprecisiones y los errores factuales en los resultados de los Grandes Modelos de Lenguaje (LLMs). A medida que los sistemas de inteligencia artificial se vuelven más complejos, su tendencia a generar información falsa con seguridad —un fenómeno conocido como alucinación de LLM— sigue siendo un desafío importante. CoVe aborda esto obligando al modelo a verificar sistemáticamente sus propias respuestas iniciales antes de presentar una respuesta final al usuario. Este mecanismo de autocorrección mejora significativamente la fiabilidad de las aplicaciones de IA generativa en diversos sectores.

Link to this sectionCómo funciona el proceso de verificación#

La metodología CoVe divide el proceso de generación en cuatro pasos distintos y secuenciales. Este enfoque estructurado refleja los flujos de trabajo de verificación de hechos humanos y es investigado activamente por organizaciones líderes de IA para mejorar la seguridad de la IA y la alineación.

• Redactar una respuesta inicial: El modelo genera una respuesta base a la consulta del usuario. Este borrador puede contener afirmaciones no verificadas o alucinadas.
• Planificar preguntas de verificación: El modelo analiza su propio borrador y genera una lista de preguntas específicas y dirigidas, diseñadas para verificar las afirmaciones factuales realizadas en el texto inicial.
• Ejecutar verificaciones independientes: El modelo responde a las preguntas de verificación de forma independiente, sin depender del contexto del borrador original. Esto evita que el modelo confirme simplemente sus propios sesgos o errores previos.
• Generar el resultado final verificado: Utilizando los hechos recién verificados, el modelo revisa el borrador inicial, eliminando imprecisiones y presentando una respuesta refinada y veraz.

Link to this sectionDiferenciación de CoVe frente a técnicas relacionadas#

Aunque CoVe se compara a menudo con el Chain-of-Thought Prompting, ambas sirven para propósitos diferentes. Chain-of-Thought anima a un modelo a "mostrar su trabajo" desglosando el razonamiento lógico complejo en componentes paso a paso para resolver un problema. Por el contrario, Chain of Verification se dirige específicamente a la precisión factual mediante la auditoría y revisión de las afirmaciones después de producir un borrador. Además, CoVe puede emparejarse con tuberías de Retrieval-Augmented Generation (RAG), donde el paso de verificación extrae datos de referencia de una base de datos vectorial externa en lugar de confiar únicamente en los pesos internos del modelo.

Link to this sectionAplicaciones en el mundo real#

CoVe es altamente beneficioso en dominios donde la precisión factual es crítica. Al integrar este bucle de autoverificación, los desarrolladores pueden confiar en sistemas de inteligencia artificial para tareas de mayor riesgo.

• Asistentes médicos y sanitarios: Cuando una IA resume síntomas de pacientes o literatura médica, CoVe garantiza que el sistema verifique las interacciones medicamentosas, dosis y criterios diagnósticos frente a conocimientos médicos establecidos antes de ofrecer recomendaciones.
• Informes industriales automatizados: En fábricas inteligentes, un LLM podría generar un informe resumen basado en registros de inspección visual. Al combinar CoVe con modelos de visión artificial, el modelo de lenguaje puede consultar al sistema de visión para verificar si un defecto específico fue realmente detectado en la línea de montaje antes de finalizar el informe de mantenimiento diario.

Link to this sectionFundamentar la verificación con modelos de visión#

Para mejorar el paso de "Ejecución" de CoVe, los desarrolladores pueden consultar modelos de machine learning autorizados para obtener datos de referencia. Por ejemplo, utilizando Ultralytics YOLO26 para detección de objetos, un LLM puede verificar afirmaciones físicas sobre una imagen. Los equipos pueden gestionar estos conjuntos de datos de forma eficiente e implementar estos modelos de visión utilizando la intuitiva Ultralytics Platform.

El siguiente ejemplo en Python demuestra cómo utilizar el paquete ultralytics para extraer una lista verificada de objetos, la cual puede actuar como una fuente de fundamentación factual para un LLM que ejecute un paso de Chain of Verification.

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Al integrar resultados deterministas de marcos de visión de alto rendimiento como PyTorch en la tubería de CoVe, los desarrolladores pueden reducir drásticamente los errores generativos y construir aplicaciones de IA multimodal robustas y fiables.