Chain of Verification (CoVe)

验证链 (CoVe) 是一种先进的 prompt engineering 技术，旨在减少 Large Language Models (LLMs) 输出中的不准确性和事实错误。随着人工智能系统变得越来越复杂，它们倾向于自信地生成错误信息（这种现象被称为 LLM hallucination），这仍然是一个重大的挑战。CoVe 通过强制模型在向用户提交最终答案之前系统地对其初步回复进行事实核查来解决这个问题。这种自我修正机制显著提高了 generative AI 应用在各个行业中的可靠性。

Link to this section验证过程是如何工作的#

CoVe 方法将生成过程分解为四个独立的顺序步骤。这种结构化的方法反映了人类的事实核查工作流程，并正被领先的 AI 组织积极研究，以改善 AI safety 和对齐。

• 草拟初步回复： 模型生成对用户查询的基准答案。这份草稿可能包含未经核实或产生的幻觉声明。
• 规划验证问题： 模型分析其自身的草稿，并生成一系列具体的、有针对性的问题，旨在验证初步文本中所做的事实声明。
• 执行独立验证： 模型独立回答验证问题，不依赖原始草稿的上下文。这防止了模型仅仅是确认其自身的偏见或之前的错误。
• 生成最终验证输出： 使用新验证的事实，模型修订初步草稿，删除不准确之处，并提供精炼的、真实的回应。

Link to this section区分 CoVe 与相关技术#

虽然 CoVe 常被与 Chain-of-Thought Prompting 相提并论，但两者的目的不同。思维链鼓励模型通过将复杂的逻辑推理分解为循序渐进的组件来“展示其工作过程”，从而解决问题。相比之下，验证链专门通过在生成草稿后对声明进行审计和修订来针对事实准确性。此外，CoVe 可以与 Retrieval-Augmented Generation (RAG) 流水线配对，在该流水线中，验证步骤从外部 vector database 中提取真实数据，而不是仅依赖模型内部的权重。

Link to this section实际应用#

CoVe 在事实准确性至关重要的领域非常有益。通过集成这种自查循环，开发者可以信任 artificial intelligence 系统处理更高风险的任务。

• 医疗和保健助手： 当 AI 总结患者症状或医学文献时，CoVe 可确保系统在提供建议之前根据既定的医学知识验证药物相互作用、剂量和诊断标准。
• 自动化工业报告： 在智能工厂中，LLM 可能会根据视觉检查日志生成总结报告。通过将 CoVe 与 computer vision 模型相结合，语言模型可以在最终确定每日维护报告之前查询视觉系统，以验证装配线上是否确实检测到了特定的缺陷。

Link to this section利用视觉模型进行基础验证#

为了增强 CoVe 的“执行”步骤，开发者可以查询权威的 machine learning 模型以获取真实数据。例如，使用 Ultralytics YOLO26 进行 object detection，LLM 可以验证关于图像的物理声明。团队可以使用直观的 Ultralytics Platform 高效管理这些数据集并部署这些视觉模型。

以下 Python 示例演示了如何使用 ultralytics 包提取已验证的对象列表，该列表可以作为执行验证链步骤的 LLM 的事实基础来源。

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

通过将来自高性能视觉框架（如 PyTorch）的确定性输出集成到 CoVe 流水线中，开发者可以大幅减少生成错误，并构建稳健、可信的 multimodal AI 应用。