Chain of Verification (CoVe)
了解验证链 (CoVe) 如何减少 LLM 幻觉。学习如何使用这一提示工程技术,配合 Ultralytics YOLO26 提升事实准确性。
验证链 (CoVe) 是一种高级的 提示工程 技术,旨在减少 大型语言模型 (LLMs) 输出中的不准确内容和事实错误。随着人工智能系统变得日益复杂,它们自信地生成虚假信息的倾向——这一现象称为 LLM 幻觉——仍然是一项重大挑战。CoVe 通过强制模型在向用户呈现最终答案之前,系统地核查自己的初始响应来应对这一问题。这种自我纠错机制显著提升了 生成式 AI 应用在各个行业中的可靠性。
验证过程的工作原理#
CoVe 方法将生成过程拆分为四个明确且依次执行的步骤。这种结构化方法与人工事实核查工作流相似,并且正受到领先 AI 组织的积极研究,以改善 AI 安全 和对齐。
- 起草初始响应: 模型针对用户的查询生成一个基准答案。此草稿可能包含未经验证或由幻觉产生的断言。
- 规划验证问题: 模型分析自己的草稿,并生成一系列具体、针对性的问题,用于验证初始文本中的事实性断言。
- 执行独立验证: 模型独立回答验证问题,不依赖原始草稿的上下文。这样可以防止模型只是确认自己的偏见或先前的错误。
- 生成最终验证输出: 模型利用新近验证的事实修改初始草稿,删除不准确内容,并呈现经过完善且真实的响应。
区分 CoVe 与相关技术#
虽然 CoVe 经常与 思维链提示 相比较,但二者的用途不同。思维链提示通过将复杂的逻辑推理分解为逐步的组成部分来解决问题,鼓励模型“展示推理过程”。相比之下,验证链专门通过在草稿生成后审核和修改断言来确保事实准确性。此外,CoVe 还可以与 检索增强生成 (RAG) 流水线结合使用,在这种情况下,验证步骤会从外部 向量数据库 中提取真实数据,而不是完全依赖模型的内部权重。
实际应用#
在事实准确性至关重要的领域,CoVe 非常有益。通过集成这一自检循环,开发者可以更放心地将 人工智能 系统用于风险更高的任务。
- 医疗和健康助手: 当 AI 总结患者症状或医学文献时,CoVe 会确保系统在提供建议之前,根据既有医学知识核实药物相互作用、剂量和诊断标准。
- 自动化工业报告: 在智能工厂中,LLM 可能会根据视觉检测日志生成摘要报告。将 CoVe 与 计算机视觉 模型结合后,语言模型可以查询视觉系统,核实装配线上是否确实检测到特定缺陷,然后再完成每日维护报告。
利用视觉模型进行验证溯源#
为了增强 CoVe 的“执行”步骤,开发者可以查询权威的 机器学习 模型以获取真实数据。例如,使用 Ultralytics YOLO26 进行 目标检测 时,LLM 可以验证有关图像的物理事实断言。团队可以使用直观的 Ultralytics Platform 高效管理这些数据集并部署这些视觉模型。
以下 Python 示例演示了如何使用 ultralytics 软件包提取经过验证的对象列表,该列表可以作为 LLM 执行验证链步骤时的事实溯源来源。
from ultralytics import YOLO
# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")
# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")
# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]
# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']通过将 PyTorch 等高性能视觉框架的确定性输出集成到 CoVe 流水线中,开发者可以大幅减少生成错误,并构建稳健、可信的 多模态 AI 应用。









