深圳Yolo 视觉
深圳
立即加入
词汇表

验证链 (CoVe)

了解验证链 (CoVe) 如何减少大型语言模型 (LLM) 的幻觉。学习如何利用这一提示工程技术结合 Ultralytics YOLO26 提高事实准确性。

验证链(CoVe)是一种先进的提示工程技术,旨在减少大型语言模型(LLM)输出中的不准确性和事实错误。随着人工智能系统变得越来越复杂,它们自信地生成虚假信息的倾向——这种现象被称为LLM幻觉——仍然是一个重大挑战。CoVe通过强制模型系统地对其初始响应进行事实核查,然后再向用户呈现最终答案来解决这个问题。这种自我纠正机制显著提高了生成式AI应用在各个行业中的可靠性。

验证过程如何运作

CoVe 方法将生成过程分解为四个不同且连续的步骤。这种结构化方法反映了人类的事实核查工作流程,并被领先的 AI 组织积极研究,以提高 AI 安全性 和对齐性。

  • 起草初步响应: 模型生成对用户查询的基线答案。此草稿可能包含未经证实或幻觉化的主张。
  • 计划验证问题: 模型分析自己的草稿并生成一份具体的、有针对性的问题列表,旨在验证初始文本中提出的事实主张。
  • 执行独立验证: 模型独立回答验证问题,不依赖于原始草稿的上下文。这可以防止模型简单地确认自身的偏见或之前的错误。
  • 生成最终验证输出: 模型利用新验证的事实,修改初始草稿,消除不准确之处,并呈现一个经过完善的、真实的响应。

CoVe与相关技术的区别

尽管 CoVe 经常与 思维链提示 (Chain-of-Thought Prompting) 进行比较,但两者服务于不同的目的。思维链鼓励模型通过将复杂的逻辑推理分解为分步组件来“展示其工作”以解决问题。相比之下,验证链通过在草稿生成后审计和修订声明来专门针对事实准确性。此外,CoVe 可以与 检索增强生成 (RAG) 管道结合使用,其中验证步骤从外部 向量数据库 中提取真实数据,而不是仅仅依赖模型的内部权重。

实际应用

CoVe在事实准确性至关重要的领域中非常有益。通过集成这种自检循环,开发人员可以信任人工智能系统处理风险更高的任务。

  • 医疗和健康助理: 当 AI 总结患者症状或医学文献时,CoVe 确保系统在提供建议之前,根据既定的医学知识验证药物相互作用、剂量和诊断标准。
  • 自动化工业报告: 在智能工厂中,LLM可能会根据视觉检测日志生成一份摘要报告。通过将CoVe与计算机视觉模型结合,语言模型可以查询视觉系统,以验证在最终确定每日维护报告之前,装配线上是否确实检测到特定缺陷。

使用视觉模型进行验证基础

为增强CoVe的“执行”步骤,开发者可以查询权威的 机器学习 模型以获取真实数据。例如,使用 Ultralytics YOLO26 进行 目标检测,LLM可以验证图像的物理主张。团队可以使用直观的 Ultralytics Platform 高效管理这些数据集并部署这些视觉模型。

下面的Python 示例演示了如何使用 ultralytics 包,用于提取经过验证的对象列表,这可以作为执行验证链步骤的 LLM 的事实依据来源。

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

通过将来自PyTorch等高性能视觉框架的确定性输出集成到CoVe管道中,开发人员可以大幅减少生成错误,并构建健壮、可信的多模态AI应用。

让我们一起共建AI的未来!

开启您的机器学习未来之旅