了解“验证链”(CoVe)如何减少大型语言模型(LLM)的幻觉现象。学习Ultralytics ,通过这种提示工程技术来提高事实准确性。
“验证链”(CoVe)是一种先进的 提示工程技术,旨在减少 大型语言模型(LLM)输出中的 不准确性和事实错误。随着 人工智能系统日益复杂,它们倾向于自信地生成虚假信息——这一 现象被称为“LLM幻觉”——仍然 是一个重大挑战。 CoVe 通过强制模型在向用户呈现最终答案之前,系统性地对其初始 响应进行事实核查来解决这一问题。这种自我纠正机制显著提升了 各行业生成式人工智能应用的 可靠性。
CoVe方法论将生成过程分解为四个相互独立且顺序进行的步骤。这种结构化的方法 与人工事实核查的工作流程相呼应,目前正受到领先的人工智能机构的积极研究,旨在提升 人工智能的安全性和对齐性。
虽然 CoVe 常被与 “思维链提示法”相提并论,但二者 的目的并不相同。思维链提示法通过将复杂的 逻辑推理分解为逐步的组成部分来解决问题,从而鼓励模型“展示其推理过程”。 相比之下,验证链(CoVe)则专门 针对事实准确性,通过在草稿生成后对陈述进行审核和修订来实现。此外,CoVe 可以与 检索增强生成(RAG) 管道结合使用,在该过程中,验证步骤会从外部 向量数据库中提取真实数据,而非仅依赖于 模型的内部权重。
在事实准确性至关重要的领域,CoVe 具有显著优势。通过集成这一自我检查循环, 开发人员可以放心地 将高风险任务 交由人工智能系统处理。
为了增强 CoVe 的“执行”步骤,开发人员可以查询权威的 机器学习模型以获取真实数据。 例如,通过使用Ultralytics 进行 目标检测,大型语言模型(LLM)可以验证 关于图像的物理属性。团队可以利用直观的 Ultralytics 高效管理这些数据集并部署这些视觉模型。
下面的Python 示例演示了如何使用 ultralytics 用于提取经过验证的对象列表的包,
该列表可作为执行“验证链”步骤的LLM的事实依据来源。
from ultralytics import YOLO
# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")
# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")
# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]
# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']
通过整合来自高性能视觉框架(如 PyTorch 的确定性输出,开发者可以大幅减少生成错误 并构建健壮、值得信赖的 多模态AI应用程序。