Hallucination (in LLMs)

在**人工智能 (AI)**领域，幻觉是指大语言模型 (LLM)生成的内容自信且句法正确，但在事实上不准确、荒谬或背离源输入的一种现象。与可能导致崩溃或可见故障的标准软件错误不同，产生幻觉的模型表现得像一个令人信服的造假者，以与有效事实相同的权威性呈现虚假信息。这对于在医疗、法律和金融等数据完整性至关重要的敏感领域部署生成式 AI的组织来说，构成了重大的挑战。

为什么会发生幻觉？#

要理解模型为什么会出现幻觉，研究它们的构建方式会很有帮助。LLM 通常基于Transformer架构，该架构充当复杂的预测引擎。模型不会查询已验证事实的结构化数据库，而是根据从其训练数据中派生的统计概率，预测序列中的下一个token。

有几个因素驱动了这种行为：

• **概率猜测：**模型将流畅性和连贯性置于事实真相之上。如果特定的词语序列在统计学上是可能的（即使在事实上是错误的），模型也可能会生成它。这个概念经常在关于随机鹦鹉的研究中讨论，其中模型在不理解含义的情况下模仿语言模式。
• 数据质量问题： 如果用于训练的海量文本语料库包含矛盾、过时的信息或虚构内容，模型可能会复现这些不准确之处。
• **源失忆：**LLM 将大量信息压缩到模型权重中。在此过程中，它们经常丢失与特定来源的联系，从而导致“虚构症”，即不同的概念或事件被错误地合并在一起。

幻觉的现实世界示例#

幻觉可以以多种方式表现出来，从无害的创造性润色到严重的事实错误：

• **法律捏造：**有记录表明，法律专业人士曾使用 AI 起草简报，结果却发现模型捏造了不存在的法庭案件和引文来支持论点。
• 代码生成： 使用 AI 助手的开发人员可能会遇到“包幻觉”，即模型建议导入一个软件库或调用一个根本不存在的函数，仅仅是因为该名称遵循了标准的命名惯例。
• 传记错误： 当被问及不太出名的人物时，模型可能会自信地将不正确的成就、出生地或职业经历归于他们，有效地混合了来自多个人的细节。

缓解策略#

减少幻觉的发生频率是AI 安全的一个主要关注点。工程师和研究人员采用几种技术来将模型根植于现实中：

• **检索增强生成 (RAG)：**此方法将 LLM 连接到外部的可信知识库，该知识库通常索引在向量数据库中。通过在生成答案之前检索相关文档，模型受到实际数据的约束。
• **思维链提示：**这种提示词工程技术鼓励模型通过将复杂的推理分解为中间步骤来“展示其工作过程”，这通常可以减少逻辑错误。
• 基于人类反馈的强化学习 (RLHF)： 在微调阶段，人类评估者对模型的响应进行排名。通过惩罚幻觉并奖励真实性，模型学会了更好地与人类期望保持一致。

利用计算机视觉为 LLM 提供基础#

在多模态 AI系统中，可以使用视觉数据来扎根文本生成。如果要求 LLM 描述一个场景，它可能会产生不存在的对象的幻觉。通过集成高精度目标检测器（例如 YOLO26），开发者可以向 LLM 提供当前对象的客观列表，严格将其输出限制在已验证的检测结果范围内。

以下 Python 示例展示了如何使用 ultralytics 包来提取已验证的目标列表，然后该列表可以作为语言模型提示词的客观约束。

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

区分相关概念#

区分幻觉与其他常见的 AI 错误非常重要：

• **与AI 中的偏见的对比：**偏见是指输出中存在的系统性偏见（例如，偏袒某个群体而非另一个群体），而幻觉则是事实准确性的失败。回答可以是无偏见的，但仍然是幻觉（例如，“月亮是奶酪做的”）。
• **与过拟合的对比：**过拟合发生在模型对训练数据的记忆过于贴切，无法泛化到新输入时。当模型试图在缺乏数据的领域中进行过度泛化时，通常就会发生幻觉。
• **与错误分类的对比：**在目标检测中，将汽车标记为卡车是分类错误（准确性问题），而不是幻觉。幻觉专门指生成虚假内容的创造过程。

对于希望管理数据集并使用高数据完整性训练模型以防止下游错误的群体，Ultralytics 平台提供了用于标注和数据集管理的全面工具。此外，来自NIST AI 风险管理框架的指导为评估和缓解生产环境中的这些风险提供了标准。