Hallucination (in LLMs)

在 人工智能 (AI) 领域，幻觉是指一种现象，即 大语言模型 (LLM) 生成的内容虽然自信且语法正确，但却在事实上不准确、荒谬或不忠实于源输入。与可能导致崩溃或明显故障的标准软件错误不同，产生幻觉的模型表现得像一个令人信服的造假者，以呈现有效事实的权威姿态来陈述虚假信息。这对于在医疗、法律和金融等敏感领域部署 生成式 AI 的组织来说，构成了严峻挑战，因为在这些领域数据完整性至关重要。

Link to this section为什么会发生幻觉？#

To understand why models hallucinate, it is helpful to look at how they are built. LLMs are typically based on the Transformer architecture, which functions as a sophisticated prediction engine. Instead of querying a structured database of verified facts, the model predicts the next token in a sequence based on statistical probabilities derived from its training data.

有几个因素驱动了这种行为：

• 概率性猜测： 模型优先考虑流畅性和连贯性，而不是事实真相。如果特定的词序在统计学上是可能的——即使在事实上是错误的——模型也可能会生成它。这个概念经常在关于 随机鹦鹉 的研究中被讨论，即模型在不理解含义的情况下模仿语言模式。
• 数据质量问题： 如果用于训练的海量文本语料库包含矛盾、过时的信息或虚构内容，模型可能会复现这些不准确之处。
• 源遗忘： LLM 将海量信息压缩为 模型权重。在此过程中，它们经常失去与特定来源的链接，导致“虚构”，即不同的概念或事件被错误地合并在一起。

Link to this section幻觉的现实世界示例#

幻觉可以以多种方式表现出来，从无害的创造性润色到严重的事实错误：

• 法律捏造： 有记录在案的实例表明，法律专业人士使用 AI 起草辩护状，结果发现模型编造了 不存在的法庭案件 和引用来支持论点。
• 代码生成： 使用 AI 助手的开发人员可能会遇到“包幻觉”，即模型建议导入一个软件库或调用一个根本不存在的函数，仅仅是因为该名称遵循了标准的命名惯例。
• 传记错误： 当被问及不太出名的人物时，模型可能会自信地将不正确的成就、出生地或职业经历归于他们，有效地混合了来自多个人的细节。

Link to this section缓解策略#

减少幻觉的频率是 AI 安全 的重点关注领域。工程师和研究人员采用多种技术将模型扎根于现实：

• 检索增强生成 (RAG)： 这种方法将 LLM 连接到一个外部的、受信任的知识库，该知识库通常索引在 向量数据库 中。通过在生成答案之前检索相关文档，模型受到实际数据的约束。
• 思维链提示： 这种 提示工程 技术鼓励模型通过将复杂的推理分解为中间步骤来“展示其工作过程”，这通常可以减少逻辑错误。
• 基于人类反馈的强化学习 (RLHF)： 在微调阶段，人类评估者对模型的响应进行排名。通过惩罚幻觉并奖励真实性，模型学会了更好地与人类期望保持一致。

Link to this section利用计算机视觉为 LLM 提供基础#

在 多模态 AI 系统中，文本生成可以使用视觉数据进行基础支撑。如果要求 LLM 描述一个场景，它可能会产生幻觉，描绘出不存在的物体。通过集成像 YOLO26 这样的高精度目标检测器，开发人员可以向 LLM 提供一份真实的现有物体列表，从而严格将其输出限制在经过验证的检测结果内。

下面的 Python 示例展示了如何使用 ultralytics 包来提取经过验证的物体列表，该列表随后可以作为语言模型提示的事实约束。

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Link to this section区分相关概念#

区分幻觉与其他常见的 AI 错误非常重要：

• 与 AI 偏差 的区别： 偏差是指输出中的系统性偏见（例如，偏袒某一特定人群而非另一人群），而幻觉则是事实准确性的失败。回答可以是没有偏差的，但却是幻觉产生的（例如，“月亮是由奶酪制成的”）。
• 与 过拟合 的区别： 过拟合发生在模型过度记忆训练数据且无法泛化到新输入时。幻觉通常发生在模型试图在缺乏数据的领域中进行“过度”泛化时。
• 与错误分类的区别： 在 目标检测 中，将汽车标记为卡车是一个分类错误（准确性问题），而不是幻觉。幻觉特定于生成式创造虚假内容。

对于那些希望管理数据集并训练具有高数据完整性的模型以防止下游错误的人来说，Ultralytics Platform 提供了用于标注和数据集管理的综合工具。此外，来自 NIST AI 风险管理框架 的指导为在生产环境中评估和减轻这些风险提供了标准。