幻觉（在 LLM 中）

在人工智能 (AI)领域，幻觉是指大语言模型 (LLM)生成的内容在语法上正确且自信，但事实不准确、毫无意义或与源输入不符的现象。与可能导致崩溃或可见故障的标准软件错误不同，出现幻觉的模型表现得像一个令人信服的编造者，以与有效事实相同的权威性呈现虚假信息。这给在医疗保健、法律和金融等对数据完整性至关重要的敏感领域部署生成式AI的组织带来了重大挑战。

幻觉为何发生？

为了理解模型产生幻觉的原因，了解它们的构建方式会很有帮助。大型语言模型 (LLM) 通常基于 Transformer 架构，该架构充当复杂的预测引擎。模型不是查询经过验证事实的结构化数据库，而是根据从其 训练数据 中得出的统计概率来预测序列中的下一个 token。

导致这种行为的因素有：

• 概率性猜测：模型优先考虑流畅性和连贯性而非事实真相。如果某个特定词序在统计学上是可能出现的——即使事实有误——模型也可能会生成它。这一概念常在关于随机鹦鹉的研究中被讨论，即模型模仿语言模式而不理解其含义。
• 数据质量问题: 如果用于训练的庞大文本语料库包含矛盾、过时信息或虚构内容，模型可能会重现这些不准确之处。
• 来源失忆：LLM 将大量信息压缩到模型权重中。在此过程中，它们通常会失去与特定来源的链接，导致“虚构”，即不同的概念或事件被错误地合并。

幻觉的实际示例

幻觉可以通过多种方式表现出来，从无害的创意修饰到严重的客观错误：

• 法律虚构：有记录显示，法律专业人士曾使用AI起草法律文书，却发现模型编造了不存在的法院案件和引文来支持论点。
• 代码生成: 使用 AI 助手的开发人员可能会遇到“包幻觉”，即模型建议导入一个实际上不存在的软件库或调用一个不存在的函数，仅仅因为其名称遵循标准命名约定。
• 传记错误：当被问及知名度较低的个人时，模型可能会自信地将不正确的成就、出生地或职业经历归因于他们，有效地混合了多个人的细节。

缓解策略

减少幻觉的频率是AI安全的一个主要关注点。工程师和研究人员采用多种技术使模型立足于现实：

• 检索增强生成 (RAG)：这种方法将 LLM 连接到一个外部的、可信的知识库，该知识库通常在向量数据库中进行索引。通过在生成答案之前检索相关文档，模型受到实际数据的约束。
• 思维链提示：这种提示工程技术鼓励模型通过将复杂的推理分解为中间步骤来“展示其工作”，这通常能减少逻辑错误。
• 基于人类反馈的强化学习 (RLHF)：在微调阶段，人类评估者对模型的响应进行排名。通过惩罚幻觉并奖励真实性，模型学会更好地与人类期望保持一致。

利用计算机视觉为法律硕士奠定基础

在多模态AI系统中，文本生成可以通过视觉数据进行“接地”（grounded）。如果要求LLM描述一个场景，它可能会幻觉出不存在的物体。通过集成像YOLO26这样的高精度目标detect器，开发者可以向LLM提供一个现有物体的真实列表，严格将其输出限制在经过验证的detections范围内。

以下python示例展示了如何使用 ultralytics 包来提取一个经过验证的物体列表，然后可以作为语言模型提示的事实约束。

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

区分相关概念

将幻觉与其他常见的AI错误区分开来很重要：

• 对比AI 偏见：偏见是指输出中存在的系统性偏颇（例如，偏袒某个群体而非另一个群体），而幻觉是事实准确性的失败。一个响应可以是不带偏见的，但却是幻觉（例如，“月亮是由奶酪制成的”）。
• 对比过拟合：过拟合是指模型过于紧密地记忆训练数据，无法泛化到新的输入。幻觉通常发生在模型试图在缺乏数据的领域过度泛化时。
• 对比误分类：在object detection中，将汽车标记为卡车是分类错误（准确性问题），而不是幻觉。幻觉特指虚假内容的生成性创建。

对于那些希望管理数据集并训练具有高数据完整性模型以防止下游错误的用户，Ultralytics Platform提供了全面的标注和数据集管理工具。此外，NIST AI风险管理框架的指导为评估和减轻生产环境中的这些风险提供了标准。