幻觉（在 LLM 中）

在人工智能（AI）领域，幻觉现象指大型语言模型（LLM）生成内容时出现的情况：这些内容语法正确且充满自信，但事实错误、毫无意义或与原始输入不符。 与可能导致崩溃或可见故障的标准软件错误不同，产生幻觉的模型如同可信的造假者，以与真实事实同等的权威性呈现虚假信息。这对在医疗、法律和金融等数据完整性至关重要的敏感领域部署生成式AI的企业构成了重大挑战。

为什么会出现幻觉？

要理解模型为何会产生幻觉，了解其构建方式很有帮助。大型语言模型通常基于 Transformer 架构，本质上是 精密的预测引擎。它不查询结构化数据库中的验证事实，而是基于训练数据推导出的统计概率 预测序列中的下一个词元。

多种因素促成了这种行为：

• 概率性猜测：该模型优先考虑流畅性和连贯性而非事实准确性。若特定词语序列在统计学上具有较高概率——即使事实错误——模型仍可能生成该序列。这一概念常出现在关于"随机鹦鹉"的研究中，该模型通过模仿语言模式而非理解语义来生成文本。
• 数据质量问题：若用于训练的海量文本语料库包含矛盾信息、过时内容或虚构内容，模型可能复现这些不准确性。
• 来源遗忘症：大型语言模型将海量信息压缩为模型权重。在此过程中，它们常会丢失与具体来源的关联，导致"虚构记忆"现象——不同概念或事件被错误地合并。

幻觉的实际示例

幻觉的表现形式多种多样，从无害的创意润色到严重的事实错误：

• 法律造假：已有记录显示，法律从业者曾利用人工智能起草法律文书，却发现模型编造了虚构的法院案例和引文来支撑论点。
• 代码生成：使用AI助手的开发者可能会遇到"包幻觉"现象，即模型会建议导入某个软件库或调用某个函数，而这些实体实际上并不存在——仅仅因为它们的名字符合标准命名规范。
• 传记错误：当被问及知名度较低的人物时，模仿者可能自信地将错误的成就、出生地或职业经历归于他们，实际上将多人的细节混为一谈。

缓解策略

降低幻觉频率是人工智能安全领域的重要关注点。工程师和研究人员采用多种技术将模型锚定于现实：

• 检索增强生成（RAG）：该方法将大型语言模型与外部可信知识库相连接，该知识库通常以向量数据库形式索引。通过在生成答案前检索相关文档，模型得以受限于实际数据。
• 链式思维提示： 这种提示工程技术通过将复杂推理分解为中间步骤，促使模型"展示其推演过程"，从而有效减少逻辑错误。
• 基于人类反馈的强化学习（RLHF）：在微调阶段，人类评估者对模型的响应进行排序。通过惩罚幻觉并奖励真实性，模型学会更好地与人类期望保持一致。

利用计算机视觉为法律硕士奠定基础

在多模态人工智能系统中，文本生成可通过视觉数据实现锚定。若要求大型语言模型描述场景，其可能虚构不存在的物体。通过集成YOLO26等高精度物体检测器，开发者可向语言模型提供实际存在的物体清单，严格限制其输出内容仅限于经检测验证的物体。

以下Python 展示了如何使用 ultralytics 用于提取经验证的对象列表的包， 该列表可作为语言模型提示的实际约束条件。

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

区分相关概念

区分幻觉与其他常见AI错误至关重要：

• 人工智能中的偏见与幻觉：偏见指输出结果中的系统性歧视（例如对某一人群的偏袒），而幻觉则是事实准确性的缺失。一个响应可能既无偏见又存在幻觉（例如"月亮是由奶酪构成的"）。
• 过度拟合：当模型过度记忆训练数据而无法推广到新输入时，就会发生过度拟合。幻觉通常发生在模型试图过度推广到数据匮乏的领域时。
• 与误分类对比：在 物体检测中，将汽车标记为卡车属于 分类错误（准确性问题），而非幻觉。幻觉特指生成虚假内容的 创造行为。

对于希望管理数据集并训练模型以确保数据完整性、防止下游错误的用户Ultralytics 提供了全面的标注与数据集管理工具。此外，NIST人工智能风险管理框架的指导原则为生产环境中评估和缓解这些风险提供了标准依据。