幻觉（在 LLM 中）

在大型语言模型 (LLM) 的背景下，幻觉是指模型生成的文本自信且听起来合理，但实际上不正确、毫无意义或没有根据提供的源数据的情况。这些模型专为高级文本生成而设计，有时会捏造事实、来源或细节，并将其呈现为真实情况。发生这种情况是因为LLM的主要目标是预测序列中的下一个单词以形成连贯的句子，而不是验证其生成的信息的真实性。理解和减轻幻觉是使生成式人工智能更可靠的核心挑战。

为什么大型语言模型会出现幻觉？

幻觉并非有意欺骗，而是 LLM 的构建和训练方式的副产品。主要原因包括：

• 训练数据缺陷： 像 GPT-3 和 GPT-4 这样的模型从互联网上大量的文本中学习，这些文本不可避免地包含错误、过时的信息和 算法偏差。模型从其训练数据中学习这些模式，而没有对真理的内在理解。
• 架构设计（Architectural Design）： 底层的Transformer架构针对模式匹配和语言建模进行了优化，而不是针对事实回忆或逻辑推理。这可能导致一些研究人员所说的“随机鹦鹉”，即可以模仿语言而无法理解其含义的实体。
• 推理时模糊性： 在生成过程中，如果模型不确定下一个最佳token，它可能会用看似合理但捏造的信息“填补空白”。 调整温度等推理参数有时可以减少这种情况，但它仍然是一个核心挑战。 有关技术概述，请参阅 arXiv 上的这篇关于 LLM 幻觉的调查。

幻觉的实际示例

• 法律研究： 一位律师使用AI助手进行案例研究，要求它查找法律先例。聊天机器人引用了几个完全捏造的法庭案件，包括案件名称和法律分析，这些案件看似合理但并不存在。这一真实事件凸显了在高风险领域部署LLM而不进行可靠的事实核查所存在的严重风险。
• 产品推荐：用户向聊天机器人询问“带有内置太阳能电池板的最佳登山背包”。LLM 可能会自信地推荐一个特定型号，详细描述其功能，即使该特定产品或功能组合不存在。该模型结合了其训练数据中的概念，以创建一个看似合理但虚构的产品。

如何减少幻觉

研究人员和开发人员正在积极研究几种缓解策略：

• 检索增强生成 (RAG): 这种技术使 LLM 能够从外部权威知识库（如向量数据库）检索信息，然后再生成答案。通过将模型建立在可验证的事实基础上，RAG 显著减少了捏造。
• 更好的提示工程技巧: 像思维链提示这样的方法鼓励模型逐步分解其推理过程，这可以带来更准确的输出。关于思维链的原始研究论文显示了它的有效性。
• 基于人类反馈的强化学习 (RLHF): 模型使用 RLHF 进行改进，其中人类审查员对不同的模型响应进行评分。此反馈训练模型以优先选择真实和有用的答案，OpenAI和Anthropic等组织详细介绍了这一过程。
• 事实核查和验证层： 实施一个单独的流程，在将 LLM 的声明呈现给用户之前，对照可信来源交叉检查这些声明。这增加了一层负责任的 AI 开发。
• 高质量数据集和微调（High-Quality Datasets and Fine-Tuning）： 不断提高用于训练的数据质量，并在特定的高质量数据集上执行微调，可以帮助基础模型与事实准确性保持一致。

幻觉与其他 AI 错误

• AI 中的偏差： AI 中的偏差是指系统性错误，其中模型的输出不公平地偏袒某些群体，通常反映社会或数据集偏差。 幻觉是指事实上的不正确，不一定是偏见。 两者都是AI 伦理中需要认真考虑的问题。
• 计算机视觉错误： 幻觉的概念主要与自然语言处理 (NLP)相关。在计算机视觉 (CV)中，错误通常意味着像Ultralytics YOLO这样的模型在目标检测中犯了错误（例如，将猫错误分类为狗）或未能检测到目标，这与其准确性有关。这是一种感知错误，而不是信息的捏造。但是，随着合并视觉和语言的多模态模型变得越来越普遍，它们也可能“幻觉”图像的不正确描述。在 Ultralytics HUB 等平台上，可以简化这两种模型的管理。