幻觉（在法律硕士中）

在大语言模型（LLMs）中，幻觉指的是模型生成的文本听起来很有把握、很可信，但与事实不符、不合逻辑或不基于所提供的源数据的现象。这些专为高级文本生成而设计的模型有时会编造事实、来源或细节，把它们说得好像是真的一样。之所以会出现这种情况，是因为LLM 的主要目标是预测序列中的下一个单词，以形成连贯的句子，而不是验证所生成信息的真实性。理解并减少幻觉是让生成式人工智能更加可靠的核心挑战。

为什么法律硕士会产生幻觉？

幻觉并非有意欺骗，而是建立和训练 LLM 的副产品。主要原因包括

• 训练数据不完善： GPT-3和GPT-4等模型从互联网上的大量文本中学习，这些文本不可避免地包含错误、过时信息和算法偏差。模型从其训练数据中学习这些模式，而对真相没有内在的理解。
• 架构设计：底层Transformer架构针对模式匹配和语言建模进行了优化，而不是针对事实回忆或逻辑推理。这可能会导致一些研究人员所说的"随机鹦鹉"，一种可以模仿语言却不理解其含义的实体。
• 推理时间模糊性：在生成过程中，如果模型无法确定下一个最佳标记，它可能会用似是而非的信息来 "填补空白"。调整推理参数（如温度）有时可以减少这种情况，但它仍然是一个核心挑战。有关技术概述，请参阅arXiv 上关于 LLM 幻觉的调查。

现实世界中的幻觉实例

• 法律研究：一位使用人工智能助手进行案例研究的律师要求它查找法律先例。聊天机器人引用了几个完全捏造的法庭案例，包括似是而非的案例名称和法律分析。这一真实事件凸显了在高风险领域部署法律硕士而不进行严格事实核查的严重风险。
• 产品推荐：用户向聊天机器人询问 "内置太阳能电池板的最佳徒步旅行背包"。LLM 可能会自信地推荐一个特定的模型，并详细描述其功能，即使该特定产品或功能组合并不存在。该模型将训练数据中的概念结合起来，创造出一个似是而非的虚构产品。

如何减少幻觉

研究人员和开发人员正在积极研究几种缓解策略：

• 检索增强生成（RAG）：这种技术使 LLM 能够在生成答案之前从外部权威知识库（如矢量数据库）中检索信息。通过将模型建立在可验证的事实基础上，RAG 大大减少了捏造。您可以从 IBM Research 了解有关RAG 工作原理的更多信息。
• 更好的提示技术：思维链提示等方法可鼓励模型逐步分解推理，从而获得更准确的输出结果。关于思维链的原始研究论文显示了其有效性。
• 从人类反馈中强化学习（RLHF）：使用 RLHF 对模型进行改进，由人类评审员对不同的模型响应进行评分。这种反馈会训练模型更倾向于选择真实和有帮助的答案，OpenAI和Anthropic 等组织详细介绍了这一过程。
• 事实检查和验证层：在将输出结果呈现给用户之前，实施一个单独的流程，根据可信来源对 LLM 提出的主张进行交叉检查。这为负责任的人工智能开发增添了一层保障。
• 高质量数据集和微调：不断提高用于训练的数据质量，并在特定的高质量数据集上进行微调，有助于使基础模型与事实准确性保持一致。

幻觉与其他人工智能错误

• 人工智能中的偏见： 人工智能中的偏见指的是系统性错误，即模型的输出结果不公平地偏向某些群体，通常反映了社会或数据集的偏见。幻觉是指事实不正确，不一定是偏见。两者都是人工智能伦理中的严重问题。
• 计算机视觉错误：幻觉的概念主要与自然语言处理（NLP）有关。在计算机视觉（CV）中，错误通常是指Ultralytics YOLO等模型在检测物体时出现错误（例如，将猫误认为狗），或未能检测到物体，这关系到其准确性。这是感知错误，而不是信息发明。然而，随着融合视觉和语言的多模态模型越来越常见，它们也可能 "幻化 "出错误的图像描述。Ultralytics HUB 等平台可以简化对这两类模型的管理。