检索增强生成（RAG）

检索增强生成（RAG）是一种先进的人工智能框架，旨在提高大型语言模型（LLM）生成的回复的质量、准确性和相关性。它的工作原理是将生成模型连接到外部的最新知识库。这样，模型就能在生成答案之前 "检索 "相关信息，从而有效地将其输出建立在可验证的事实基础上，并降低出现幻觉或过时回答的可能性。RAG 使 LLM 能够访问未经培训的专业或专有信息，从而使 LLM 在执行知识密集型任务时更加可靠。

检索-增强生成如何工作

RAG 流程可分为两个主要阶段：检索和生成。这种双阶段方法结合了信息检索系统和生成模型的优势。

1. 检索：当用户发出提示或提出问题时，RAG 系统会首先利用提示搜索相关信息的知识源。这个知识源通常是一个包含文档、文章或其他数据嵌入的 向量数据库。检索器组件会根据用户的查询，识别并提取最相关的文本或数据片段。一个可选但功能强大的步骤是使用重选器来完善这些检索结果，确保只传递最重要的上下文信息。
2. 增强生成：然后将检索到的信息与原始用户提示相结合。这一新的、丰富的提示被输入到生成式人工智能模型（LLM）中。该模型利用这些新增的上下文来制定全面、准确和相关的回复。LangChain和LlamaIndex等框架通常用于构建和管理这些复杂的 RAG 管道。

应用与实例

在要求事实准确性和获取动态或专业数据的情况下，RAG 尤其有用。

• 高级答疑系统：客户支持聊天机器人可以使用 RAG 访问公司的整个知识库，包括产品手册、故障排除指南和政策文件。当客户询问 "我的产品保修政策是什么？"时，系统会检索最新的保修文件，并以此提供准确、最新的答案，这是对通用回答的重大改进。
• 内容创建和研究：金融分析师可以使用 RAG 驱动的工具撰写市场摘要。该工具可以从彭博社或路透社等可信来源检索最新的财务报告、市场新闻和股票表现数据。然后，LLM 将这些信息综合成一份连贯的报告，并附上引文，从而大大加快了研究过程。

RAG 与相关概念

将 RAG 与用于提高 LLM 成绩的其他方法区分开来是很有帮助的：

• 微调：微调通过在较小的专门数据集上继续训练来调整预先训练好的模型，从而修改模型的内部权重。与 RAG 不同，它在推理过程中不参考外部数据。微调非常适合向模型传授新的风格或技能，而 RAG 则更适合纳入事实知识。这些方法也可以互补。
• 提示工程：这是一个精心设计提示的人工过程，目的是从 LLM 获取所需的输出。RAG 可自动完成其中的一部分工作，即通过程序将检索到的数据添加（"增强"）到提示中，而不是依赖人工提供所有上下文。
• 迅速充实：虽然与 RAG 类似，但提示丰富化是一个更广泛的术语。它可能涉及从用户历史记录或对话流中添加上下文。RAG 是一种特殊的丰富类型，侧重于从外部知识库中检索事实信息，以作为模型响应的基础。

计算机视觉中的 RAG

虽然 RAG 主要用于自然语言处理 (NLP)，但其核心理念正被用于计算机视觉 (CV)任务。例如，系统可以检索相关的视觉信息，以指导图像生成或分析。这可能涉及从大型数据集中查找类似图像，以提高对象检测模型（如Ultralytics YOLO）的性能。Ultralytics HUB 等平台可以简化对这些复杂模型和数据集的管理，为未来使用 RAG 的多模式模型应用奠定基础。您可以在我们的博客 "利用 RAG 和计算机视觉增强人工智能"中探索相关的实现方法。