利用 RAG 和计算机视觉增强 AI 应用

使用 ChatGPT 或 Gemini 等 AI 工具来查找信息正迅速成为常见做法。无论你是在起草消息、总结文档还是回答问题，这些工具通常都能提供更快、更简单的解决方案。

但如果你用过几次大型语言模型 (LLM)，可能已经注意到它们的局限。遇到高度具体或有时效性的查询时，它们可能会给出错误答案，而且往往语气十分肯定。

这是因为独立运行的 LLM 只能依赖训练时使用的数据。它们无法获取最新动态，也无法掌握该数据集之外的专业知识。因此，它们的回答可能已经过时或不准确。

为了解决这个问题，研究人员开发了一种称为检索增强生成 (RAG)的方法。RAG 通过让语言模型在回答查询时从可信来源获取最新的相关信息，来增强模型的能力。

本文将探讨 RAG 的工作原理，以及它如何通过检索最新的相关信息来增强 AI 工具。我们还将介绍它如何与计算机视觉协同工作。计算机视觉是人工智能的一个领域，专注于解读视觉数据，能帮助系统理解的不只是文本，还有图像、版面布局和视觉结构复杂的文档。

了解检索增强生成 (RAG)#

向 AI 聊天机器人提问时，我们通常希望得到的不只是听起来不错的回答。理想情况下，好的回答应该清晰、准确，而且确实有帮助。要做到这一点，AI 模型需要的不只是语言能力，还需要获取正确信息，尤其是在处理具体或时效性强的话题时。

RAG 是一种弥合这一差距的技术。它将语言模型理解和生成文本的能力，与从外部来源检索相关信息的能力结合起来。模型不再只依赖训练数据，而是在组织回答时主动从可信知识库中提取辅助内容。

图 1. RAG 的主要应用场景。图片由作者提供。

你可以把它想象成向某人提问，而对方在回答之前先查阅可靠的参考资料。回答依然是用对方自己的话表达，但其中融入了最新、最相关的信息。

这种方法能帮助 LLM 给出更完整、更准确且更贴合用户查询的答案，让它们在准确性至关重要的现实应用中可靠得多。

看看 RAG 的工作原理#

RAG 通过引入两个关键步骤来增强大型语言模型的回答能力：检索和生成。首先，它从外部知识库中检索相关信息。然后，它利用这些信息生成结构完整、结合上下文的回答。

我们来看一个简单示例，了解这一过程的运作方式。假设你正在使用 AI 助手管理个人财务，并想确认自己本月是否控制在预算目标内。

当你问助手“我这个月有没有遵守预算？”时，整个流程就开始了。系统不会只依赖训练时学到的内容，而是使用检索器搜索你最近的财务记录，例如银行对账单或交易摘要。它会着重理解你问题背后的意图，并收集最相关的信息。

检索到这些信息后，语言模型便会开始处理。它会结合你的问题和从记录中提取的数据，生成清晰且有帮助的回答。它不会罗列原始细节，而是总结你的支出，并提供直接、有意义的见解，例如确认你是否达成目标，以及指出主要支出类别。

这种方法能让 LLM 提供不仅准确、而且以你真实的最新信息为依据的回答，因此比只使用静态训练数据的模型实用得多。

图 2. 了解 RAG 的工作原理。

多模态 RAG 系统的必要性#

信息并不总是以纯文本形式呈现。从医学扫描图和示意图，到演示文稿幻灯片和扫描文档，视觉内容往往包含重要细节。传统 LLM 主要用于阅读和理解文本，因此可能难以处理这类内容。

不过，可以将 RAG 与计算机视觉结合起来弥补这一差距。两者结合后，就形成了所谓的多模态 RAG系统——它既能处理文本，也能处理视觉内容，帮助 AI 聊天机器人给出更准确、更全面的回答。

这种方法的核心是视觉语言模型 (VLM)，它们专为处理和推理这两种输入而设计。在这种方案中，RAG 从大型数据源中检索最相关的信息，而由计算机视觉支持的 VLM 则负责解读图像、版面布局和示意图。

这对扫描表格、医疗报告或演示文稿幻灯片等真实场景中的文档尤其有用，因为重要细节可能同时出现在文本和视觉内容中。例如，在分析包含图像、表格和段落的文档时，多模态系统可以提取视觉元素、生成其内容摘要，并将摘要与周围文本结合起来，从而提供更完整、更有帮助的回答。

图 3. 多模态 RAG 结合图像和文本，提供更好的答案。

RAG 在视觉数据中的应用#

现在我们已经讨论了 RAG 是什么，以及它如何与计算机视觉协同工作，接下来看看一些展示这种方法实际应用的案例和研究项目。

使用 VisRAG 理解视觉文档#

假设你要从财务报告或扫描版法律文件中提取见解。这类文件通常不仅包含文本，还包括有助于解释信息的表格、图表和版面布局。简单的语言模型可能会忽略或误解这些视觉元素，导致回答不完整或不准确。

研究人员开发了 VisRAG 来应对这一挑战。它是一种基于 VLM 的 RAG 流水线，将每一页都视为图像，而不是只处理文本。这样，系统就能理解文档内容及其视觉结构。因此，它可以找出最相关的部分，并根据文档的完整上下文给出更清晰、更准确的答案。

图 4. VisRAG 可以将文档作为图像读取，以获取文本内容和版面布局。

使用 RAG 进行视觉问答#

视觉问答（VQA）是一项让 AI 系统回答有关图像问题的任务。许多现有 VQA 系统专注于回答单个文档中的问题，无需搜索其他信息，这称为封闭式设置。

VDocRAG 是一种采用更贴近现实方式的 RAG 框架。它将 VQA 与先检索相关文档的能力结合起来。这适用于真实场景：用户的问题可能涉及多个文档中的任意一个，系统需要先找到正确的文档再作答。为此，VDocRAG 使用 VLM 将文档作为图像进行分析，同时保留文本和视觉结构。

这让 VDocRAG 在企业搜索、文档自动化和客户支持等应用中尤为有用。它可以帮助团队快速从复杂的可视化文档（如手册或政策文件）中提取答案，因为理解版面布局与阅读文字同样重要。

图 5. VDocRAG 与基于 LLM 的解决方案之间的区别。

借助 RAG 改进图像字幕生成#

图像字幕生成是指为图像中的内容生成文字描述。这项技术用于各种应用，从提升在线内容的无障碍体验，到支持图像搜索、内容审核和推荐系统。

不过，AI 模型并不总能轻松生成准确的字幕。当图像展示的内容与模型训练时接触到的内容不同时，生成准确字幕尤其困难。许多字幕生成系统高度依赖训练数据，因此遇到陌生场景时，生成的字幕可能含糊不清或不准确。

为了解决这一问题，研究人员开发了 Re-ViLM，一种将检索增强生成 (RAG) 引入图像字幕生成的方法。Re-ViLM 不会从头生成字幕，而是从数据库中检索相似的图像-文本对，并以此引导字幕生成。

这种基于检索的方法能帮助模型以相关示例为依据生成描述，从而提高准确性和流畅度。初步结果表明，Re-ViLM 利用真实示例生成更自然、更结合上下文的字幕，有助于减少含糊或不准确的描述。

图 6. Re-ViLM 通过检索视觉-文本示例改进图像字幕。

使用 RAG 理解视觉数据的优缺点#

下面快速了解将检索增强生成技术用于检索和利用视觉信息的好处：

• 增强摘要能力：摘要可以融入视觉内容带来的见解（例如图表趋势或信息图元素），而不只是总结文本。
• 更稳健的搜索与检索：即使文本中没有关键词，检索步骤也能借助图像理解找出相关的视觉页面。
• 支持扫描件、手写内容或基于图像的文档：由 VLM 支持的 RAG 流水线可以处理纯文本模型无法读取的内容。

尽管有这些好处，使用 RAG 处理视觉数据时仍有一些局限需要注意。以下是其中几个主要问题：

• 计算需求高：同时分析图像和文本会占用更多内存和计算能力，可能拖慢性能或增加成本。
• 数据隐私与安全问题：视觉文档，尤其是医疗保健或金融等行业的文档，可能包含敏感信息，增加检索和处理工作流的复杂性。
• 推理时间更长：由于视觉处理增加了复杂性，与纯文本系统相比，生成回答可能需要更长时间。

要点#

检索增强生成正在改善大型语言模型回答问题的方式，让模型能够从外部来源获取最新的相关信息。将这类系统与计算机视觉结合后，它们便不仅能处理文本，还能处理图表、表格、图像和扫描文档等视觉内容，从而给出更准确、更全面的回答。

这种方法让 LLM 更适合处理涉及复杂文档的现实任务。通过结合检索和视觉理解，这些模型能够更有效地解读多种格式，并在实际日常场景中提供更有用的见解。

加入我们不断壮大的社区！访问我们的 GitHub 代码库，深入了解 AI。准备好启动自己的计算机视觉项目了吗？查看我们的许可选项。前往我们的解决方案页面，进一步了解医疗保健领域的 AI和零售领域的计算机视觉！