深圳Yolo 视觉
深圳
立即加入
词汇表

代理式RAG

探索智能代理式RAG技术,通过自主推理增强人工智能能力。Ultralytics Ultralytics 如何驱动智能检索与视觉处理。

智能检索增强生成(Agentic RAG)是一种先进的人工智能(AI)架构,通过整合自主AI智能体来增强传统检索系统。标准RAG管道采用线性"检索-生成"流程,而智能RAG则赋能大型语言模型(LLM)充当智能协调者。 该智能体能独立解析用户提示,判断是否需要外部信息,构造多重检索查询,评估检索数据,并通过迭代优化研究直至生成全面准确的答案。借助函数调用与工具使用能力,这类系统可动态调度查询任务至各类数据库、API及分析工具,在处理复杂多步骤问题时显著降低LLM的幻觉现象

代理式RAG系统如何运作

代理式RAG的核心创新在于其循环推理能力。领先的 代理式AI框架 将此过程构建为动态的自主工作流:

  • 查询规划与路由:代理将复杂问题分解为更小、更易处理的子任务,并将每个子任务路由到最合适的工具或向量数据库
  • 迭代检索:与静态检索不同,智能体会复盘已获取的文档。若上下文信息不足,它将重新制定 检索策略并再次发起查询。
  • 工具集成: 该代理能够编写并执行代码、进行数学运算,或触发 机器学习(ML)模型即时合成 新数据。

代理式RAG与标准RAG

要实现稳健的生成式管道,关键在于区分代理式RAG与其基础概念:

  • 标准检索增强生成(RAG): 采用单次处理模式。该方法基于语义相似性检索文档并生成响应。其 在处理复杂逻辑时存在局限,尤其当需要跨多步骤整合分散数据源时。
  • 代理式RAG: 引入决策机制与循环处理。智能体在评估检索质量后,可在最终生成前触发后续搜索或调用不同工具。
  • 多模态RAG:专注于检索多样化数据类型(图像、文本、视频)。智能代理式RAG可控制多模态RAG 管道,决定何时搜索视觉数据库或文本文档。

实际应用

智能RAG系统正通过自动化深度研究和复杂故障排除任务,重塑各行各业,其运作方式模拟人类的分析推理过程。

  • 企业知识合成:在企业环境中,智能体可能收到"总结我们第三季度业绩,并与主要竞争对手最新财报进行对比"的指令。该智能体将自主查询内部财务数据库,实时搜索竞争对手的公开文件,运用计算工具分析数据,并起草一份综合简报。
  • 自主质量检测在制造过程中,智能体可被赋予识别组装故障根本原因的任务。它能触发计算机视觉(CV)模型对实时摄像头画面进行检测,查询历史维护日志,并基于视觉与文本证据综合生成诊断报告。

将视觉人工智能集成到智能工作流中

视觉模型作为代理型RAG系统与物理世界交互的强大感知工具。例如,代理可Ultralytics 图像或视频流中动态提取视觉上下文以响应用户查询。开发者Ultralytics 管理这些定制化视觉工具的数据标注与训练工作。

以下Python 演示了AI智能体如何通过编程方式调用YOLO26从图像中提取结构化观察结果,为其下一个推理步骤收集事实背景信息。

from ultralytics import YOLO

# Initialize YOLO26 for the agent's visual retrieval tool
model = YOLO("yolo26n.pt")

# The agent invokes the model on an image to gather visual facts
results = model("https://ultralytics.com/images/bus.jpg")

# The agent parses the detected objects to formulate its next query or action
visual_context = [model.names[int(c)] for c in results[0].boxes.cls]
print(f"Agent Observation: I currently see {', '.join(visual_context)}.")

通过将高性能视觉模型与推理引擎相连接,智能代理式问答系统(Agentic RAG)弥合了静态知识检索与动态现实空间智能之间的鸿沟。欲深入了解自主系统的发展态势,斯坦福人工智能指数报告提供了对智能代理能力的全面追踪。

使用Ultralytics YOLO增强动力

为您的项目获取高级 AI 视觉。立即找到适合您目标的许可证。

探索许可选项