深圳Yolo 视觉
深圳
立即加入
词汇表

Prompt Chaining

了解提示链如何将复杂的 AI 任务分解为可靠的工作流。探索如何将 Ultralytics YOLO26 与 LLM 集成以构建高级 AI 代理。

提示链是人工智能 (AI)开发中的一种先进架构模式,它将复杂任务分解为一系列更小、更易管理的子任务。在此工作流中,一个步骤的输出——通常由大型语言模型 (LLM)或计算机视觉系统生成——作为后续步骤的输入。与试图一次性解决多方面问题的单一整体提示不同,链式结构允许开发者构建更可靠、可测试和功能更强大的应用程序。这种模块化方法对于创建能够进行推理、浏览网页或与物理环境交互的复杂AI 代理至关重要。

链式结构机制

其核心在于,提示链解决了基础模型中上下文窗口和推理能力的局限性。当模型被要求在单个请求中执行过多不同的操作时(例如,“分析此图像,提取文本,将其翻译成西班牙语,并将其格式化为 JSON 发票”),错误概率会增加。通过将其分解为管道,开发者可以验证每个阶段的准确性

有效的链式结构通常利用用Python编写或由LangChain等编排库管理的“胶水代码”来处理步骤之间的数据转换。这使得不同技术能够集成,例如将目标检测的视觉敏锐度与生成式文本模型的语言流畅性相结合。

实际应用

提示链在弥合不同数据模态之间的鸿沟时特别强大,使多模态模型能够在动态的工业和商业环境中发挥作用。

  1. 自动化视觉报告:智能制造中,质量控制系统可以将视觉模型与 LLM 链式连接。首先,像Ultralytics YOLO26这样的高速模型扫描装配线上的组件。结构化输出(例如,“类别:凹陷罐,置信度:0.92”)被转换为文本字符串。然后将此文本传递给语言模型,并附带提示,例如“根据此缺陷起草维护请求”,为车间经理生成一封人类可读的电子邮件。
  2. 上下文感知客户支持:智能聊天机器人通常使用链式方法来处理复杂的用户查询。链中的第一个环节可能使用 自然语言处理(NLP)来分类用户意图。如果意图是技术性的,系统会触发一个 检索增强生成(RAG)工作流:它为查询生成嵌入,在向量数据库中搜索文档,最后提示LLM将检索到的片段合成为有用的答案。

视觉到语言的代码示例

以下示例演示了链中的第一个“环节”:使用计算机视觉 (CV)生成结构化数据,作为下游提示的上下文。

from ultralytics import YOLO

# Load the YOLO26 model (natively end-to-end and highly efficient)
model = YOLO("yolo26n.pt")

# Step 1: Run inference to 'see' the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Step 2: Format visual detections into a natural language string
det_names = [model.names[int(c)] for c in results[0].boxes.cls]
prompt_context = f"The scene contains: {', '.join(det_names)}. Please describe the likely activity."

# The 'prompt_context' variable is now ready to be sent to an LLM API
print(prompt_context)

区分相关概念

为了实现有效的机器学习 (ML)架构,区分提示链与 AI 领域中的类似术语会有所帮助:

  • 对比思维链提示 (Chain-of-Thought Prompting)思维链 (CoT) 是一种单个提示内部使用的技术,鼓励模型“展示其工作过程”(例如,“一步一步地思考”)。提示链涉及多个独立的API调用,其中步骤B的输入取决于步骤A的输出。
  • 对比提示工程 (Prompt Engineering)提示工程是优化文本输入以获得更好模型性能的更广泛学科。链式调用是一种特定的工程模式,侧重于操作的顺序流和逻辑控制。
  • 对比提示微调 (Prompt Tuning)提示微调是一种模型优化方法,它在训练阶段更新可学习参数(软提示)。提示链完全发生在实时推理期间,并且不改变模型的模型权重

通过利用提示链,团队可以构建强大的应用程序,集成逻辑、数据检索和动作识别。为了管理数据集并训练驱动这些链的视觉模型,Ultralytics Platform 提供了一个用于标注、训练和部署的集中式解决方案。

让我们一起共建AI的未来!

开启您的机器学习未来之旅