深圳Yolo 视觉
深圳
立即加入
词汇表

Prompt 丰富

了解提示富集如何自动化输入增强以提高 AI 准确性。探索如何将此技术与 Ultralytics YOLO26 结合使用,以实现更智能的视觉任务。

提示富集是一个自动化过程,它在将用户的初始输入提交给人工智能 (AI) 模型之前,用相关上下文、具体指令或补充数据对其进行增强。这项技术充当智能中间件层,优化人机交互,确保大型语言模型 (LLM) 和计算机视觉系统接收到全面的查询。通过注入用户可能遗漏的细节——例如历史偏好、位置数据或技术限制——提示富集显著提高了模型输出的准确性和个性化,而无需用户成为编写详细指令的专家。

丰富机制

提示富集的核心功能是弥合模糊的人类意图与模型实现最佳性能所需的精确、数据丰富的输入之间的差距。当接收到查询时,系统会对其进行分析并从知识图谱或结构化数据库中检索必要的背景信息。这些检索到的数据经过程序化格式化后附加到原始提示中。

例如,在自然语言处理 (NLP) 工作流中,一个简单的问题,如“状态是什么?”在上下文上是不够的。富集系统会识别活动会话,从事务数据库中检索最新的订单号,并将提示重写为:“用户正在询问订单 #998,该订单目前正在运输中。请根据此状态提供发货更新。”此过程通常利用向量数据库来快速查找语义相关的上下文进行注入。

实际应用

提示富集对于在各行业部署强大的生成式AI应用程序至关重要,可增强基于文本和基于视觉的系统:

  1. 上下文感知客户支持:在自动化帮助台,聊天机器人利用富集功能访问客户的购买历史和技术环境。系统不会询问用户设备版本,而是从账户元数据中检索此信息并将其注入提示中。这使得AI代理能够提供即时的、针对特定设备的故障排除步骤,显著提升客户体验
  2. 动态计算机视觉配置:在安全操作中,用户可能只是简单地切换“夜间模式”设置。在幕后,提示富集将这种高级意图转化为像YOLO-World这样的开放词汇检测器的特定对象类别。系统会丰富提示,使其专门扫描“手电筒”、“可疑移动”或“未经授权人员”,使模型能够动态调整其目标检测焦点。

示例:动态类别富集

以下是 Python 示例展示了使用 ultralytics 包。在这里,用户的高级意图被程序化地富集为模型扫描的特定描述性类别列表。

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Prompt 丰富与相关概念

要实施有效的 要实施有效的机器学习操作 (MLOps),最好将及时充实与类似术语区分开来:

  • 检索增强生成 (RAG)RAG 是一种特定的富集方法。它严格指从外部语料库中获取相关文档以支撑模型响应的机制。富集是一个更广泛的概念,它包括 RAG,但也涵盖了注入静态会话数据、用户元数据或系统时间,而无需执行复杂的语义搜索
  • 提示工程这是 设计有效提示的手工工艺。丰富化是一种自动化流程,可在运行时动态应用提示 工程原则。
  • 提示调整这是一种 参数高效微调(PEFT) 技术,在训练过程中优化 "软提示"(可学习张量)。提示丰富 完全发生在 实时推理过程中进行,不会改变 模型权重
  • 快速学习这 包括在提示中提供示例,教模型完成任务。增强系统通常会根据任务类型 这些少量示例是根据任务类型动态注入的,有效地结合了这两个概念。

现代人工智能系统的相关性

随着像Ultralytics YOLO26 和 GPT-4 这样的模型能力越来越强,瓶颈往往转向输入质量。提示富集通过将模型建立在事实性的、提供的数据上,从而缓解LLM 中的幻觉。在计算机视觉 (CV) 领域,它允许灵活的零样本学习检测系统,这些系统无需重新训练即可通过简单修改输入系统的文本提示来即时适应新环境。这种灵活性对于构建可扩展的多模态 AI 解决方案至关重要,这些解决方案能够同时处理文本和图像。寻求管理用于支撑这些系统的数据集的用户通常依赖于像Ultralytics Platform 这样的工具来有效地组织和标注他们的信息。

让我们一起共建AI的未来!

开启您的机器学习未来之旅