Prompt Enrichment

学习提示增强 (Prompt Enrichment) 如何自动增强输入以提高 AI 准确性。发现如何结合 Ultralytics YOLO26 使用此技术实现更智能的视觉任务。

提示词增强是一种自动化过程，旨在将用户的初始输入与相关背景、具体指令或补充数据进行整合，然后再提交给人工智能 (AI) 模型。这项技术充当了智能中间件层，优化了人机交互，确保大型语言模型 (LLM) 和计算机视觉系统能够接收到全面的查询。通过注入用户可能忽略的细节（例如历史偏好、位置数据或技术约束），提示词增强在无需用户成为详细指令编写专家的前提下，显著提高了模型输出的准确性和个性化程度。

Link to this section增强机制#

提示词增强的核心功能是弥合模糊的人类意图与模型实现最佳性能所需精确、丰富数据输入之间的差距。当系统收到查询时，它会进行分析并从知识图谱或结构化数据库中检索必要的背景信息。这些检索到的数据会按程序格式化，并附加到原始提示词中。

例如，在自然语言处理 (NLP) 工作流中，像“状态如何？”这样简单的问题在语境上是不够的。增强系统会识别当前会话，从事务数据库中检索最新的订单号，并将提示词改写为：“用户正在询问订单 #998，该订单目前处于运输中。请根据此状态提供物流更新。”此过程通常利用向量数据库来快速查找要注入的语义相关背景。

Link to this section实际应用#

提示词增强对于在各行各业部署稳健的生成式 AI 应用至关重要，它能增强文本和视觉系统：

环境感知客户支持： 在自动服务台中，聊天机器人使用增强功能来获取客户的购买历史和技术环境。系统无需向用户询问其设备版本，而是从账户元数据中检索该信息并将其注入提示词中。这使得 AI 代理能够提供即时的、针对特定设备的故障排除步骤，从而显著提升客户体验。
动态计算机视觉配置： 在安防操作中，用户可能只需切换“夜间模式”设置。在后台，提示词增强会将这种高层意图转换为针对像 YOLO-World 这样的开放词汇检测器的特定对象类别。系统会增强提示词以专门扫描“手电筒”、“可疑移动”或“未授权人员”，使模型能够动态调整其目标检测的重点。

Link to this section示例：动态类别增强#

以下 Python 示例演示了使用 ultralytics 软件包进行提示词增强的概念。在这里，用户的用户意图通过编程方式被增强为模型扫描所需的特定描述性类别列表。

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Link to this section提示词增强与相关概念对比#

为了实施有效的机器学习运维 (MLOps)，区分提示词增强与其他类似术语非常有帮助：

检索增强生成 (RAG)： RAG 是一种特定的增强方法。它严格指代从外部语料库获取相关文档以支撑模型响应的机制。增强是一个更广泛的概念，不仅包含 RAG，还涵盖了在无需进行复杂语义搜索的情况下注入静态会话数据、用户元数据或系统时间。
提示词工程： 这是设计有效提示词的手动工作。增强是一种 自动化 过程，在运行时动态应用提示词工程原则。
提示词微调： 这是一种参数高效微调 (PEFT) 技术，其中“软提示词”（可学习张量）在训练期间进行优化。提示词增强完全发生在实时推理期间，且不会改变模型权重。
少样本学习： 这涉及在提示词中提供示例以教导模型完成任务。增强系统通常会根据任务类型动态注入这些少样本示例，从而有效地结合了这两个概念。

Link to this section在现代 AI 系统中的相关性#

随着 Ultralytics YOLO26 和 GPT-4 等模型能力越来越强，瓶颈通常会转移到输入的质量上。提示词增强通过用事实数据支撑模型来减轻 LLM 中的幻觉。在计算机视觉 (CV) 中，它支持灵活的零样本学习检测系统，只需修改输入到系统中的文本提示词，无需重新训练即可立即适应新环境。这种灵活性对于构建能够推理文本和图像的可扩展多模态 AI 解决方案至关重要。希望管理用于支撑这些系统的数据集的用户，通常依赖 Ultralytics Platform 等工具来有效组织和标注其信息。