深圳Yolo 视觉
深圳
立即加入
词汇表

Prompt 丰富

探索如何通过提示增强实现输入自动扩展以提升AI准确性。学习优化大型语言模型和视觉模型(如[YOLO26](ultralytics))以获得更佳效果。

提示增强是一种自动化流程,在将用户初始输入提交至人工智能(AI)模型前,通过补充相关背景、具体指令或辅助数据来丰富输入内容。该技术作为智能中间件层,优化了人机交互体验,确保大型语言模型(LLMs)和计算机视觉系统接收到的查询信息全面完整。 通过补充用户可能遗漏的细节——如历史偏好、位置数据或技术限制——提示增强显著提升了模型输出的准确性与个性化程度,且无需用户具备撰写详细指令的专业能力。

丰富机制

提示语增强的核心功能在于弥合模糊的人类意图与模型实现最佳性能所需的精确、数据丰富的输入之间的鸿沟。当接收到查询时,系统会对其进行分析,并从知识图谱或结构化数据库中检索必要的背景信息。这些检索到的数据将通过程序化格式化处理,并附加到原始提示语之后。

例如,在 自然语言处理(NLP) 工作流中,"状态如何?"这类简单问题在上下文中不够充分。 增强系统会识别当前活跃会话,从交易数据库中检索最新订单号,并将提示重写为: "用户正在询问订单号998的状态,该订单目前处于运输中。请根据此状态提供物流更新。" 该过程通常利用向量数据库快速查找语义相关的上下文信息进行补充。

实际应用

提示词增强对在各行业部署强大的生成式人工智能应用至关重要,可同时提升基于文本和视觉的系统性能:

  1. 情境感知客户支持:在自动化服务台中,聊天机器人通过数据增强技术访问客户的购买记录和技术环境。系统无需询问用户设备版本,而是直接从账户元数据中提取该信息并注入提示框。这使得人工智能客服能够即时提供针对特定设备的故障排除步骤,显著提升客户体验
  2. 动态计算机视觉配置:在安防操作中,用户只需简单切换 "夜间模式"设置。 在后台,提示增强技术将此高阶意图转化为 适用于开放词汇检测器(YOLO)的具体 目标类别。系统通过增强提示语实现 对"手电筒"、"可疑动作"或"未经授权人员"的精准扫描, 使模型能够动态调整 目标检测的关注重点。

示例:动态类增强

以下是 Python 该示例演示了使用 的提示增强概念。 ultralytics 包。在此,用户的高级意图通过程序化方式丰富为一组 具体描述类,模型将扫描这些描述类。

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Prompt 丰富与相关概念

要实施有效的 要实施有效的机器学习操作 (MLOps),最好将及时充实与类似术语区分开来:

  • 检索增强生成(RAG) RAG是一种特定的丰富方法。它严格指从外部语料库中检索相关文档以支撑模型响应的机制。丰富则是更广泛的概念,既包含RAG,也涵盖注入静态会话数据、用户元数据或系统时间等操作,且不一定需要执行复杂的语义搜索
  • 提示工程这是 设计有效提示的手工工艺。丰富化是一种自动化流程,可在运行时动态应用提示 工程原则。
  • 提示调整这是一种 参数高效微调(PEFT) 技术,在训练过程中优化 "软提示"(可学习张量)。提示丰富 完全发生在 实时推理过程中进行,不会改变 模型权重
  • 快速学习这 包括在提示中提供示例,教模型完成任务。增强系统通常会根据任务类型 这些少量示例是根据任务类型动态注入的,有效地结合了这两个概念。

现代人工智能系统的相关性

Ultralytics GPT-4等模型能力不断提升,瓶颈往往转向输入质量。提示增强通过将模型锚定在事实性提供的数据上,有效缓解了大型语言模型中的幻觉现象在计算机视觉(CV)领域,这种技术能构建灵活的零样本学习检测系统——仅需调整系统接收的文本提示,即可实现无需重新训练的即时环境适应。这种灵活性对构建可扩展的多模态AI解决方案至关重要,该方案能同时处理文本与图像的推理任务。 用户若需管理用于锚定这些系统的数据集,通常依赖Ultralytics 等工具来高效组织和标注信息。

加入Ultralytics 社区

加入人工智能的未来。与全球创新者联系、协作和共同成长

立即加入