Prompt Engineering

提示工程是一种通过设计、细化和优化输入文本来引导 人工智能 (AI) 模型产出准确、相关且高质量输出的战略过程。该学科最初随着 GPT-4 等 大型语言模型 (LLM) 的兴起而备受关注，现已演变为与包括文本、图像和视频在内的各种模态的 生成式 AI 系统进行交互的一项关键技能。提示工程并非通过重新训练来改变底层的 模型权重，而是通过以系统最易于理解的方式构建任务，利用模型现有的知识，从而弥合人类意图与机器执行之间的鸿沟。

Link to this section高效提示的机制#

提示工程的核心在于理解 基础模型 如何处理上下文和指令。构建良好的提示可以通过提供明确的约束、预期的输出格式（例如 JSON 或 Markdown）以及相关的背景信息来减少歧义。高级从业者会使用 少样本学习 等技术，即用户在提示中提供几个输入输出对示例，以展示所需的模式。

另一种强大的策略是 思维链提示，它鼓励模型将复杂的推理任务拆解为中间步骤。这能显著提高模型处理逻辑繁重查询时的性能。此外，优化 上下文窗口（模型一次可处理的文本量上限）的使用对于在长交互中保持连贯性至关重要。外部资源，例如 OpenAI 的提示设计指南，强调了迭代优化以有效处理边缘情况的重要性。

Link to this section在计算机视觉中的相关性#

虽然提示工程通常与文本相关联，但它在 计算机视觉 (CV) 中的作用正变得日益重要。现代 多模态模型 和开放词汇检测器，例如 YOLO-World，允许用户使用 自然语言处理 (NLP) 而非预定义的数值类别 ID 来定义检测目标。

在此背景下，“提示”是对对象的文本描述（例如“戴着红色头盔的人”）。这种被称为 零样本学习 的能力，使系统能够通过利用视觉特征与语义嵌入之间学到的关联，检测出它们并未经过显式训练的对象。对于类别固定的高速生产环境，开发者可能最终会从提示模型过渡到高效的、经过再训练的模型（如 YOLO26），但提示工程仍然是实现快速原型设计和灵活性关键。

Link to this section实际应用#

提示工程通过实现灵活且智能的自动化，在各行各业中创造价值：

• 动态视觉分析： 在 零售业 AI 中，门店经理使用基于提示的视觉模型来搜索特定商品，无需技术干预。系统可以被提示在某一天追踪“空货架”，在另一天追踪“摆放错误的产品”。这种灵活性使企业能够立即将其 目标检测 系统调整以适应季节性趋势。
• 自动化内容创作： 营销团队依赖详细的提示来引导 文本转图像 生成器，如 Stable Diffusion 或 Midjourney。通过设计指定光照、艺术风格和构图的提示，设计师可以快速生成视觉资产。
• 智能知识检索： 在客户支持领域，工程师设计“系统提示”，指示 聊天机器人 仅使用已验证的公司数据来回答查询。这是 检索增强生成 (RAG) 的关键组成部分，确保 AI 在保持乐于助人的个性的同时，避免 LLM 中的幻觉。

Link to this section使用 Ultralytics 进行实现#

以下示例演示了如何使用 ultralytics 包以编程方式应用提示工程。这里，我们使用了一个 YOLO-World 模型，它接受文本提示以动态定义要查找的对象，这与使用固定类别列表的标准模型（如 YOLO26）形成了鲜明对比。

from ultralytics import YOLO

# Load a YOLO-World model capable of interpreting text prompts
model = YOLO("yolov8s-world.pt")

# Apply prompt engineering to define custom classes dynamically
# The model maps these text descriptions to visual features
model.set_classes(["person in safety vest", "forklift", "blue hardhat"])

# Run inference on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results - the model only detects objects matching the prompts
results[0].show()

Link to this section区分相关概念#

为了通过 Ultralytics 平台 有效部署 AI 解决方案，区分提示工程与类似的优化技术非常重要：

• 提示工程与 提示微调： 提示工程涉及手动构建自然语言输入。相比之下，提示微调是一种 参数高效微调 (PEFT) 方法，在训练阶段学习“软提示”（连续向量嵌入）。这些软提示是人类用户无法感知的数学优化。
• 提示工程与 微调： 微调使用特定的 训练数据集 永久更新模型权重，使其专注于某项任务。提示工程不会改变模型本身；它仅在 实时推理 期间优化输入。
• 提示工程与 提示注入： 虽然工程是建设性的，但提示注入是一种安全漏洞，恶意输入会操纵模型以忽略其安全约束。确保 AI 安全 需要针对此类对抗性提示进行强大的防御。