Prompt Tuning

探索提示调优 (Prompt Tuning)，无需全面重新训练即可高效适应基础模型。学习软提示如何减少 YOLO26 等 AI 任务的延迟和存储需求。

提示微调是一种资源高效型技术，用于将预训练的基础模型调整为特定的下游任务，而无需承担重新训练整个网络的计算成本。与传统的微调（会更新模型的大部分或全部参数）不同，提示微调会冻结预训练的模型权重，仅优化一小组被称为“软提示”（soft prompts）的可学习向量，并将这些向量添加到输入数据之前。这种方法使单一的庞大主干网络能够同时服务于多个专业应用，从而显著降低了存储需求和推理延迟切换成本。

Link to this section提示微调的机制#

在标准的机器学习 (ML)工作流程中，文本或图像等输入会被转换为被称为嵌入的数值表示。提示微调会将额外的、可训练的嵌入向量插入到此输入序列中。在训练阶段，系统使用反向传播来计算梯度，但优化算法只会更新软提示的值，而让庞大的模型结构保持不变。

这种方法是参数高效微调 (PEFT)的一种形式。通过学习这些连续向量，模型被“引导”向期望的输出。虽然这一概念起源于自然语言处理 (NLP)，但它已成功应用于计算机视觉 (CV)任务，通常被称为视觉提示微调 (VPT)。

Link to this section区分相关概念#

为了理解提示微调的效用，有必要将其与 AI 领域中的类似术语区分开来：

提示工程： 这涉及手动制作人类可读的文本指令（硬提示）来引导生成式 AI模型。它不需要编码或训练。相反，提示微调使用自动化的监督学习来找到可能不对应于自然语言词汇的最佳数值嵌入。
全参数微调： 传统方法会更新整个神经网络，这往往会导致原始训练内容的“灾难性遗忘”。提示微调保留了模型的原始能力，使其更容易在不同任务之间利用迁移学习。
少样本学习： 这通常指在大语言模型 (LLM)的上下文窗口中提供少量示例。提示微调与之不同，因为它永久性地学习了可以保存和重用的参数，而不是仅仅提供临时的上下文。

Link to this section实际应用#

提示微调支持在资源受限的环境中进行可扩展的 AI 部署，这也是Ultralytics Platform进行模型管理时所秉持的核心理念。

多语言客户支持： 全球性企业可以使用一个集中的、冻结的语言模型。通过为西班牙语、日语和德语训练轻量级的软提示，系统可以即时切换语言。这避免了托管三个独立、占用 GB 级内存的大型模型的巨大成本，转而依靠 KB 级的提示文件。
医疗保健 AI： 医学影像通常面临数据稀缺的问题。研究人员可以采用通用的视觉主干网络（例如视觉 Transformer），并使用提示微调使其适应特定异常情况的检测，例如视网膜疾病或肿瘤。这既维护了患者数据隐私，又允许在无需完全重新训练模型的情况下快速适应新的医疗设备。

Link to this section实现示例#

以下 PyTorch 示例演示了核心机械概念：冻结模型的主层，并创建一个独立的、可训练的参数（即“软提示”），通过优化该参数来影响输出。

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")