Prompt Tuning
探索提示调优如何在无需完整重新训练的情况下高效适配基础模型。了解软提示如何为 YOLO26 等 AI 任务降低延迟和存储需求。
提示调优是一种高效利用资源的技术，用于将预训练的基础模型适配到特定下游任务，而无需承担重新训练整个网络的计算成本。不同于传统的微调（会更新模型的全部或大部分参数），提示调优会冻结预训练的模型权重，仅优化一小组可学习向量——称为“软提示”——并将其添加到输入数据的前面。这种方法让单个大型骨干网络能够同时服务于多个专用应用，并显著降低存储需求以及切换推理延迟的成本。
提示调优的工作机制#
在标准的机器学习 (ML)工作流中，文本或图像等输入会被转换为称为嵌入的数值表示。提示调优会将额外的可训练嵌入向量插入输入序列。在训练阶段，系统使用反向传播计算梯度，但优化算法只更新软提示的值，而保持庞大的模型结构不变。
这种方法属于参数高效微调 (PEFT)的一种形式。模型通过学习这些连续向量，被“引导”至所需输出。虽然这一概念起源于自然语言处理 (NLP)，但它已成功应用于计算机视觉 (CV)任务，通常称为视觉提示调优 (VPT)。
区分相关概念#
要理解提示调优的用途，必须将其与 AI 领域中的相似术语区分开来：
- **提示工程：**这涉及手动编写人类可读的文本指令（硬提示），以引导生成式 AI模型。它不需要编码或训练。相比之下，提示调优使用自动化的监督学习来寻找最优数值嵌入，而这些嵌入可能并不对应自然语言词语。
- **全量微调：**传统方法会更新整个神经网络，这往往会导致模型遗忘原始训练内容，即“灾难性遗忘”。提示调优保留了模型的原有能力，从而更容易在彼此不相关的任务之间利用迁移学习。
- **小样本学习：**这通常是指在LLM的上下文窗口中提供少量示例。提示调优则有所不同，因为它会永久学习并保存可重复使用的参数，而不只是提供临时上下文。
实际应用#
提示调优支持在资源受限的环境中规模化部署 AI，这也是Ultralytics Platform在模型管理方面所秉持的核心理念。
-
**多语言客户支持：**全球企业可以使用一个集中式的冻结语言模型。通过为西班牙语、日语和德语训练轻量级软提示，系统即可即时切换语言。这样无需承担托管三个独立的、以 GB 计大小的模型所产生的巨大成本，而只需依赖以 KB 计大小的提示文件。
-
**医疗领域的 AI：**医学成像通常面临数据稀缺问题。研究人员可以采用通用视觉骨干网络（如视觉 Transformer），并使用提示调优使其适配特定异常检测任务，例如视网膜疾病或肿瘤检测。这样既能维护患者数据隐私，又能在无需完整重新训练模型的情况下快速适配新的医疗设备。
实现示例#
下面的PyTorch示例演示了这一核心机制：冻结模型的主要层，并创建一个独立的可训练参数（即“软提示”），通过优化该参数来影响输出。
import torch
import torch.nn as nn
# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)
# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
param.requires_grad = False
# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)
# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)
# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")与现代边缘 AI 的相关性#
随着模型规模不断增大，以低成本适配模型的能力变得至关重要。虽然YOLO26等架构已经针对效率进行了高度优化，但冻结骨干网络和高效适配的原则是边缘 AI未来发展的基础。与提示调优类似的技术，让内存有限的设备只需替换小型配置文件，而无需重新加载庞大的神经网络，即可执行从目标检测到分割等多种任务。
对于希望高效训练和部署的开发者来说，使用Ultralytics Platform等工具，可以确保模型针对特定硬件目标进行优化，并利用现代MLOps的最佳实践。
