Prompt Tuning

探索提示调优 (Prompt Tuning)，无需全面重新训练即可高效适应基础模型。学习软提示如何减少 YOLO26 等 AI 任务的延迟和存储需求。

Prompt tuning 是一种资源高效的技术，用于将预训练的 foundation models 适配到特定的下游任务中，而无需承担重新训练整个网络的计算开销。与更新模型所有或大部分参数的传统 fine-tuning 不同，prompt tuning 会冻结预训练的 model weights，仅优化一小组合成向量（称为“软提示”（soft prompts）），这些向量会前置到输入数据中。这种方法允许单个庞大的 backbone 同时服务于多个专业化应用，从而显著降低存储需求和 inference latency 切换成本。

提示微调的机制#

在标准的 machine learning (ML) 工作流中，诸如文本或图像的输入会被转换为被称为 embeddings 的数值表示。Prompt tuning 将额外的、可训练的 embedding 向量插入到此输入序列中。在训练阶段，系统使用 backpropagation 来计算梯度，但优化算法仅更新软提示的值，而庞大的模型结构则保持不变。

这种方法是 Parameter-Efficient Fine-Tuning (PEFT) 的一种形式。通过学习这些连续向量，模型被“引导”朝向期望的输出。虽然这个概念起源于 Natural Language Processing (NLP)，但它已被成功适配到 Computer Vision (CV) 任务中，通常被称为视觉提示微调（Visual Prompt Tuning, VPT）。

区分相关概念#

为了理解提示微调的效用，有必要将其与 AI 领域中的类似术语区分开来：

Prompt Engineering: 这涉及手动编写人类可读的文本指令（硬提示）来引导 generative AI 模型。它不需要任何编码或训练。相反，prompt tuning 使用自动化的 supervised learning 来寻找可能与自然语言单词不对应的最优数值 embeddings。
Full Fine-Tuning: 传统方法会更新整个神经网络，这往往会导致对原始训练的“灾难性遗忘”。Prompt tuning 保留了模型的原始功能，从而更容易在不相干的任务之间利用 transfer learning。
Few-Shot Learning: 这通常指在 LLM 的上下文窗口中提供几个示例。Prompt tuning 与之不同，因为它永久学习并保存、复用参数，而不仅仅是提供临时上下文。

实际应用#

Prompt tuning 能够在资源受限的环境中实现 AI 的可扩展部署，这也是 Ultralytics Platform 用于模型管理的核心理念。

多语言客户支持： 全球性企业可以使用一个集中的、冻结的语言模型。通过为西班牙语、日语和德语训练轻量级的软提示，系统可以即时切换语言。这避免了托管三个独立、占用 GB 级内存的大型模型的巨大成本，转而依靠 KB 级的提示文件。
AI in Healthcare: 医学影像通常面临数据稀缺的问题。研究人员可以采用通用视觉骨干网络（例如 Vision Transformer）并使用 prompt tuning 来适配它，以便检测特定的异常情况（如视网膜疾病或肿瘤）。这既能维护患者数据的隐私，又能在无需完整重新训练模型的情况下实现对新医疗设备的快速适配。

实现示例#

以下 PyTorch 示例演示了核心的机械概念：冻结模型的主层，并创建一个独立的、可训练的参数（即“软提示”），该参数经过优化以影响输出。

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

与现代边缘 AI 的相关性#

随着模型规模越来越大，以低成本适配它们的能力变得至关重要。虽然像 YOLO26 这样的架构已经针对效率进行了高度优化，但冻结骨干网络和高效适配的原则对于 Edge AI 的未来至关重要。类似于 prompt tuning 的技术允许内存受限的设备执行各种任务——从 object detection 到分割——只需简单地交换小型配置文件，而不必重新加载庞大的神经网络。

对于希望高效进行训练和部署的开发者而言，利用 Ultralytics Platform 等工具可确保模型针对其特定的硬件目标进行优化，并充分利用现代 MLOps 的最佳实践。