提示调优

提示调优是一种强大而有效的技术，用于将大型预训练模型（如大型语言模型 (LLM)）适应于新任务，而无需更改原始模型的权重。它是一种参数高效微调 (PEFT)形式，它保持基础模型中数十亿个参数的冻结状态，而是学习一小组特定于任务的“软提示”。这些软提示不是人类可读的文本，而是可学习的嵌入，它们被添加到输入之前，以指导冻结的模型为特定的下游任务生成所需的输出。正如最初的Google AI 研究论文中所述，这种方法大大降低了特定于任务的适配所需的计算成本和存储。

核心思想是仅为每个任务训练几千或几百万个额外的参数（软提示），而不是重新训练或微调整个模型，这可能具有数十亿个参数。这使得为单个预训练模型创建许多专门的“提示模块”成为可能，每个模块都针对不同的任务量身定制，而无需创建完整的模型副本。此方法还有助于减轻灾难性遗忘，即模型在接受新任务训练时会忘记先前学习的信息。

实际应用

提示调优能够为各种专业应用定制强大的基础模型。

• 定制情感分析: 一家公司想要分析其特定产品的客户反馈。通用情感分析模型可能无法理解行业特定的术语。通过使用提示调优，该公司可以通过在其自己的标记客户评论上训练一小组软提示来调整像BERT这样的大型模型。由此产生的模型可以准确地对反馈进行分类，而无需进行完整的模型训练，从而提供更细致的见解。
• 专业医疗聊天机器人：一家医疗保健组织旨在构建一个 聊天机器人，以回答患者关于特定医疗状况的问题。完全训练一个大型医疗 LLM 需要大量的资源。相反，他们可以在像 GPT-4 这样的预训练模型上使用提示调优。通过在精选的 医疗数据集 上训练特定于任务的提示，聊天机器人可以学习为该领域提供准确的、具有上下文意识的答案，从而使强大的 医疗保健人工智能 更容易获得。

提示调优 vs. 相关概念

务必区分 Prompt Tuning 与类似技术：

• 微调: 此方法在新数据集上更新预训练模型的大部分甚至全部参数。它在计算上更加密集，但有时可以通过深入调整模型的内部表示来实现更高的性能。模型训练技巧 通常涵盖微调的各个方面。
• Prompt 工程: 这侧重于手动设计有效的基于文本的 prompt（硬 prompt）来指导冻结的预训练模型。它涉及在输入文本本身中编写指令和示例，不涉及训练任何新参数。诸如 chain-of-thought prompting 之类的技术属于此类别。
• Prompt Enrichment: 这种技术通过添加上下文来自动增强用户的 prompt，例如，在将其发送到 AI 模型之前，使用 检索增强生成 (RAG)。与 prompt 调优不同，它无需训练新参数即可优化输入查询。
• LoRA（低秩适应）：另一种 PEFT 技术，它将小的、可训练的低秩矩阵注入到预训练模型的现有层（如注意力机制）中。与仅关注输入嵌入的 Prompt Tuning 相比，它更新了模型的不同部分。两者通常都可以在 Hugging Face PEFT 库等库中找到。

虽然 Prompt Tuning 主要应用于自然语言处理（NLP）中的 LLM，但高效适应的核心原则与整个人工智能（AI）相关。 在计算机视觉（CV）中，虽然在自定义数据集上对 Ultralytics YOLO 等模型进行完全微调对于目标检测等任务很常见，但 PEFT 方法越来越受欢迎，尤其是在大型多模态模型中。 像 Ultralytics HUB 这样的平台简化了训练和部署各种 AI 模型的过程，将来可能会包含此类高效技术。