参数高效微调 (PEFT)

参数高效微调（PEFT）是机器学习中使用的一组技术，用于将大型预训练模型适配到新的、特定任务，而无需重新训练整个模型。随着基础模型在自然语言处理（NLP）和计算机视觉（CV）等领域增长到数十亿个参数，完整的微调在计算上变得昂贵，并且需要大量的数据存储才能用于每个新任务。PEFT 通过冻结预训练模型的大部分权重，仅训练少量附加或现有参数来解决这个问题。这种方法大大降低了计算和存储成本，降低了灾难性遗忘的风险（模型忘记其原始能力），并且使得为许多不同的应用定制单个大型模型成为可能。

PEFT 的工作原理是什么？

PEFT 背后的核心原则是对预训练模型进行有针对性的、最小的更改。PEFT 方法不是更新每个参数，而是引入一小组可训练的参数，或者选择现有参数的一小部分在训练期间进行更新。这是一种优化效率的 迁移学习 形式。有几种流行的 PEFT 方法，每种方法都有不同的策略：

• LoRA (低秩适应): 这种技术将小的、可训练的低秩矩阵注入到预训练模型的层中，通常在注意力机制中。这些“适配器”矩阵比原始权重矩阵小得多，从而使训练快速而高效。最初的LoRA 研究论文提供了更多技术细节。
• Prompt Tuning（提示调优）: 这种方法不修改模型的架构，而是完全冻结模型，并学习一组“软提示”或可训练的嵌入向量。这些向量被添加到输入序列中，以指导模型针对特定任务的输出，正如其基础论文中所详述的那样。
• Adapter Tuning（适配器调优）： 这种方法包括在预训练模型的层之间插入小的、全连接的神经网络模块，称为“适配器”。 仅训练这些新适配器的参数。

这些和其他方法可以通过诸如 Hugging Face PEFT 库之类的框架广泛访问，这简化了它们的实现。

PEFT vs. 相关概念

区分 PEFT 与其他模型适配策略非常重要：

• 完全微调： 与 PEFT 相比，完全微调会更新预训练模型的所有权重。这需要大量资源，需要强大的 GPU 和大型存储空间才能存储每个微调后的模型版本。
• Prompt 工程（Prompt Engineering）：此技术涉及手动设计有效的基于文本的 prompt，以指导模型的行为。它不涉及任何训练或参数更新；它纯粹是关于制作输入以从冻结模型获得所需的输出。
• 知识蒸馏: 这涉及训练一个较小的“学生”模型来模仿一个较大的预训练“教师”模型的行为。虽然它创建了一个较小的模型，但这个过程本身仍然可能在计算上是密集型的。

实际应用

PEFT 使得大型模型能够在各种领域中得到实际应用：

• 自然语言处理 (NLP)： 公司可以使用PEFT来调整诸如GPT-4或BERT之类的通用模型，以创建用于其内部知识库的专用聊天机器人。他们可以使用诸如LoRA之类的方法来教导模型公司特定的术语和程序，而不是进行昂贵的完整重新训练，从而为客户服务或内部支持提供更准确的响应。斯坦福NLP小组等研究小组正在探索这些类型的应用。
• 计算机视觉 (CV)： PEFT 可以为特定的视觉识别任务定制大型视觉模型，例如 Vision Transformers (ViT) 或 Ultralytics YOLO 模型。例如，可以使用 PEFT 来调整在广泛的 COCO 数据集 上预训练的模型，以实现对 制造质量控制 中独特缺陷的精确目标检测，执行用于医学图像分析的专业图像分割，或识别野生动物保护相机陷阱中的某些动物物种。诸如 Ultralytics HUB 之类的平台可以帮助管理这些调整后的模型和实验。

本质上，参数高效微调使最先进的 AI 模型 能够以更通用且更具成本效益的方式进行调整，从而普及了对各种特定应用的强大 AI 功能 的访问。