Parameter-Efficient Fine-Tuning (PEFT)

参数高效微调 (PEFT) 是机器学习 (ML)中的一种高级优化策略，可在最大限度降低计算成本的同时，将大型预训练模型定制到特定任务上。随着现代基础模型逐渐包含数十亿个参数，逐一更新网络中每个权重的传统训练方法在硬件和能耗方面已变得难以承受。PEFT 通过冻结绝大多数预训练模型权重，仅更新一小部分参数或添加轻量级适配器层来应对这一挑战。这种方法降低了使用门槛，使开发者无需工业级数据中心，仅凭消费级GPUs也能取得当前最先进的成果。

效率机制#

PEFT 的核心原理依赖于迁移学习：模型利用从ImageNet等大型公共数据集中学习到的特征表示来解决新问题。在标准工作流中，调整模型可能需要进行“全量微调”，即通过反向传播调整神经网络中的每个参数。

PEFT 技术（例如 LoRA（低秩适配））采取了不同的方法。它们保持模型庞大的“主干网络”不变，以保留其通用知识，并将小型、可训练的矩阵注入特定层中。这可以防止灾难性遗忘，即模型在学习新信息时丧失原有能力的现象。通过将可训练参数数量最多减少 99%，PEFT 显著降低了存储需求，并允许在实时推理期间，在单个基础模型中切换多个特定任务的适配器。

实际应用#

在边缘计算和数据隐私至关重要的行业中，PEFT 尤其有价值。

• **农业中的 AI：**农业科技初创公司通常会将模型部署在电池续航时间和处理能力有限的无人机上。借助 PEFT，工程师可以使用像 YOLO26 这样高效的模型，并利用小型自定义数据集对其进行微调，以检测特定地区的害虫，例如秋粘虫。通过冻结主干网络，训练可以在笔记本电脑上快速完成，生成的模型也足够轻量，能够在机载设备上进行处理。
• **医疗保健中的 AI：**在医学图像分析中，经过标注的数据通常稀缺且获取成本高昂。医院使用 PEFT 将通用视觉模型调整为能够识别 MRI 扫描中的异常。由于基础参数被冻结，模型不易在小型数据集上过拟合，从而在保护患者数据隐私的同时确保稳健的诊断性能。

使用 Ultralytics 实现冻结层#

在 Ultralytics 生态系统中，参数效率通常通过“冻结”网络的初始层来实现。这样可以确保稳健的特征提取器保持不变，同时仅让检测头或后续层适应新类别。这是 PEFT 原则在目标检测中的一种实际实现。

以下示例演示了如何训练一个 Ultralytics YOLO26 模型，同时冻结主干网络的前 10 层以节省计算资源：

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

对于希望扩大这一流程规模的团队，Ultralytics Platform 提供了统一界面，可用于管理数据集、自动执行标注，并从云端监控这些高效的训练任务。

区分 PEFT 与相关概念#

为了选择合适的模型适配策略，有必要将 PEFT 与相似术语区分开来：

• 微调：这一过程通常称为“全量微调”，会更新模型中的所有参数。虽然它提供了最大的可塑性，但计算成本高昂，并且需要为每项任务保存一份完整的模型副本。PEFT 是一种专注于效率的微调子类别。
• **提示词工程：**这涉及构造文本输入来引导模型输出，而不改变任何内部权重。相比之下，PEFT 会以数学方式修改部分权重或适配器，从而永久改变模型处理数据的方式。
• **知识蒸馏：**该技术训练一个小型学生模型来模仿大型教师模型。虽然它能够生成高效模型，但它是一种压缩方法，而 PEFT 是一种适配方法，用于教会现有模型新的技能。

通过让更多人能够使用高性能 AI，PEFT 使开发者无需超级计算机基础设施，也能为自动驾驶车辆和智能制造构建专用工具。