Parameter-Efficient Fine-Tuning (PEFT)

参数高效微调 (PEFT) 是机器学习 (ML) 中一种先进的优化策略，能够在最大限度降低计算成本的同时，针对特定任务定制大型预训练模型。随着现代基础模型的参数量增长至数十亿级别，更新网络中每一个权重的传统训练方法在硬件和能源方面变得过于昂贵。PEFT 通过冻结绝大多数预训练的模型权重，仅更新一小部分参数或添加轻量级适配器层来解决这一难题。这种方法降低了准入门槛，让开发人员无需工业级数据中心，即可在消费级GPU 上实现最先进的性能。

Link to this section效率的机制#

PEFT 的核心原理基于迁移学习，即模型利用从 ImageNet 等海量公共数据集学到的特征表示来解决新问题。在标准工作流程中，调整模型可能涉及“完全微调”，即通过反向传播调整神经网络中的每一个参数。

PEFT 技术（如 LoRA (Low-Rank Adaptation)）则采取了不同的途径。它们保持模型庞大的“主干”静态不变——从而保留其通用知识——并向特定层注入小型可训练矩阵。这可以防止灾难性遗忘，即模型在学习新信息时丧失原有能力的现象。通过减少高达 99% 的可训练参数，PEFT 显著降低了存储需求，并允许在实时推理过程中将多个特定任务的适配器在单个基础模型中进行切换。

Link to this section实际应用#

PEFT 在边缘计算和数据隐私至关重要的行业中尤为重要。

• AI 在农业中的应用： 农业科技初创公司经常在电池寿命和处理能力有限的无人机上部署模型。使用 PEFT，工程师可以采用像 YOLO26 这样高效的模型，并利用小型自定义数据集对其进行微调，以检测特定的区域性害虫，例如秋粘虫。通过冻结主干，训练可以在笔记本电脑上快速完成，得到的模型也足够轻量，适合板载处理。
• AI 在医疗保健中的应用： 在医学图像分析中，带注释的数据通常稀缺且获取成本高昂。医院使用 PEFT 来调整通用视觉模型，以识别 MRI 扫描中的异常。由于基础参数被冻结，模型在小数据集上发生过拟合的可能性更小，从而确保了稳健的诊断性能，同时保护了患者数据隐私。

Link to this section使用 Ultralytics 实现冻结层#

在 Ultralytics 生态系统中，参数效率通常通过“冻结”网络初始层来实现。这确保了稳健的特征提取器保持不变，同时仅头部或后续层适应新类别。这是 PEFT 原则在目标检测中的一种实际应用。

以下示例展示了如何训练 YOLO26 模型，同时冻结主干的前 10 层以节省计算资源：

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

对于寻求扩展此流程的团队，Ultralytics Platform 提供了一个统一的界面，用于管理数据集、自动化标注以及从云端监控这些高效的训练运行。

Link to this section区分 PEFT 与相关概念#

为了选择正确的模型适配策略，区分 PEFT 与类似术语很有帮助：

• 微调： 通常称为“完全微调”，此过程会更新模型中的所有参数。虽然它提供了最大的可塑性，但计算成本高昂，并且需要为每个任务保存模型的一个完整副本。PEFT 是微调的一个子类别，专注于效率。
• 提示工程： 这涉及精心设计文本输入以引导模型的输出，而不更改任何内部权重。相反，PEFT 通过数学方式改变一部分权重或适配器，从而永久性地改变模型处理数据的方式。
• 知识蒸馏： 此技术训练一个小型的学生模型来模仿大型教师模型。虽然它能产生一个高效的模型，但它是一种压缩方法，而 PEFT 是一种用于教导现有模型新技能的适配方法。

通过普及高性能 AI 的获取途径，PEFT 让开发人员能够为自动驾驶汽车和智能制造构建专用工具，而无需超级计算机基础设施。