参数高效微调 (PEFT)

参数高效微调 (PEFT) 是机器学习 (ML)中一种精密的优化策略，它能够在最大程度地降低计算成本的同时，将大型预训练模型定制化以适应特定任务。随着现代基础模型的参数量已增长到数十亿，更新网络中每个权重的传统训练方法在硬件和能源方面变得成本过高。PEFT 通过冻结绝大部分预训练模型权重，仅更新一小部分参数或添加轻量级适配器层来应对这一挑战。这种方法降低了进入门槛，使开发者无需工业规模的数据中心，即可在消费级GPU上取得最先进的成果。

效率机制

PEFT 的核心原理依赖于迁移学习，即模型利用从 ImageNet 等大规模公共数据集中学习到的特征表示来解决新问题。在标准工作流程中，调整模型可能涉及“全量微调”，其中反向传播会调整神经网络中的每个参数。

PEFT 技术，例如LoRA (低秩适应)，采取了不同的路径。它们保持模型庞大的“主干网络”静态——从而保留其通用知识——并向特定层注入小型可训练矩阵。这可以防止灾难性遗忘，即模型在学习新信息时失去原有能力的现象。通过将可训练参数的数量减少高达 99%，PEFT 显著降低了存储需求，并允许在实时推理期间，在单个基础模型中切换多个特定任务适配器。

实际应用

PEFT 在边缘计算和数据隐私至关重要的行业中尤其有价值。

• 农业中的 AI： 农业科技 初创公司经常在电池续航和处理能力有限的无人机上部署模型。工程师可以利用 PEFT，将像 YOLO26 这样高效的模型进行微调，以使用小型 定制数据集检测特定的区域害虫，例如草地贪夜蛾。通过冻结骨干网络，可以在笔记本电脑上快速完成训练，并且生成的模型足够轻量，适合板载处理。
• 医疗AI: 在医学图像分析中，标注数据通常稀缺且获取成本高昂。医院使用PEFT来调整通用视觉模型，以识别MRI扫描中的异常。由于基础参数被冻结，模型在小数据集上更不容易过拟合，从而确保了稳健的诊断性能，同时保护了患者数据隐私。

使用 Ultralytics 实现冻结层

在 Ultralytics 生态系统中，参数效率通常通过“冻结”网络的初始层来实现。这确保了强大的特征提取器保持不变，而只有头部或后续层适应新类别。这是目标检测中 PEFT 原理的实际应用。

以下示例演示了如何在训练YOLO26模型时冻结主干网络的前 10 层，以节省计算资源：

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

对于希望扩展此过程的团队，Ultralytics Platform 提供了一个统一界面，用于管理数据集、自动化标注以及从云端监控这些高效的训练运行。

区分 PEFT 与相关概念

为了选择正确的模型适应策略，区分 PEFT 与类似术语会有所帮助：

• 微调: 通常被称为“全量微调”，此过程更新模型中的所有参数。尽管它提供了最大的可塑性，但计算成本高昂，并且每个任务都需要保存模型的完整副本。PEFT是微调的一个子类别，专注于效率。
• 提示工程：这涉及设计文本输入以引导模型输出，而不改变任何内部权重。相反，参数高效微调（PEFT）通过数学方式改变一部分权重或适配器，以永久性地改变模型处理数据的方式。
• 知识蒸馏: 这种技术训练一个小型学生模型来模仿大型教师模型。尽管它能产生一个高效的模型，但它是一种压缩方法，而PEFT是一种用于教授现有模型新技能的适应方法。

通过普及高性能 AI 的访问，PEFT 允许开发者为自动驾驶汽车和智能制造构建专用工具，而无需超级计算机基础设施。