Parameter-Efficient Fine-Tuning (PEFT)
探索参数高效微调 (PEFT)，以优化 Ultralytics YOLO26 等大模型。学习如何降低计算成本并在 GPU 上获得 SOTA 结果。
Parameter-Efficient Fine-Tuning (PEFT) 是一种机器学习 (ML)中的高级优化策略，它能够在将计算成本降至最低的同时，针对特定任务定制大型预训练模型。随着现代基础模型的规模发展到包含数十亿个参数，传统训练方法会更新网络中的每一个权重，这在硬件和能源方面变得过于昂贵。PEFT 通过冻结绝大多数预训练模型权重，仅更新一小部分参数或添加轻量级适配器层来解决这一挑战。这种方法降低了准入门槛，使开发者无需依赖工业级数据中心，就能在消费级GPU上取得先进的成果。
效率的机制#
PEFT 的核心原则依赖于迁移学习，即模型利用从诸如ImageNet之类的大型公开数据集中学到的特征表示来解决新问题。在标准工作流中，适配模型可能涉及“全微调”，此时反向传播会调整神经网络中的每一个参数。
诸如LoRA (Low-Rank Adaptation)之类的 PEFT 技术走了一条不同的路线。它们保持模型庞大的“主干网络”静态——保留其通用知识——并将小型可训练矩阵注入特定的层中。这可以防止灾难性遗忘，这是一种模型在学习新信息时失去原有能力的现象。通过将可训练参数的数量减少多达 99%，PEFT 显著降低了存储要求，并允许在实时推理期间将多个特定于任务的适配器调入和调出单个基础模型。
实际应用#
PEFT 在边缘计算和数据隐私至关重要的行业中尤为重要。
- AI 农业： 农业科技初创公司经常将模型部署在电池寿命和处理能力有限的无人机上。通过使用 PEFT，工程师可以采用像YOLO26这样高效的模型，并使用小型自定义数据集对其进行微调，以检测特定的区域害虫，例如草地贪夜蛾。通过冻结主干网络，训练可以在笔记本电脑上快速完成，并且生成的模型依然足够轻量，适合机载处理。
- AI 医疗： 在医学图像分析中，标注数据往往很稀缺且获取成本高昂。医院使用 PEFT 来调整通用视觉模型，以识别 MRI 扫描中的异常。由于基础参数被冻结，模型在小型数据集上出现过拟合的可能性更低，从而在保护患者数据隐私的同时确保了强健的诊断性能。
使用 Ultralytics 实现冻结层#
在 Ultralytics 生态系统中，参数效率通常是通过“冻结”网络的初始层来实现的。这确保了强大的特征提取器保持不变，同时只有头部或较晚的层适应新的类别。这是针对目标检测的 PEFT 原则的实际实现。
以下示例演示了如何在训练 Ultralytics YOLO26 模型时冻结主干网络的前 10 层以节省计算资源：
from ultralytics import YOLO
# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")
# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)对于希望扩展此过程的团队，Ultralytics Platform 提供了一个统一的界面，用于管理数据集、自动化标注以及从云端监控这些高效的训练运行。
区分 PEFT 与相关概念#
为了选择正确的模型适配策略，区分 PEFT 与类似术语很有帮助：
