参数高效微调 (PEFT)

参数高效微调（PEFT）是机器学习（ML）中的一种复杂策略，旨在调整大型的 机器学习（ML）中的一种复杂策略，旨在使预先训练好的大型模型适应特定的下游任务，而无需重新训练整个网络、 参数高效微调（PEFT）是机器学习（ML）中的一种复杂策略，旨在使预先训练好的大型模型适应特定的下游任务，而无需承担重新训练整个网络的计算负担。作为 自然语言处理和计算机视觉（CV 处理和计算机视觉 (CV)等领域的基础模型已扩展到 参数已达数十亿，传统的 微调--更新模型中的每一个权重--对于许多用户来说都变得过于昂贵。 对许多用户来说都变得过于昂贵。PEFT 可以解决这个问题，它冻结了大部分预训练模型的权重，只更新一小部分权重。 模型权重，只更新一小部分参数，或添加一些新的训练参数。 参数，或添加几个新的可训练层。这种方法大大降低了硬件门槛，允许 研究人员和工程师可以使用消费级 GPU来定制最先进的模型，同时保持 媲美全面训练的性能。

PEFT 技术

PEFT 背后的核心概念是 迁移学习，即模型利用 从海量数据集（如ImageNet 或 Common Crawl）中获得的知识来解决数据有限的新问题。 与完全微调不同，PEFT 会修改模型架构或训练过程，以实现 "参数高效"。 高效"。这使得调整后的模型占用空间很小，通常只有几兆字节，而完整模型则需要数千兆字节。 而完整模型拷贝则需要数千兆字节。这种效率对于防止 灾难性遗忘。 遗忘是指模型在学习新信息时失去原有的一般能力。

PEFT 框架内的常见技术包括

• LoRA（低秩自适应）： 这种流行的方法将小的、可训练的秩分解矩阵注入模型层，从而冻结原有权重。 原始权重。这种方法在 Microsoft的研究中被广泛引用，因为它兼顾了速度和准确性。 它兼顾了速度和准确性。
• 适配器：这包括在现有层之间插入小型 神经网络模块。 插入小型神经网络模块。
• 提示调整：主要用于 语言模型，它将可训练的 "软提示" 嵌入到输入序列中，引导冻结 模型的行为。

实际应用

PEFT 在各行各业普及强大的人工智能工具方面发挥了重要作用。

• 精准农业：农民和农业技术公司使用 PEFT 来调整一般的 物体检测模型，如 YOLO11来识别特定的作物疾病或当地害虫。 通过在农业中使用人工智能，在一般物体上训练出来的模型 通过将人工智能应用于农业，可以在小型定制数据集的 叶片图像进行微调，以高精度detect 局部枯萎病，并在田间的边缘设备上高效运行。
• 医疗诊断：在医疗人工智能领域 在医疗人工智能领域，隐私和数据稀缺是 主要挑战。医院可以使用 PEFT 调整视觉模型，用于 医疗图像分析，例如检测 X 射线中的骨折。由于基础模型保持冻结状态，因此训练需要更少的患者图像来收敛、 降低了过拟合的风险，并保持了 模型识别一般视觉特征的能力。

具体实施

在Ultralytics 模型中，参数效率通常是通过在训练过程中 "冻结 "Ultralytics 层来实现参数效率。这样可以确保特征提取层保持不变，只有头部（负责做出最终预测的模型部分）才会更新。 头（模型中负责进行最终预测的部分）进行更新。

下面的示例演示了如何使用Ultralytics 实现一种简单的参数效率训练形式 通过冻结模型的前 10YOLO 实现简单的参数效率训练。

from ultralytics import YOLO

# Load the YOLO11 model (latest stable version)
model = YOLO("yolo11n.pt")

# Train the model on a specific dataset
# The 'freeze=10' argument freezes the first 10 layers (the backbone)
# This reduces the number of trainable parameters significantly
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

PEFT vs. 相关概念

了解 PEFT 与类似术语的区别对于选择正确的策略至关重要：

• 全面微调：这将更新网络中的所有参数。它提供了最大 可塑性，但每个新模型版本都需要大量计算资源和存储空间。请参阅本 资源不受限制时的最佳实践。 资源不受限制时的最佳做法。
• 及时工程：这 即在不改变任何权重的情况下，精心设计文本输入（提示）来引导模型。相比之下，PEFT 永久更新一小部分参数或权重，以改变模型处理数据的方式。
• 迁移学习：这是 知识再利用的广义概念。PEFT 是迁移学习的一种具体、高效的实现方式。 您可以在以下平台探索这些概念的更深层定义 IBM 的人工智能教育页面。

通过最大限度地降低适应的计算成本，PEFT 可以为以下任务创建高度专业化的模型 从自动驾驶汽车感知 到分析 卫星图像、 让更多的开发人员可以使用先进的人工智能。