LoRA (Low-Rank Adaptation)

LoRA，即低库自适应（Low-Rank Adaptation），是机器学习（ML）领域的一项革命性技术。 机器学习（ML）领域的一项革命性技术，旨在微调 的革命性技术，旨在以卓越的效率对大型预训练模型进行微调。随着现代 随着现代基础模型规模的爆炸式增长--通常包含 参数，为特定任务重新训练这些模型在计算上已经令许多研究人员和开发人员望而却步。 和开发人员来说是难以承受的。LoRA 通过冻结原始 模型权重，并将更小的、可训练的 低秩矩阵。这种方法大大减少了可训练参数的数量、 降低内存需求，并在消费级硬件（如标准 GPU（图形处理器））上实现有效的模型适配。 图形处理器（GPU ）。

LoRA 的工作原理

LoRA 的核心创新在于它能够绕过重新训练模型的需要。在传统的 微调中，神经网络中的每个权重都要在反向传播过程中进行更新，这就需要存储大量的优化器状态。 在反向传播过程中进行更新，这需要存储大量优化器状态。而 LoRA 则将预训练的 模型固定不变。它将成对的秩分解矩阵引入特定层，通常是在神经网络的 "注意 "机制中。 的注意机制中。 Transformer架构中。

在训练过程中，只有这些小的适配器矩阵 会被更新。由于这些矩阵是 "低秩 "矩阵--即它们的维度比完整模型层少得多，因此计算开销很小。 因此计算开销很小。这一概念借鉴了 降维原则、 假设对新任务的适应依赖于模型参数的低维子空间。这使得 LoRA 是 参数高效微调技术（PEFT）的基石，它允许创建特定任务模型，而这些模型的大小仅为原始检查点的一小部分。

下面的Python 代码段演示了如何使用 ultralytics 软件包。该命令默认执行全面训练，但高级配置可以 利用 PEFT 技术（如 LoRA）来优化流程，以满足特定的 自定义数据集.

from ultralytics import YOLO

# Load a pre-trained YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model on a specific dataset
# LoRA strategies can be applied to freeze the backbone and train adapters
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

实际应用

LoRA 的效率为人工智能（AI）的各个领域带来了新的可能性。 人工智能（AI）。

• 定制大型语言模型 (LLM)：组织使用 LoRA 来调整通用的 大型语言模型（LLM）。 行业。例如，一家法律公司可能会 聊天机器人。微软 最初的Microsoft LoRA 论文表明，这种方法可以保持 性能可与完全微调相媲美，同时存储需求最多可减少 10,000 倍。
• 生成式人工智能艺术：在 在生成式人工智能领域，艺术家们利用 LoRA 来教授图像生成模型 生成模型，如稳定扩散（Stable Diffusion 风格、角色或概念。通过对一小部分图像进行训练，他们可以创建轻量级的 "LoRA 文件"（通常只有几兆字节），将这些文件插入基础模型，就能显著改变其输出风格。 这将极大地改变图像的输出风格。
• 高效计算机视觉：对于物体检测等任务 对于物体检测等任务，工程师可以调整功能强大的 视觉模型来detect 稀有物体或制造质量控制中的特定缺陷。 制造质量控制。这对于 这对于设备内存有限的边缘部署至关重要。未来的架构，如即将推出的 YOLO26 等未来架构的目标是进一步为实时应用整合这种效率。 实时应用。

LoRA 与相关概念对比

要充分理解 LoRA，最好将其与其他适应战略区分开来：

• 全面微调:这种传统方法会更新模型的所有参数。虽然这种方法可以实现最大程度的可塑性，但它需要大量资源，而且容易出现 "灾难性遗忘"。 资源密集型，而且容易出现 "灾难性遗忘"，即模型丢失以前学到的知识。 知识。您可以探索 模型训练技巧来应对这些挑战。 挑战。
• 及时工程:与修改模型权重（通过适配器）的 LoRA 不同，提示工程侧重于设计有效的文本 输入来引导冻结模型的行为。它无需培训，但与权重适配相比，在处理复杂的特定领域任务时可能会受到限制、 与权重适配相比，它在处理复杂的、特定领域的任务时可能会受到限制。
• 转移学习:这是一个更广泛的概念，即从一项任务中获取知识并将其应用于另一项任务。LoRA 是一种具体的、高效的迁移学习方法、 迁移学习的高效实施。
• 提示调整:这种技术可以学习添加到输入序列中的 "软提示"（向量）。虽然同样 参数效率，但它对输入嵌入而非内部模型层进行操作，因此与 LoRA 的深度整合相比，有时会限制其表现力。 与 LoRA 的深度整合相比，有时会限制其表现力。

通过实现模型定制的民主化，LoRA 使开发人员有能力构建专门的工具，用于 医学图像分析 野生动物保护和 自动驾驶汽车 科技巨头的基础设施。随着行业向多功能平台发展，如即将推出的Ultralytics 平台--使模型大小与训练成本脱钩的技术对于可扩展的人工智能创新仍然至关重要。