迁移学习

迁移学习是 机器学习 (ML) 中一种强大的技术，其中为特定任务开发的模型被重新用作第二个相关任务模型的起点。无需从头开始训练 神经网络 —这需要海量数据集和强大的计算能力— 开发者可以利用 AI 已获得的知识。这种方法模仿了人类的学习方式；例如，知道如何弹钢琴会使学习风琴变得容易得多，因为音乐理论和手指灵活性的基础知识可以迁移。在 深度学习 的背景下，这意味着模型可以在新问题上以显著更少的数据和时间实现高准确性。

迁移学习的工作原理

迁移学习的有效性在于 特征提取 的分层特性。深度学习模型，特别是计算机视觉中使用的模型，分层学习识别模式。 骨干网络 的初始层检测简单、通用的特征，如边缘、曲线和纹理。这些低级特征适用于几乎任何视觉任务。

该过程通常包括两个主要阶段：

1. 预训练：模型在诸如ImageNet等大规模基准数据集上进行训练，以学习通用的视觉表示。这会产生一组已理解视觉结构的模型权重。
2. 适应: 预训练模型随后被适应于特定的利基任务。这通常通过“冻结”早期层（保持其权重固定）并仅在较小的自定义数据集上重新训练最终层或 检测头 来完成。

实际应用

迁移学习通过允许构建专业解决方案而无需大型科技公司的资源，从而使 AI 民主化。

• 医疗AI: 针对每种特定疾病收集数百万张标注医学图像是困难的。然而，研究人员可以采用在日常物体上预训练的模型，并将其应用于医学图像分析。该模型将其detect形状和异常的能力转移到以高精度识别X射线或MRI扫描中的肿瘤。
• 制造AI: 在工业环境中，视觉检测系统必须快速适应新的产品线。广义的缺陷detect模型可以迅速更新，以发现特定新组件（如微芯片）中的缺陷，利用智能制造工作流程，最大限度地减少停机时间。

与其他概念的关系

区分迁移学习与密切相关的术语是有帮助的：

• 对比微调：微调是实现迁移学习的一种特定方法。迁移学习是知识重用的总体概念，而微调是指解冻模型部分并在新数据上以较低的学习率进行训练的机械过程。
• 对比零样本学习： 迁移学习需要针对新任务进行一个训练阶段，其中包含一些标注数据。相比之下，零样本学习试图对模型从未见过的对象进行classify，通常依赖语义描述而非视觉示例。

实例

以下是 Python 此代码片段演示了使用迁移学习 ultralytics 库。我们加载 YOLO26 模型，该模型带有从COCO数据集派生的预训练权重。当我们在新数据集上启动训练时，模型会自动将其预学习的特征迁移到新任务。

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (transferring weights from COCO)
model = YOLO("yolo26n.pt")

# Train the model on a new, smaller dataset to adapt its knowledge
# This leverages the pre-learned backbone for faster convergence
results = model.train(data="coco8.yaml", epochs=5)

为了管理数据集并在云端执行这些训练运行，Ultralytics平台等工具简化了流程，使团队能够高效地协作标注数据和部署迁移学习模型。

要深入了解学术理论，斯坦福CS231n笔记提供了出色的概述，而PyTorch迁移学习教程则提供了广泛的实现技术细节。