迁移学习

迁移学习是一种机器学习（ML）技术，它将为一项任务开发的模型作为第二个相关任务模型的起点重新使用。迁移学习需要大量的数据和计算资源，而不是从头开始构建模型，它利用了从源任务中学习到的知识，如特征、权重和模式。这种方法非常高效，已成为现代深度学习的基石，尤其是在计算机视觉（CV）领域。通过使用预训练模型，开发人员可以用更少的数据和更短的训练时间实现更高的性能。

迁移学习如何发挥作用

迁移学习的核心思想是，在大型通用数据集（如用于图像分类的ImageNet）上训练的模型，已经学会识别边缘、纹理和形状等通用特征。这些基础知识存储在模型的初始层中，通常称为骨干层。

这一过程通常包括两个主要步骤：

1. 从预先训练的模型开始：选择之前在大型基准数据集上训练过的模型。例如，大多数Ultralytics YOLO模型都带有在COCO 数据集上预先训练过的权重。这些模型已经对一般物体特征有了很好的理解。
2. 微调：然后根据新的特定任务对预先训练好的模型进行调整。这种适应被称为微调，包括在较小的特定任务数据集上进一步训练模型。在这一阶段，学习率通常会保持在较低水平，以便对模型的权重进行微调，同时又不会丢失有价值的预学习特征。有关详细指南，请参阅PyTorch 移植学习教程。

实际应用

迁移学习不仅仅是一个理论概念，它在许多行业都有实际应用。

• 医学影像分析:可以在一般的 ImageNet 数据集上预先训练一个模型，然后对其进行微调，以便从核磁共振扫描中检测出脑肿瘤等特定异常。由于标注的医疗数据通常稀缺且获取成本高昂，因此迁移学习可以创建精确的诊断工具，而不需要数百万张医疗图像。有关这方面的更多信息，请参阅人工智能如何开创放射学精准诊断的新时代。
• 自动驾驶汽车:物体检测模型可在海量道路图像数据集上进行预训练，然后由特定汽车制造商进行微调，以识别独特的车型或在特定天气条件下运行。这样可以利用现有的汽车、行人和标志知识，加快开发速度并提高安全性。

迁移学习与相关概念

将迁移学习与其他 ML 技术区分开来非常重要：

• 基础模型:这些模型是在大量数据基础上预先训练的大规模模型，专门设计用于适应各种下游任务。迁移学习就是对这些基础模型进行调整的过程。
• 零距离学习:这种技术能让模型识别它在训练过程中没有见过的类别。迁移学习是让模型通过一些新数据适应新任务，而零点学习则是在没有任何新类别实例的情况下实现泛化。我们的 "少点学习、零点学习和迁移学习 "指南将更详细地解释这些差异。
• 知识蒸馏:这包括训练一个较小的 "学生 "模型来模仿一个较大的 "教师 "模型的行为，以提高效率。迁移学习侧重于将知识从一项任务调整到另一项任务，而蒸馏则侧重于在同一任务中压缩知识。

工具和框架

应用迁移学习可通过各种工具和平台实现。PyTorch和TensorFlow等框架提供了大量文件和预训练模型。Ultralytics HUB等平台简化了整个工作流程，用户可以轻松加载YOLOv8和YOLO11 等预训练模型，在新数据集上执行自定义训练，并管理模型部署。要深入了解理论知识，斯坦福 CS231n 转移学习概述等资源非常宝贵。