指南

理解少样本、零样本和迁移学习

探索计算机视觉中少样本学习、零样本学习和迁移学习的区别，以及这些范式如何塑造 AI 模型训练。

ABAbirami Vina5 min readJanuary 29, 2025

人工智能（AI）系统只需极少量的人工输入，即可处理复杂的任务，如人脸识别、图像分类和自动驾驶。它们通过研究数据、识别模式并利用这些模式进行预测或决策来实现这一目标。随着AI的发展，我们见证了AI模型在学习、适应和执行任务方面日益精巧且高效的方式。

例如，computer vision 是 AI 的一个分支，专注于使机器能够解释和理解来自世界的视觉信息。传统的 computer vision 模型开发严重依赖大量带注释的 datasets 进行训练。收集和标记此类数据可能耗时且成本高昂。

为应对这些挑战，研究人员引入了创新的方法，例如：从有限示例中学习的少样本学习（FSL）；识别未见对象的零样本学习（ZSL）；以及将预训练模型的知识应用到新任务中的迁移学习（TL）。

在本文中，我们将探讨这些学习范式的工作原理，重点介绍它们的主要区别，并查看其现实应用。让我们开始吧！

学习范式概述#

让我们探讨少样本学习、零样本学习和迁移学习在计算机视觉方面的定义及其工作原理。

少样本学习#

Few-shot learning 是一种系统仅使用少量样本学习识别新对象的方法。例如，如果你向模型展示几张企鹅、鹈鹕和海鹦的照片（这个小群体被称为“支持集”），它就会学会这些鸟类的外观。

稍后，如果你向模型展示一张新照片（如企鹅），它会将这张新照片与支持集中的照片进行对比，并挑选出最接近的匹配项。当收集大量数据很困难时，这种方法非常有益，因为系统仍然可以仅通过少量示例进行学习和适应。

An overview of how few-shot learning works

Fig 1. few-shot learning 工作原理概述。

零样本学习#

Zero-shot learning 是机器在不需要它们示例的情况下识别从未见过的事物的一种方式。它使用诸如描述之类的语义信息来帮助建立联系。

例如，如果机器通过理解诸如“小而毛茸茸”、“大型野生猫科动物”或“长脸”等特征学会了猫、狮子和马等动物，它就能利用这些知识识别新动物，比如老虎。即使它以前从未见过老虎，也可以通过“一种带有深色条纹的狮子状动物”这样的描述来正确识别它。这使得机器在无需大量示例的情况下，学习和适应变得更加容易。

Zero-shot learning identifying new objects using descriptions

Fig 2. zero-shot learning 使用描述来识别新对象。

迁移学习#

Transfer learning 是一种学习范式，其中模型利用从一项任务中学到的知识来帮助解决类似的新任务。在处理诸如 object detection、image classification 和 pattern recognition 等 computer vision tasks 时，这项技术尤其有用。

例如，在 computer vision 中，预训练模型可以识别通用对象（如动物），然后通过 transfer learning 进行微调，以识别特定对象（例如不同的狗品种）。通过重用早期任务的知识，transfer learning 可以更轻松地在较小的 datasets 上训练 computer vision models，从而节省时间和精力。

An overview of how transfer learning works

Fig 3. transfer learning 工作原理概述。

你可能想知道什么样的模型支持 transfer learning。Ultralytics YOLO11 是一个可以做到这一点的 computer vision 模型的绝佳示例。它是一个先进的 object detection 模型，首先在大规模通用 dataset 上进行预训练。之后，它可以针对特定任务在较小的专用 dataset 上进行微调和 custom-trained。

比较学习范式#

既然我们已经谈到了少样本学习、零样本学习和迁移学习，让我们比较一下它们，看看它们有何不同。

Key differences between few-shot, zero-shot, and transfer learning

图 4. 少样本、零样本和迁移学习之间的关键区别。图片由作者提供。

当你只有少量标注数据时，少样本学习非常有用。它使AI模型只需几个示例即可进行学习。相比之下，零样本学习不需要任何标注数据。相反，它利用描述或上下文来帮助系统处理新任务。与此同时，迁移学习采取了不同的方法，利用预训练模型的知识，使它们能够以极少的额外数据快速适应新任务。每种方法都有其各自的优势，具体取决于你所处理的数据类型和任务。

各种学习范式的现实应用#

这些学习范式已经在许多领域发挥作用，通过创新的解决方案解决复杂问题。让我们更深入地了解它们如何在现实世界中应用。

利用少样本学习诊断罕见疾病#

Few-shot learning 对医疗保健行业来说是一场游戏规则的改变者，尤其是在 medical imaging 领域。它可以帮助医生仅使用几个示例甚至描述来诊断罕见疾病，而无需大量数据。当数据有限时，这尤其有用，由于收集罕见疾病的大型 datasets 具有挑战性，这种情况经常发生。

例如，SHEPHERD 使用 few-shot learning 和生物医学知识图谱来诊断罕见遗传病。它将患者信息（例如症状和测试结果）映射到已知基因和疾病的网络上。这有助于查明可能的遗传原因并寻找类似病例，即使在数据有限的情况下也是如此。

The SHEPHERD model diagnosing rare diseases using minimal data

Fig 5. Shepherd 模型使用最少的数据诊断罕见疾病。

利用零样本学习改善植物病害检测#

在农业中，快速识别植物病害至关重要，因为检测延迟会导致大面积作物受损、产量下降和严重的经济损失。传统方法通常依赖大数据集和专家知识，而这些在偏远或资源受限地区往往难以获取。这就是零样本学习等AI进步发挥作用的地方。

假设一位农民正在种植番茄和土豆，并注意到叶片发黄或出现褐斑等症状。零样本学习可以在不需要大数据集的情况下帮助识别晚疫病等病害。通过使用症状描述，模型可以分类其以前未见过的疾病。这种方法快速、可扩展，并允许农民检测多种植物问题。它有助于更有效地监测作物健康、采取及时措施并减少损失。

Using zero-shot learning to identify plant diseases

Fig 6. 使用 zero-shot learning 识别植物病害。

自动驾驶汽车与迁移学习#

自动驾驶汽车通常需要适应不同的环境以安全行驶。迁移学习帮助它们利用先验知识快速调整以适应新条件，而无需从零开始训练。结合有助于车辆解释视觉信息的计算机视觉技术，这些技术使得在不同地形和天气条件下行驶更加顺畅，从而提高了自动驾驶的效率和可靠性。

这方面的一个好例子是使用 Ultralytics YOLO11 监控车位的 parking management system。YOLO11 是一个预训练的 object detection 模型，可以通过 transfer learning 进行微调，以实时识别空闲和占用的停车位。通过在较小的停车场图像 dataset 上训练模型，它学会了准确检测空闲车位、满车位甚至保留区域。

Parking management using Ultralytics YOLO11

Fig 7. 使用 Ultralytics YOLO11 进行停车管理。

集成其他技术后，该系统可以引导驾驶员前往最近的可用车位，从而帮助减少寻找时间和交通拥堵。迁移学习通过利用 Ultralytics YOLO11 现有的 object detection 功能来实现这一点，允许它适应停车管理的特定需求，而无需从头开始。这种方法节省了时间和资源，同时创造了一个高效且可扩展的解决方案，改善了停车运营并提升了整体用户体验。

学习范式的新兴趋势#

Computer vision 中学习范式的未来正倾向于开发更智能、更可持续的 vision AI 系统。特别是，一个日益增长的趋势是使用结合了 few-shot learning、zero-shot learning 和 transfer learning 的 hybrid approaches。通过融合这些方法的优势，模型可以用最少的数据学习新任务，并在不同领域应用其知识。

一个有趣的例子是使用 adapted deep embeddings 来微调模型，利用先前任务的知识和少量新数据，从而更容易处理有限的 datasets。

同样，X-shot learning 旨在处理具有不同数据量的任务。它使用弱监督（模型从有限或带噪声的标签中学习）和清晰的说明来帮助它们快速适应，即使只有很少或没有先验示例可用。这些 hybrid approaches 展示了整合不同的学习方法如何帮助 AI 系统更有效地应对挑战。