Ultralytics YOLO27: 加入候补名单。
获取 YOLO 许可
指南

了解少样本学习、零样本学习和迁移学习

了解计算机视觉中少样本学习、零样本学习和迁移学习的区别,以及这些范式如何影响 AI 模型训练。

Abirami VinaAbirami Vina6 分钟阅读
计算机视觉中的少样本学习、零样本学习和迁移学习

人工智能 (AI) 系统只需极少的人工输入,就能处理识别人脸、图像分类和驾驶汽车等复杂任务。它们通过研究数据、识别模式,并利用这些模式进行预测或决策来完成这些任务。随着 AI 的发展,我们看到 AI 模型的学习、适应和执行任务的方式日益成熟,效率也令人瞩目。

例如,计算机视觉是 AI 的一个分支,专注于让机器能够解读并理解来自现实世界的视觉信息。传统的计算机视觉模型开发严重依赖大量经过标注的数据集进行训练。收集和标注这类数据可能非常耗时且成本高昂。

为应对这些挑战,研究人员提出了少样本学习 (FSL)、零样本学习 (ZSL) 和迁移学习 (TL) 等创新方法:少样本学习从有限的示例中学习;零样本学习能够识别未见过的物体;迁移学习则将预训练模型中的知识应用于新任务。

本文将探讨这些学习范式的运作方式,重点介绍它们的主要区别,并了解实际应用。

学习范式概览#

让我们了解一下少样本学习、零样本学习和迁移学习在计算机视觉领域的含义,以及它们的工作原理。

少样本学习#

少样本学习是一种只需少量示例,系统就能学会识别新物体的方法。例如,如果向模型展示几张企鹅、鹈鹕和海鹦的图片(这个小集合称为“支持集”),模型就能学会这些鸟类的外观。

之后,如果你向模型展示一张新图片,比如一只企鹅,模型就会将这张新图片与支持集中的图片进行比较,并选出最相似的对象。当难以收集大量数据时,这种方法很有用,因为即使只有少量示例,系统仍然能够学习和适应。

少样本学习工作原理概览

图 1。 少样本学习工作原理概览。

零样本学习#

零样本学习是一种让机器无需示例就能识别从未见过的事物的方法。它会利用描述等语义信息来帮助建立关联。

例如,如果机器通过“体型小、毛茸茸的”“大型野猫”或“脸很长”等特征,学习了猫、狮子和马等动物的知识,就能利用这些知识识别老虎等新动物。即使以前从未见过老虎,它也能根据“长得像狮子、身上有深色条纹的动物”这样的描述正确识别老虎。这让机器无需大量样本就能更轻松地学习和适应。YOLOE等开放词汇检测器将同样的理念应用于目标检测,只需文本提示就能定位物体。

零样本学习根据描述识别新物体

图 2。 零样本学习根据描述识别新物体。

迁移学习#

迁移学习是一种学习范式,模型会利用从一个任务中学到的知识来帮助解决类似的新任务。这种技术特别适用于物体检测、图像分类和模式识别等计算机视觉任务。

例如,在计算机视觉中,预训练模型可以识别动物等常见物体,然后通过迁移学习进行微调,以识别不同犬种等特定对象。通过重复利用先前任务中学到的知识,迁移学习让你更轻松地在较小的计算机视觉模型数据集上训练模型,从而节省时间和精力。

迁移学习工作原理概览

图 3。迁移学习工作原理概览。

你可能想知道哪些模型支持迁移学习。Ultralytics YOLO11(此后已由 Ultralytics YOLO26接替)就是一个很好的计算机视觉模型示例。它是一种先进的目标检测模型,首先在大型通用数据集上进行预训练。之后,它可以在规模更小、领域更专的数据集上进行微调和自定义训练,以完成特定任务。

比较学习范式#

了解少样本学习、零样本学习和迁移学习之后,我们来比较一下它们,看看彼此有何不同。

少样本学习、零样本学习和迁移学习的主要区别

图 4. 少样本学习、零样本学习和迁移学习的主要区别。图片由作者提供。

当你只有少量已标注数据时,少样本学习非常有用。它让 AI 模型只需几个示例就能进行学习。相比之下,零样本学习不需要任何已标注数据,而是利用描述或上下文帮助系统处理新任务。与此同时,迁移学习采用不同的方法,利用预训练模型中的知识,让模型只需少量额外数据就能快速适应新任务。每种方法都有各自的优势,具体取决于你要处理的数据类型和任务。

不同学习范式在现实世界中的应用#

这些学习范式已经在许多领域发挥作用,通过创新解决方案解决复杂问题。让我们仔细看看它们如何应用于现实世界。

利用少样本学习诊断罕见疾病#

少样本学习对医疗保健领域尤其有价值,特别是在医学影像方面。它可以帮助医生仅凭少量样本甚至描述来诊断罕见疾病,而无需大量数据。当数据有限时,这种方法尤其有用;罕见疾病的数据集往往难以大规模收集。

例如,SHEPHERD利用少样本学习和生物医学知识图谱诊断罕见遗传疾病。它会将患者症状和检测结果等信息映射到已知基因和疾病网络中。这有助于找出可能的遗传病因并发现类似病例,即使数据有限也能做到。

SHEPHERD 模型使用极少数据诊断罕见疾病

图 5。 SHEPHERD 模型使用极少量数据诊断罕见疾病。

利用零样本学习改进植物病害检测#

在农业领域,快速识别植物病害至关重要,因为检测延误可能导致农作物大面积受损、产量下降和重大经济损失。传统方法通常依赖大型数据集和专家知识,但这些资源并非总能获得,尤其是在偏远或资源有限的地区。这时,零样本学习等 AI 技术的进步就能发挥作用。

假设一位农民正在种植番茄和马铃薯,并注意到叶片发黄或出现褐色斑点等症状。零样本学习无需大型数据集,就能帮助识别晚疫病等病害。模型可以利用症状描述,对此前未见过的病害进行分类。这种方法快速、可扩展,还能帮助农民检测多种植物问题。它有助于农民更高效地监测作物健康状况、及时采取措施并减少损失。

使用零样本学习识别植物病害

图 6。使用零样本学习识别植物病害。

自动驾驶汽车与迁移学习#

自动驾驶汽车通常需要适应不同环境,才能安全行驶。迁移学习能帮助它们利用已有知识快速适应新情况,而无需从头开始训练。结合能够帮助车辆解读视觉信息的计算机视觉,这些技术可以让车辆在不同地形和天气条件下更平稳地行驶,使自动驾驶更加高效、可靠。

一个很好的实际应用示例是使用 Ultralytics YOLO11 监控停车位的停车管理系统。YOLO11 是一个预训练目标检测模型,可以通过迁移学习进行微调,以实时识别空闲和已占用的停车位。通过使用规模较小的停车场图像数据集训练模型,它可以学会准确检测空车位、已满车位,甚至是预留车位。

停车场航拍画面中,Ultralytics YOLO11 标出车辆和空闲车位,总计 108 个已占用车位和 42 个可用车位

图 7。使用 Ultralytics YOLO11 管理停车场。

与其他技术集成后,该系统可以引导驾驶员前往最近的可用车位,从而缩短寻找车位的时间并缓解交通拥堵。迁移学习通过利用 Ultralytics YOLO11 现有的目标检测能力实现这一点,让模型无需从头开始,就能适应停车管理的特定需求。这种方法既节省时间和资源,也能打造高效、可扩展的解决方案,改善停车运营并提升整体用户体验。

计算机视觉学习范式的未来发展方向,是构建更智能、更可持续的视觉 AI 系统。尤其是,混合方法正逐渐成为一种趋势,它将少样本学习、零样本学习和迁移学习结合起来。通过融合这些方法的优势,模型只需少量数据就能学习新任务,并将所学知识应用于不同领域。

一个有趣的例子是使用适配后的深度嵌入,利用先前任务的知识和少量新数据微调模型,从而更轻松地处理有限的数据集。

同样,X-shot 学习旨在处理数据量各不相同的任务。它采用弱监督,让模型从有限或带噪声的标签中学习,并通过清晰的指令帮助模型快速适应,即使可用的先验样本很少或完全没有也能做到。这些混合方法表明,整合不同的学习方法可以帮助 AI 系统更有效地应对挑战。

要点#

少样本学习、零样本学习和迁移学习各自应对计算机视觉中的特定挑战,因此适用于不同任务。合适的方法取决于具体应用和可用数据量。例如,少样本学习适用于数据有限的情况,而零样本学习则擅长处理未见过或陌生的类别。

展望未来,将这些方法结合起来,创建整合视觉、语言和音频的混合模型,很可能会成为一个重点方向。这些进展旨在让 AI 系统更加灵活、高效,更有能力解决复杂问题,并为该领域的创新开辟新的可能性。

加入我们的社区并查看我们的 GitHub 代码库,进一步了解 AI。了解自动驾驶汽车中的 AI和农业中的计算机视觉如何重塑未来。查看可用的 YOLO 许可选项,立即开始使用!

作者

Abirami Vina
Abirami Vina

内容创作者 · Ultralytics

Abirami Vina 职业生涯始于计算机视觉工程师,由此在视觉 AI 和机器学习领域打下了坚实基础。她是 Ultralytics 的内容创作者,也是 Scribe of AI 的创始人兼首席撰稿人,为专注 AI 的公司撰写高质量技术内容。她热衷于让 AI 更易理解、更具吸引力,通过自己的作品连接前沿技术与现实影响。

评论

提出问题、分享你的结果,或帮助其他人。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来