深圳Yolo 视觉
深圳
立即加入
词汇表

零样本学习

探索零样本学习(ZSL),实现无需训练数据的classify detect classify 。了解Ultralytics YOLO实现实时开放词汇检测。

零样本学习(ZSL)是一种机器学习范式,它使人工智能模型能够识别、classify或detect 在训练阶段从未遇到的detect 。在传统的监督学习中,模型需要为每个需要识别的特定类别准备数千个标注示例。 零样本学习通过利用辅助信息——通常是文本描述、语义属性或嵌入向量——消除了这种严格依赖,从而弥合已见类别与未知类别之间的差距。这种能力使人工智能系统具备显著更强的灵活性和可扩展性,能够应对动态环境——在这些场景中,为所有可能对象收集详尽数据往往不切实际。

零距离学习如何运作

ZSL的核心机制在于通过共享语义空间,将知识从熟悉概念转移到陌生概念。 该模型并非仅通过记忆黑白条纹的像素图案来识别"斑马",而是学习视觉特征与语义属性(如"马形轮廓"、"条纹图案"、"四足构造")之间的关联——这些属性源自自然语言处理(NLP)技术

该过程通常依赖于 将图像与文本表征相匹配的多模态模型。 例如,OpenAI的CLIP等基础研究 展示了模型如何通过自然语言监督学习视觉概念。 当零样本学习模型遇到未见过的物体时,它会提取视觉特征并与语义向量词典进行比对。若视觉特征与新类别的语义描述相符,模型即可正确classify 实现真正的"零样本"预测。这种方法是现代基础模型的核心,使其能够在海量任务中实现泛化能力。

实际应用

零样本学习正通过使系统能够超越其初始训练数据进行泛化,推动各行业的创新发展。

  1. 开放词汇表目标检测:现代YOLO零监督学习(ZSL)技术,基于用户定义的文本提示detect 。这使得在无法预先定义固定类别列表的场景中也能实现目标检测,例如在海量视频档案中搜索特定物品。Google 的研究人员正持续拓展这类开放词汇表检测技术的边界。
  2. 医学诊断: 在医疗健康领域的人工智能应用中,获取罕见疾病的标注数据往往困难且成本高昂。ZSL模型可基于常见病症及PubMed等数据库中医学文献记载的罕见症状描述进行训练,从而使系统能够在无需大量阳性病例数据集的情况下,对医学影像中的潜在罕见异常进行标记。
  3. 野生动物保护: 在农业与生态学领域, 识别那些鲜少被拍摄到的濒危物种至关重要。 伦敦动物学会(ZSL)使保护工作者能够 通过生物数据库(如《生命百科全书》)中定义的 属性描述detect 。

利用Ultralytics进行零点检测

Ultralytics YOLO生动展现了零样本学习的应用实例。该模型支持用户在运行时动态定义自定义类别,无需重新训练模型。这一特性通过将强大的检测骨干网络与理解自然语言的文本编码器相结合实现。

以下Python 演示了如何使用YOLO detect 未明确包含在标准训练集中的detect ,具体方法是: ultralytics 包装

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

与相关概念的区别

要充分理解 ZSL,最好将其与计算机视觉(CV)中使用的类似学习策略区分开来。 计算机视觉 (CV) 中使用的类似学习策略区分开来:

  • 少样本学习(FSL)虽然零样本学习(ZSL)无需目标类别的实例,但少样本学习仅为模型提供极小的支持集(通常为1至5个实例)进行适应。由于零样本学习完全依赖语义推理而非视觉实例,通常被认为更具挑战性。
  • 一次性学习单次学习 单次学习:FSL 的一个子集,即模型完全从一个标注示例中学习。ZSL 的本质区别在于,它的运行甚至不需要 甚至没有一张新类别的图像。
  • 迁移学习这一广义 这一广义术语是指将知识从一项任务转移到另一项任务。ZSL 是迁移学习的一种特殊类型,它 利用语义属性将知识迁移到未见过的类别,而无需在新数据上进行传统的 对新数据进行微调

挑战与未来展望

尽管零监督学习(ZSL)具有巨大潜力,但它面临着诸如领域转换问题等挑战——训练过程中学习到的语义属性无法完美映射到未见类别的视觉外观。此外,ZSL模型可能存在偏差问题,即已见类别的预测准确率显著高于未见类别。

斯坦福大学人工智能实验室 和IEEE计算机学会等机构的研究持续致力于突破这些局限。随着计算机视觉工具日益强大,ZSL有望成为标准功能,从而减少对海量数据标注工作的依赖。对于希望在部署高级模型前高效管理数据集的团队Ultralytics 提供了全面的数据集标注与管理工具。

加入Ultralytics 社区

加入人工智能的未来。与全球创新者联系、协作和共同成长

立即加入