实例分割
了解实例分割如何以像素级精度完善对象检测,为人工智能应用提供详细的对象掩码。
实例分割是一项先进的计算机视觉(CV)任务,可在像素级识别和划分图像中的单个物体。与其他视觉任务不同的是,它不只是对图像进行分类或在物体周围画一个边界框,而是为每个不同的物体实例生成精确的像素级掩码。这种技术能更深入地了解场景,因为它能区分重叠的同类物体。
实例与语义和对象检测
必须将实例分割与其他相关的计算机视觉任务区分开来。
- 物体检测:这项任务通常通过在物体周围绘制矩形边框并指定类别标签来识别物体的存在和位置。它能回答 "图像中有什么,在哪里?",但不提供形状信息。
- 语义分割:这项任务将图像中的每个像素归入一个特定类别。例如,它会将属于汽车的所有像素标记为 "汽车",但不会区分图像中两辆不同的汽车。它会回答 "每个像素属于哪个类别?
- 实例分割:它结合了对象检测和语义分割的功能。它会检测每个对象实例,并为其生成一个唯一的分割掩码。在一张有三辆汽车的图像中,实例分割将输出三个独立的掩码,每个掩码对应一辆特定的汽车。
- 全景分割:这是最全面的分割任务,融合了语义分割和实例分割。它为每个像素分配一个类别标签和一个唯一的实例 ID,从而提供对场景的完整、统一的理解。
实例分割的工作原理
实例分割模型通常执行两个主要功能:第一,检测图像中的所有对象实例;第二,为每个检测到的实例生成分割掩码。这一过程在Mask R-CNN 等架构中得到了广泛应用,该架构通过添加一个并行分支来预测每个感兴趣区域的二进制掩码,从而扩展了 Faster R-CNN 等对象检测器。现代模型进一步完善了这一过程,提高了速度和准确性,从而在许多应用中实现了实时推理。开发通常依赖于强大的深度学习框架,如PyTorch和TensorFlow。
实际应用
实例分割所提供的详细对象轮廓在许多领域都很有价值。
- 自动驾驶汽车:自动驾驶汽车依靠实例分割来精确识别单个行人、车辆和骑车人的形状和位置。这种粒度细节对于安全导航和路径规划至关重要,尤其是在有许多重叠物体的复杂城市环境中。城市景观等数据集在推动这一领域的发展方面发挥了重要作用。
- 医学图像分析:在放射学中,实例分割用于从 CT 或 MRI 扫描中高精度地划分肿瘤、病变和器官。这有助于医生测量肿瘤大小、制定手术计划和监控治疗效果。您可以在我们关于使用 YOLO11 进行肿瘤检测的博文中了解更多相关信息。
- 机器人学机器人利用实例分割来了解环境,识别要抓取的特定物体,并更准确地避开障碍物。这对制造和物流任务至关重要。
- 卫星图像分析:这项技术可用于统计森林中的单棵树木、绘制城市建筑地图,或利用美国国家航空航天局(NASA)等机构提供的数据跟踪土地使用的长期变化。
- 农业:它可用于识别和计数单个水果以估算产量,或检测特定杂草以有针对性地施用除草剂,这是精准农业的一个关键部分。
使用 Ultralytics YOLO 进行实例分割
Ultralytics 提供能够执行高效实例分割的先进模型。YOLOv8和最新的YOLO11等模型旨在为包括实例分割在内的各种视觉任务提供高性能。您可以在我们的分割任务文档中找到更多详细信息。Ultralytics HUB平台简化了从数据管理到模型部署 的 机器学习 (ML)工作流程。在实际应用方面,我们提供了使用预训练的 Ultralytics YOLOv8 模型进行细分的教程或隔离细分对象的指南等资源。您还可以了解如何使用 Ultralytics YOLO11 进行实例分割。