什么是实例分割？快速入门指南

Computer vision 应用在我们的日常生活中正变得越来越普遍，从监控路况的交通摄像头到商店里的自助结账系统。通过让机器以类似于人类的方式理解视觉数据，视觉 AI 正对各个行业产生影响。

许多此类应用依赖于目标检测，这是一种在图像中的关键对象周围放置边界框的计算机视觉任务。虽然这种方法通常效果很好，但某些图像分析解决方案需要更高的精度。

例如，医学影像不仅需要检测肿瘤，准确勾勒出其确切形状也至关重要。同样，在机器人领域，机器需要识别对象的精确轮廓才能正确抓取它。为了应对这些挑战，实例分割提供了一个更精确的解决方案。

实例分割是一项计算机视觉任务，旨在支持仅靠检测对象还不够的使用场景——它提供像素级的准确度。诸如 Ultralytics YOLO11 之类的计算机视觉模型可用于轻松地将实例分割应用于图像和视频。

图 1. 使用 YOLO11 进行实例分割的示例。

在本指南中，我们将分解实例分割的工作原理、其应用场景，以及如何针对特定的分割任务对 Ultralytics YOLO11 进行自定义训练。

什么是实例分割？#

假设有一张人们站得很近的合影。目标检测可以帮助为每个人绘制边框，但这并不能告诉你他们的确切形状。

实例分割另一方面，类似于仔细勾勒出每个人的周围轮廓，以便你能看到他们的完整轮廓，即使他们重叠在一起也是如此。它不仅仅是用方框标记某物的位置，而是以像素级别识别每个对象的精确形状，从而更容易理解复杂的图像。

结果会生成一个详细的遮罩（mask），填补对象的形状，并精确定位哪些像素属于该对象。这种精度水平在许多需要了解对象确切形状和边界的现实应用中非常有用。

图 2. 展示 Ultralytics YOLO11 对实例分割的支持。

实例分割与语义分割#

在探索实例分割时，你可能会遇到语义分割的概念。

这两种技术都能帮助计算机在像素级别理解图像，但它们的目的不同。语义分割根据类别标记每个像素，将相同类型的所有对象归为一类。例如，在一张有多辆汽车的图像中，语义分割会将所有汽车标记为“汽车”，而不会区分具体的车辆。

另一方面，实例分割更进一步，它将每个对象单独识别出来。它为各个实例分配唯一标签，并在它们的形状周围创建精确的遮罩。因此在同一张图像中，实例分割不仅会把一切标记为“汽车”，还会识别并勾勒出每一辆车。

两者之间的主要区别在于，语义分割按类别对对象进行分组，而实例分割则将每个对象识别为一个具有清晰边界的独特实体。选择哪种任务取决于具体的应用——只需知道图像中有什么，还是需要区分各个对象。

图 3. 实例分割与语义分割（分别在右侧和左侧）。

主流的实例分割模型#

如今，视觉 AI 社区有各种各样的实例分割模型。有些速度更快，有些准确度更高，还有些更容易使用。

这些选项虽然有用，但也引出了一个问题：针对特定任务，哪一个才是正确的选择？在这些选项中，Ultralytics YOLO 模型因专注于速度和准确性而广受欢迎。

此外，这些模型多年来有了显著的演进。例如，Ultralytics YOLOv5 使用 PyTorch 等框架简化了部署，使更广泛的受众能够在不需要深厚技术专业知识的情况下使用先进的视觉 AI。

在此成功的基础上，Ultralytics YOLOv8 推出了对实例分割、姿态估计和图像分类等计算机视觉任务的增强支持。

现在，Ultralytics YOLO11 将性能提升到了一个新的水平。它在 COCO 数据集上实现了更高的平均准确率（mAP），且参数量比 YOLOv8m 减少了 22%，这意味着它能够以更少的资源更精准地识别物体。

图 4. 对 YOLO11 进行基准测试。

简而言之，Ultralytics YOLO11 在不牺牲效率的情况下提供了最先进的准确率，使其成为该领域的颠覆性技术。

理解实例分割的工作原理#

接下来，让我们探讨实例分割通常是如何工作的。较旧的计算机视觉模型采用两步法。

首先，它们通过在对象周围绘制边界框来检测对象。然后，它们生成一个像素级的掩码来勾勒出每个对象的精确形状。一个著名的例子是 Mask R-CNN，它通过添加掩码预测步骤构建在目标检测模型之上。虽然这种方法很有效，但它可能会很慢，因为它分多个阶段处理图像，这使得实时应用更具挑战性。

同时，像 Ultralytics YOLO11 这样的模型可以一次性处理图像，同时预测物体边界框和实例分割掩码。这种精简的方法使其速度大大提升，同时仍能保持高准确率。因此，它对于自动驾驶、视频分析和机器人等对速度和精度都至关重要的实时应用特别有用。

自定义训练 Ultralytics YOLO11 以进行实例分割#

开箱即用，YOLO11 作为一个预训练模型提供。它已在COCO-Seg 数据集上进行了训练，该数据集涵盖了用于实例分割的日常对象。然而，Ultralytics Python 软件包支持自定义训练，这对于需要分割唯一对象的专门应用至关重要。

为什么自定义训练或微调模型很重要？自定义训练利用了迁移学习，建立在预训练模型中已经内嵌的知识基础之上。它不是从头开始，而是使用更小的数据集和更少的计算资源将现有模型适配到新任务，同时保持高准确度。

如何自定义训练 Ultralytics YOLO11#

以下是微调 Ultralytics YOLO11 以进行实例分割所涉及步骤的详细介绍：

• 数据准备： 根据你的具体应用收集并标注图像。Ultralytics 提供对多个图像数据集的支持，但你也可以通过准备所需 YOLO 格式的图像和标注来使用你自己的数据集进行训练。
• 使用预训练模型： 无需从头开始，直接使用预训练的 Ultralytics YOLO11 模型。
• 模型训练： 调整关键训练设置，如批次大小（每轮迭代处理的图像数）、图像大小（目标输入分辨率）和轮次（总训练周期）并进行模型训练。
• 性能评估： 模型训练完成后，你可以使用 mAP 等性能指标测试模型的准确性。Ultralytics Python 软件包也提供了用于模型评估的内置功能。

由 Ultralytics YOLO11 启用的实例分割应用#

实例分割可以通过帮助机器更准确地观察和理解对象来解决现实世界的挑战。从改善自动化到保护环境，它在许多领域发挥着关键作用。让我们来看看它正在产生影响的一些示例。

使用 Ultralytics YOLO11 进行建筑工地安全与监控#

实例分割可以成为确保施工现场安全和效率的关键部分。例如，它可用于监控重型机械。

可以对 Ultralytics YOLO11 进行微调，以准确分割和识别不同类型的设备（如起重机、挖掘机和推土机），并实时跟踪它们的位置。这使工地管理者能够确保机械严格在指定区域内运行，不会侵入有工人或存在危险的区域。

此外，将此类解决方案与实时警报系统集成，可以迅速采取纠正措施。不仅如此，所收集的见解还有助于优化现场布局和工作流程，进一步降低风险并提高生产力。

Fig 5. 使用 Ultralytics YOLO11 监控重型机械。

结合分割与 Ultralytics YOLO11 的动物监控#

动物行为监测帮助研究人员、农民和自然保护主义者在不同的环境中更好地照顾动物。实例分割通过识别和分割农场、动物园和自然栖息地中的单个动物，在这些系统中发挥着有用的作用。与使用边界框的传统目标检测不同，实例分割提供了每个动物的像素级轮廓，这在动物靠得很近时特别有用。

精细的分割促进了更准确的动作和行为跟踪。可以清楚地识别重叠或紧密聚集的动物，并提供对互动、健康评估和活动模式的更精确分析。总的来说，对动物行为的更深入洞察增强了动物护理和管理实践。

图 6. 使用实例分割监控牛群。

体育分析和球员追踪中的 Ultralytics YOLO11#

精确的球员和事件跟踪是体育分析的重要组成部分。传统的跟踪方法依赖于手动标记，可能无法捕捉详细的互动。计算机视觉可以用于在像素级别分割球员、球和关键事件等细节，从而获得深入的见解。

例如，实例分割可以通过清晰地分离每个球员和物体来帮助检测犯规或无球跑动事件等情况。由像 Ultralytics YOLO11 这样的模型所实现的这种细粒度监控，为分析师提供了更清晰的信息，以便高精度地研究运动模式、空间定位和互动。这些洞察的一个关键好处是，它们能帮助球队完善策略并提升整体表现。

实例分割的优缺点#

以下是实例分割可以为各个行业带来的一些主要好处：

• 改进自动化： 通过自动化质量控制和安全监控等任务，实例分割减少了人工干预的需要，并将人为错误降至最低。
• 更好的场景理解： 通过准确勾勒每个对象，实例分割有助于更深入地理解复杂场景，支持更明智的决策。
• 高效的后处理： 像素级的输出简化了背景移除、对象计数和空间分析等任务，减少了额外处理步骤的需求。

虽然这些好处突显了实例分割如何影响不同的用例，但考虑其实现过程中涉及的挑战也至关重要。

以下是实例分割的一些主要局限性：

• 透明度带来的挑战： 分割玻璃和水等透明或反光物体很困难，会导致边界不准确。
• 维护开销： 为了保持模型的准确性和相关性，随着环境条件和数据集的变化，持续的更新和微调是必要的。
• 高标注成本： 训练实例分割模型需要详细的像素级标注，这显著增加了数据准备的时间和成本。

关键要点#

实例分割使得精确区分个体对象成为可能，即使它们重叠。通过在像素级别捕捉对象边界，与目标检测等传统计算机视觉任务相比，它提供了对视觉数据的更深刻理解。

计算机视觉的最新进展使得实例分割变得更快、更易于使用。特别是 Ultralytics YOLO11 等计算机视觉模型简化了流程，实现了最小化配置下的实时分割，使其在各种行业和应用中更具可及性。

对 AI 感兴趣吗？访问我们的 GitHub 仓库并连接到我们的社区以继续探索。在我们的解决方案页面上了解诸如自动驾驶汽车中的 AI 和农业中的视觉 AI 等创新。查看我们的许可选项并开始计算机视觉项目！