深圳Yolo 视觉
深圳
立即加入

了解多边形标注技术,它如何实现精确的物体分割,以及如何通过Ultralytics 轻松创建标注。

想部署一个计算机视觉项目吗?

了解授权

尖端的人工智能技术正逐渐应用于各个行业,从自动驾驶到精准农业。例如,奶农正利用人工智能和图像分析技术来detect 奶牛的detect 。通过观察动物步态和姿势的变化——例如背部弓起或运动不对称——可以监测跛行等健康问题。 

图1. 利用人工智能和图像分析监测奶牛的示例。

计算机视觉作为人工智能的一个分支,通过使机器能够解读和分析视觉数据,从而实现了此类应用。具体而言,实例分割是一项计算机视觉任务,它能在像素级别识别并分割图像中的每个物体,从而能够精确地detect 分析单个动物。

多边形标注在此过程中发挥着关键作用。这是一种数据标注方法,通过在图像中物体的边缘放置点,来精确勾勒其形状。与简单的边界框标注不同,这种方法遵循物体的真实轮廓,有助于生成更精确的训练数据,并使视觉AI模型更好地理解物体边界。

如今,市面上有许多用于创建多边形注记的工具。然而,这些工具往往显得零散,尤其是当它们对不同类型的注记支持不一致或有限时,这使得在单一工作流中管理多样化的标注需求变得更加困难。

Ultralytics 是我们全新推出的端到端视觉 AI 工作区,它弥合了数据集管理、标注、训练、部署和监控之间的鸿沟。该平台通过在一个无缝衔接的工作区中支持多种标注类型和 AI 辅助工作流,从而简化了整个标注流程。

在本文中,我们将探讨什么是多边形标注,以及如何使用Ultralytics 创建它们。让我们开始吧! 

深入探讨多边形注记

在深入探讨Ultralytics 及其多边形标注功能之前,让我们先退一步,了解什么是多边形标注。 

图像标注是指为视觉数据添加标签,以便人工智能模型能够理解其所“看到”的内容。该过程通常包括识别图像中的物体,并以一种便于模型学习的方式对其进行标注。 

最常见的方法之一是在物体周围绘制矩形框,即所谓的“边界框”。然而,边界框只能提供物体的粗略轮廓。多边形标注则是一种更精确的方法。

其工作原理是逐点勾勒物体的轮廓(边界),而非将其框在方框内。为此,标注员会在物体的边缘放置多个顶点(点),沿着轮廓进行描绘,直到覆盖整个形状。

这些连接的点构成一个多边形,完美地映射出物体的自然轮廓。由于该形状紧密贴合物体的边界,这种标注方式能够捕捉到传统标注方法常会遗漏的细节。当物体具有不规则形状或复杂边缘时,例如树叶、人体剪影以及重叠的物体,这种方法尤为有用。 

如此精准的数据有助于机器学习模型在训练过程中更有效地学习。当标注能准确捕捉物体的真实边界时,模型就能更好地理解物体在像素层面的特征。这将提升模型的性能,特别是在需要高精度的分割任务中。

多边形标注在计算机视觉工作流中的作用

那么,多边形标注实际上是如何使用的呢?它们与支持图像分割任务(如实例分割)的视觉AI模型紧密相关。

在许多计算机视觉应用中,准确掌握每个物体在图像或视频帧中所占的精确区域至关重要。制造业中的汽车零部件检测便是很好的例子。在这种情况下,模型需要识别并精确勾勒出车门、车窗和前大灯等部件的轮廓,即使这些部件相互重叠或形状复杂。

这就是实例分割发挥作用的地方。它使模型能够detect 物体,并在像素级别绘制其精确边界。这与使用边界框的基本物体检测不同。 

图2. 实例分割也有助于识别汽车的受损部位。(来源

边界框仅能提供物体周围的大致矩形区域,且通常包含多余的背景,这使得捕捉不规则形状或分离重叠物体变得更加困难。

多边形标注在实现这一精度水平方面发挥着至关重要的作用。通过追踪数据集图像中每个物体的精确轮廓,可以生成高质量的训练数据,准确反映物体的真实边界。这些详细的标注有助于Ultralytics 等模型更好地理解每个组件的结构,从而获得更准确的分割结果。

传统图像标注工具的局限性

接下来,让我们分析一下传统标注工具的局限性,从而理解为何需要像Ultralytics 这样更高效、更具可扩展性的解决方案。

以下是标注员在使用传统多边形标注工具时常会遇到的一些挑战:

  • 对标注类型的支持有限:某些工具仅专注于单一标注技术,因此难以在同一平台上处理多边形、边界框和关键点等不同类型的标注。
  • 对复杂标注处理效率低下:某些工具可能缺乏相关功能,无法更轻松地对具有精细细节的复杂对象进行准确标注。
  • 缺乏人工智能辅助功能:许多工具完全依赖人工操作,没有内置的人工智能支持来加快标注速度。
  • 分散的数据集管理:管理数据集、版本和注释可能颇具挑战,尤其是在工具未提供集中式工作区的情况下。

Ultralytics 基于 Segment Anything Models(SAM)和YOLO AI 辅助标注功能,解决了这些问题。SAM 通过点击等简单操作生成高质量的分割掩膜,随后可将其优化为精确的多边形标注。 

同样,YOLO智能标注技术利用预训练或自定义训练的YOLO 对图像进行推理,并将预测结果(如边界框、分割掩膜或定向边界框)作为标注添加,随后可根据需要进行审查和调整。这些功能的结合,使得标注过程更快、更一致,且更易于扩展。

Ultralytics 支持的各类注释

Ultralytics 包含一个集成的标注编辑器,允许用户直接在工作区内对图像进行标注。这使得构建和管理数据集变得更加轻松,无需依赖独立的、往往耗时较长的数据标注工具。

除了多边形标注外Ultralytics 还支持其他几种标注类型。以下是简要概述:

  • 边界框:标注员可以在物体周围绘制简单的矩形框,从而便于在图像中detect 进行标注和detect 。
  • 要点:该方法用于标记特定点,例如身体关节或特征点,以姿势估计 等任务。
  • 定向边界框(OBBs):与标准边界框相比,它们能让用户更准确地捕捉旋转或倾斜的物体。
  • 分类标签:对于较为简单的任务,用户可以为整张图片分配标签,而无需标记单个物体。

在Ultralytics 使用多边形标注物体

现在,让我们来看看如何在Ultralytics 创建多边形标注,无论是手动操作还是使用 AI 辅助工具。

在Ultralytics 上手动创建多边形注释

以下是手动创建多边形注记的简易分步指南:

  • 步骤 1 - 导航至您的数据集:打开包含您要标注的图像的数据集。您的图像和标注将在此处存储和管理。
  • 步骤 2 - 打开图像:点击图像即可在标注界面中打开它。标注流程取决于数据集的任务类型。例如,在实例分割数据集中,标注是通过多边形遮罩创建的。
  • 步骤 3 – 开始创建蒙版:点击 图像以开始标注。每次点击都会在物体边界上添加一个顶点。
  • 第 4 步 – 描绘对象轮廓:继续 沿着对象边缘点击,以确定其形状。
  • 第 5 步 – 完成多边形:您可以 按“Enter”键或单击第一个点来完成多边形并为其分配类别标签。
  • 第 6 步 – 添加更多标注:重复 上述步骤,为图像中的其他对象创建更多多边形。
  • 第 7 步 – 保存注释:注释会在 创建时自动保存。
图 3. 展示如何使用Ultralytics 手动创建多边形标注(来源

Ultralytics 上的智能多边形标注

接下来,让我们看看Ultralytics 支持的哪些 AI 辅助标注功能能够加快标注流程。

该平台提供了两种智能标注方法:一种基于 Segment Anything 模型,支持交互式、点击式标注生成;另一种基于YOLO ,可将模型预测结果直接作为标注添加。这两种方法均可用于智能多边形标注。 

SAM Ultralytics SAM 使用SAM 进行智能标注

Ultralytics SAM标注功能通过使用“任意分割模型”(SAM),仅需极少输入即可生成分割掩膜,从而简化了人工标注流程。用户无需逐点追踪对象,只需通过点击等简单操作与图像进行交互,即可指示应包含或排除的内容。

该平台支持多种SAM ,包括SAM .1和SAM 用户可根据需求在更快的性能与更高的精度之间进行选择。基于用户输入,SAM 实时SAM 像素级掩膜。这些掩膜随后可进行优化并用作多边形标注,从而使整个流程更加快捷、一致且易于扩展。

以下是在Ultralytics 使用SAM 多边形标注SAM 步骤:

  • 步骤 1 – 打开图像:导航至您的数据集,点击一张图像以启动全屏查看器。
  • 步骤 2 – 进入标注模式:点击“编辑”,然后切换到智能模式(或按 S 键)以启用SAM。
  • 步骤 3 – 选择SAM :根据您的速度和准确度需求,从工具栏中选择一个SAM 。
  • 第 4 步 – 设置提示:左键单击以添加正点(包含区域),右键单击以添加负点(排除区域)。
  • 第 5 步 – 生成并应用分割掩膜: SAM 实时SAM 分割掩膜。按下“Enter”键(或使用自动应用功能)以应用标注。
  • 第 6 步 – 优化标注:如有必要,请添加更多标注点或调整结果,以提高准确性,然后保存。 
图4. 在Ultralytics 中SAM多边形标注(来源

YOLO Ultralytics 使用YOLO 进行智能标注

Ultralytics YOLO智能标注功能,通过使用预训练的Ultralytics YOLO 微调后的YOLO 对图像生成预测结果并将其作为标注添加,从而加速标注过程。根据数据集任务的不同,这些预测结果可以包括边界框、分割掩膜或定向边界框。 

用户随后可以根据需要查看并完善这些标注。以下是在Ultralytics 使用YOLO智能标注功能的步骤概述:

  • 步骤 1 – 打开图像:导航 至您的数据集,选择一张图像,将其在全屏查看器中打开。
  • 步骤 2 – 进入标注模式:点击 “编辑”,然后切换到智能模式(或按 S 键)。
  • 步骤 3 – 选择YOLO :从工具栏中的模型选择器中选择一个YOLO 。
  • 第 4 步 – 运行预测:点击“预测”按钮,让模型自动生成标注。
  • 第 5 步 – 检查标注:查看 添加到图像中的预测边界框、分割掩膜或 OBB。
  • 第 6 步 – 优化并保存: 根据需要编辑 、调整或删除错误的标注,然后保存最终的标签。
图5.YOLO 标注功能一瞥(来源

多边形标注的实际应用场景

多边形标注技术正在各行各业产生深远影响,从制造业的质量控制到农业和医疗保健领域皆是如此。让我们来探讨一些关键的实际应用案例。 

利用计算机视觉识别害虫

在农业领域,监测作物健康状况对于提高产量和减少损失至关重要。检测作物叶片上的虫害感染区域往往颇具挑战性,因为这些区域通常形状不规则且边界不清晰。

此类问题可通过图像分割技术来解决,例如语义分割(它会为属于某个类别(如感染区域)的所有像素打上标签),或是实例分割(它能更精确地分离物体的轮廓)。

借助Ultralytics ,用户可以通过多边形标注功能精确勾勒出这些受感染区域的轮廓。这有助于生成更精准的数据集,并使视觉人工智能算法更容易识别农业环境中的细微规律。

因此,团队能够构建更优质的训练数据,帮助模型精确定位害虫侵染的位置。这比使用边界框更为有效,因为边界框可能会包含未受影响的叶片部分。

基于实例分割的医学图像分析

与农业中的害虫检测类似,边界上的细微差异也会影响医学影像中对癌症等疾病的分析。在CT扫描中识别肿瘤等医疗异常情况时,这一点尤为关键。

传统的标注方法可能会遗漏细微边缘或包含周围组织,从而降低准确性。借助Ultralytics ,团队可以利用多边形标注技术在训练数据中精确勾勒这些区域,从而帮助模型生成更准确、更可靠的肿瘤分割结果。

主要要点

当模型需要高精度地识别图像中的物体形状时,多边形标注至关重要。它有助于更准确地呈现复杂形状,尤其是在使用Ultralytics 时。通过将高精度与强大的工具相结合,团队能够构建更可靠、性能更优的 AI 模型。

准备好将视觉人工智能应用到您的项目中了吗?加入我们的社区,探索汽车行业中的人工智能以及机器人领域的视觉人工智能。访问我们的GitHub 代码库,了解更多详情。查看我们的授权方案,立即开始吧! 

让我们一起共建AI的未来!

开启您的机器学习未来之旅