深圳Yolo 视觉
深圳
立即加入

借助Ultralytics 简化图像标注流程

了解有关Ultralytics 图像标注的所有信息,以及该平台内置的用于数据集标注、标注管理以及模型数据预处理的工具。

借助Ultralytics扩展您的计算机视觉项目

开始使用

Ultralytics 推出了 Ultralytics 这是一个专为支持计算机视觉开发全生命周期而打造的集成环境。该平台将用于管理视觉人工智能工作流各阶段的工具集中管理,包括数据集准备、图像和视频标注、模型训练以及部署。

尽管在自动驾驶和医疗保健等行业中的应用日益广泛,但构建 计算机视觉解决方案的过程仍被视为一个分散的流程。其中一个主要原因是,计算机视觉模型在很大程度上依赖于训练数据的质量。在开始训练之前,必须先创建、整理、审查和标注数据集,以便模型能够学会detect 识别特定对象。

在处理视觉数据时,这一过程被称为数据标注或图像标注。在图像标注过程中,会对图像的特定部分进行标记并赋予标签,这些标签将在模型训练过程中起到引导作用。

例如,如果目标是detect 图像中的detect 标注人员可能会在每只狗周围画出边界框,以标明它们的位置。在更复杂的任务中,他们可能会使用分割掩膜勾勒出狗的轮廓,或标记关键点以捕捉其姿势。这些标注样本会直接影响模型部署后的表现。

大规模管理图像标注工作流可能颇具挑战。大型数据集通常需要统一的标注标准、多名标注员之间的协作,以及能够简化标注审核和优化流程的工具。

Ultralytics 通过内置的 标注编辑器将这些功能整合在一起。它支持多种标注任务类型,并为团队提供了一种更简便的方式,可在单一工作流中完成数据标注和计算机视觉数据集的准备工作。

图1.Ultralytics 中的标注编辑器一瞥(来源

在本文中,我们将探讨Ultralytics 标注编辑器如何帮助团队高效地对数据集进行标注,并简化数据准备流程。让我们开始吧!

计算机视觉中的数据标注

在了解 Ultralytics 上的图像标注工具之前,让我们先退一步,弄清楚什么是数据标注,以及它在构建计算机视觉系统中为何如此重要。

计算机视觉模型通过分析大量图像或视频(即数据集)来进行学习。然而,仅凭原始图像无法为模型提供足够的信息,使其理解应detect 识别的内容。为了使数据在训练中发挥作用,必须通过数据标注对图像进行标注,这样模型才能学会识别哪些物体、形状或模式。

在图像标注过程中,会对图像中的特定元素进行标记,并为其分配标签,以描述模型应学习的内容。这些标注后的示例在训练过程中为深度学习模型和算法提供指导,并帮助它们在处理新图像时识别类似的模式。

不同的计算机视觉任务根据具体应用和使用场景,需要不同类型的图像标注。例如,标注人员可能在物体周围绘制边界框以进行物体检测,勾勒图像中的区域以进行语义分割,定义关键点以姿势估计 ,或者为整张图像分配标签以进行分类。

数据管理与准备

为计算机视觉项目准备数据通常涉及处理各种文件格式以及整理数据集。这还包括确保一切就绪,以便进行标注和训练机器学习算法。在许多工作流程中,这一过程分散在多个工具之间,数据需要经过上传、清理并在不同系统间传输,才能投入使用。

Ultralytics 通过在单一环境中处理 数据预处理、模型训练和部署,简化了这一流程。 团队可以上传图像、视频或数据集存档,并借助完全可定制的方法,通过手动或 AI 自动标注来准备数据。Ultralytics 既支持原始数据,也支持YOLO COCO 等标准格式,使启动新项目变得轻松简单。此外,该平台还提供现有数据集的访问权限,包括已标注的数据集,团队可以利用这些数据集快速启动新项目或实验。

图2.Ultralytics 单一环境中上传和管理数据集。(来源

数据准备就绪后,即可直接在平台上进行管理。开发人员可以查看图像、监控标注进度,并利用内置的可视化工具了解数据集的分布情况,从而发现潜在的缺失部分。

该平台还支持数据集版本控制,帮助团队在数据演变过程中捕获其快照。这使得track 、比较实验结果以及在训练过程中保持一致性变得更加容易。

数据准备就绪后,各团队即可开始对图像进行标注,通过为图像添加标签,帮助模型学习detect对象。

在Ultralytics 平台上标注数据集

数据上传完成后,下一步就是标注。在此阶段,对图像数据进行标注,为后续训练计算机视觉模型奠定基础。Ultralytics 内置的标注编辑器提供了图像标注服务,使团队能够在同一环境中直接对数据集进行标注和管理。

标注编辑器在一个简洁的工作区中展开,用户可以在其中查看图像、添加标签,并根据需要更新标注。所有内容都集中在一个地方,这使得保持数据集的一致性并使其随时可用于数据训练变得更加容易。

团队可以在浏览器中直接上传数据集并开始标注图像,同时定义和管理标注类别,以确保整个数据集中的标签保持一致。在创建标注时,用户可以在编辑器中直观地查看这些标注,从而在进入模型训练阶段之前更轻松地检查准确性。

Ultralytics 平台中的图像标注工具

Ultralytics 还具备多项功能,可支持高效的数据集标注工作流,并借助先进算法简化标注流程。

以下是Ultralytics 提供的一些主要功能:

  • 手动标注:这种方法使用户能够在直接对图像进行标注(例如绘制边界框、划分分割区域或标注关键点)时,拥有完全的控制权和灵活性。
  • AI辅助标注:此功能可自动生成标注建议,从而减少人工标注的需求。它SAM Segment Anything Model)模型,只需点击一下即可detect 或区域,从而简化标注流程,并帮助用户在将建议添加到数据集之前进行审核和确认。
  • 标注编辑:用户可以在任何时候修改或完善已创建的图像标注。这有助于纠正标注错误,并在整个标注过程中保持数据集标注的一致性。
  • 类管理:团队和独立开发者可以定义并整理数据集标注过程中使用的标注类。这有助于确保不同图像间的标签保持一致,这对训练能够准确识别和区分各类别的模型至关重要。

Ultralytics 通过整合手动工具、人工智能和自动化技术,帮助用户更高效地对图像进行标注。它还能为可扩展的计算机视觉模型准备高质量的训练数据。

支持的标注任务类型

不同的应用场景(例如产品质量保证)将根据需要在图像或视频中检测的内容,要求采用不同类型的标注。正如上文Ultralytics 支持五种物体检测任务,每种任务都有其对应的标注类型。

让我们来详细了解一下该平台支持的标注任务,以及如何利用它们对数据集进行标注。

目标检测

物体检测用于识别图像中的物体并确定其位置。标注人员使用边界框标记每个目标物体,以标明这些物体在图像中的位置。

在标注编辑器中,这可以通过边界框工具来实现。用户可以进入“编辑模式”,点击并拖动以在对象周围绘制一个矩形,然后从下拉菜单中选择一个类别标签。

边界框在创建后可以进行调整。标注员可以通过拖动角点或边框控点来调整其大小,通过拖动框中心来移动边界框,或使用键盘快捷键将其删除。这些标注有助于视觉模型学习在不同场景和条件下detect 。

图3. 在Ultralytics 中使用边界框进行目标检测标注。(来源

实例分割

实例分割通过定义图像中物体的精确形状,提供了更详细的标注。标注人员不再只是画一个简单的矩形框,而是使用多边形标注来描绘物体的边界,从而为图像分割任务创建精确的蒙版。

标注编辑器为此任务提供了一个多边形工具。标注员可在物体的边缘放置多个顶点,以勾勒其轮廓。放置好顶点后,即可闭合多边形以生成分割掩膜。

创建多边形后,可以调整顶点。可以移动单个点来优化对象边界,必要时还可以删除顶点。这些像素级标注有助于模型学习详细的视觉结构,并区分那些看起来相距很近的对象。

姿势估计

姿势估计 记录身体关节的位置及其相互关系。这有助于模型理解图像中人物或动物的结构和动作。

标注员使用关键点工具,在代表身体关节(如肩膀、肘部、手腕、髋部、膝盖和脚踝)的位置放置关键点。该平台支持多种内置骨架模板,包括1COCO 姿势估计 ,以及手部、面部、狗和箱角的模板。

借助模板,只需单击一下即可放置完整的骨架布局,随后可以调整各个关键点,使其与姿势估计 相匹配。每个关键点还可以包含一个可见性标志,用于指示其是可见还是被遮挡。

图4. 基于关键点和骨架模板的姿势估计 。(来源

定向边界框(旋转框检测)

定向边界框在传统边界框的基础上更进一步,支持旋转功能。当物体呈倾斜状态出现,而非与图像边框对齐时,此类标注便显得尤为有用。

在标注编辑器中,标注员可以使用定向边界框工具在物体周围绘制旋转的矩形。绘制初始边界框后,可通过旋转控点调整角度,而通过角控点则可调整边界框的大小。

旋转标注常用于航空影像、工业检测数据集以及其他物体呈对角线排列或从不同视角呈现的场景中。

图5. 航空影像中旋转物体的定向边界框(旋转框检测)标注。(来源

图像分类

图像分类是对整张图像进行标注,而非对图像中的单个物体进行标注。

对于分类数据集,标注编辑器提供了一个类选择面板。标注员可以通过从侧边栏选择类,或使用键盘快捷键来为图像分配标签,从而加快标注速度。

这些图像级标签有助于模型学习代表不同类别的高级视觉模式。

利用SAM进行 AI 辅助标注

为分割等任务标注图像通常需要细致入微的工作,尤其是在需要精确勾勒物体轮廓时。Ultralytics 配备了人工智能辅助标注工具,既能加快标注流程,又能确保标注结果准确且便于审核。

例如,标注人员可以通过点击图像中希望纳入标注的物体部分来与图像进行交互。他们还可以标记应排除的区域,以优化结果。基于这些输入,模型会实时生成分割掩膜,用户可在保存前对其进行审查和调整。

这种方法使处理复杂图像变得更加容易,无需手动勾勒每个细节。同时,标注人员仍能掌控最终输出结果,确保整个数据集中的标注保持一致。

图6.Ultralytics 智能标注工具进行AI辅助分割。(来源

这些功能由 Segment Anything Models(SAM)提供支持。这些模型属于一个更广泛的开源计算机视觉工具生态系统,旨在利用最少的输入生成高质量的分割结果。该平台支持多种SAM ,包括SAM .1 和SAM 。这使团队能够根据自身需求,灵活地在更快的性能与更详细的结果之间进行选择。

这些人工智能辅助工具可应用于物体检测、实例分割以及带方向的边界框检测等任务。这意味着团队在保持可靠模型训练所需质量的同时,能够更高效地处理海量数据集。

利用内置工具优化标注工作流程

随着标注工作的推进,通常需要回过头来调整标签、修正错误或更仔细地审查图像。Ultralytics 编辑器内置了多种工具,能让这些日常任务更易于处理,并节省时间。

编辑器中提供的工作流功能包括:

  • 键盘快捷键:该编辑器提供了多种快捷键,可加快常见操作的速度,例如保存注释、撤销或重做更改、删除标签,以及在标注时选择类。
  • 撤销和重做历史记录:标注员可以轻松撤销或恢复编辑过程中所做的更改。这有助于团队尝试不同的标注方案,并快速修正错误而不丢失进度,从而在数据集准备过程中实现更有效的质量控制。
  • 灵活的标注编辑:标注在创建后仍可进行调整。用户可以根据需要调整形状大小、移动标注、旋转定向边界框,或更新类别标签,特别是在对不规则形状的对象进行精细调整时。
  • 可见性控制:编辑器提供了可见性切换功能,用户可通过该功能显示或隐藏注释和类标签,从而在标注过程中更方便地检查图像。
  • 精密工具:缩放功能以及带有像素坐标的十字光标等特性,有助于标注员在处理精细图像时更精确地放置标签。

在Ultralytics 平台上管理标注类

清晰且一致的标注类别在构建可靠的计算机视觉数据集方面发挥着重要作用。随着项目规模的扩大,管理大型数据集的标注工作可能会变得困难,尤其是在涉及多名标注员的情况下。保持类别井然有序,有助于确保标注的一致性,并使模型能够从结构化数据中学习。

Ultralytics 通过将类管理直接集成到标注编辑器中,简化了这一流程。团队无需再单独处理标签,而是在处理图像的同时即可创建、更新和审查类,从而更轻松地在整个标注工作流中保持一致性。

在编辑器中,所有类别都会显示在标注画布旁边的侧边栏中。这使得用户在标注时能够轻松选择正确的标签,并track 各类track 数据集中的使用track 。用户可以根据需要搜索现有类别或创建新类别,而不会中断工作流程。

类别的详细信息也可随时更新。用户可以直接编辑名称,并为其分配颜色,以便在注释中更轻松地区分不同的类别。编辑器还会显示每个类别关联了多少条注释,并允许用户查看这些注释,从而帮助团队检查内容的一致性和准确性。

所有类都通过一个集中式表进行管理,可在其中进行排序、搜索和更新。在此处进行的任何更改都会自动应用到整个数据集,从而帮助团队在标注项目规模扩大时保持一致性。

图7. 标注编辑器中的类管理功能展示了标签组织和颜色自定义。(来源

标注质量如何影响实际性能

随着计算机视觉系统从研发阶段迈向实际应用,标注数据的质量对模型的性能起着关键作用。标注规范的数据集有助于模型生成更准确、更一致的预测结果,尤其是在动态或不可预测的环境中。

实际上,标注中的细微不一致都可能影响模型的行为。在训练过程中,对象标注方式或边界情况处理方式上的差异可能并不明显,但一旦系统投入部署,这些差异可能会导致预测结果的可靠性降低。

此外,这些不一致之处在实际应用中可能会更加明显。例如,在机器人和医疗系统中,模型依赖视觉输入来实时detect 并指导操作。标注中的差异可能会影响这些系统对周围环境的解读准确性。

通过保持一致的标注规范,并Ultralytics 平台Ultralytics 数据集Ultralytics 长期管理和优化,团队能够构建出在受控测试环境之外也能更可靠运行的模型。

主要要点

高质量的数据标注对于训练精准的计算机视觉模型以及确保图像标注项目成功至关重要。Ultralytics 一款支持多种视觉任务的强大标注编辑器,简化了这一流程。通过将人工标注工具与基于SAM AI 辅助标注SAM 内置的工作流功能相结合,团队能够更高效地准备数据集,并更快地从数据准备阶段过渡到模型开发阶段。

加入我们的社区,浏览GitHub 代码库,深入了解计算机视觉模型。您可以在我们的解决方案页面上阅读关于汽车领域人工智能机器人领域计算机视觉等应用的介绍。查看我们的授权方案,开始构建您自己的视觉人工智能模型。

让我们携手共创人工智能的未来!

开启您的机器学习未来之旅