理解为什么人在回路标注至关重要

二十年前，如果有人说他们正在考虑让机器人帮忙处理家务，听起来会非常不切实际。然而，我们正处于 AI 热潮之中，机器人也正在类似的场景中接受测试。

推动这一进展的一个关键 AI 领域是计算机视觉，它赋予机器理解图像和视频的能力。换句话说，像Ultralytics YOLO11和即将推出的Ultralytics YOLO26这样的计算机视觉模型，可以使用包含视觉数据和标注的数据集进行训练。

这些标注帮助模型理解视觉数据。例如，目标检测数据集会使用边界框在感兴趣的对象周围绘制矩形。这样一来，即使场景杂乱或对象部分被遮挡，模型也能在新图像中检测并定位这些对象。

其他计算机视觉任务依赖不同类型的标注。分割数据集会在像素级别标出对象的精确轮廓，而关键点数据集则会标记特定的地标，例如人体关节。

然而，在所有这些格式中，一个关键因素是标签的质量和一致性。模型直接从训练数据中学习，因此如果标签不一致或错误，模型通常会将这些错误带入其预测结果中。

即使有了自动化，人工标注的数据集仍然至关重要，尤其是在医学影像等高风险领域。细小的标注错误，例如不精确的肿瘤边界或漏检的异常，都可能教会模型错误的模式，并在之后导致不安全的预测。人类专家能够提供这些应用所需的准确真实标签和判断。

图 1. 人工标注数据集的需求。图片由作者提供。

在本文中，我们将深入了解为什么人工标注的数据至关重要，即使 AI 仍在不断发展。

图像和视频标注的需求#

计算机视觉模型的学习方式与我们很相似，都是通过观察大量示例来学习。不同之处在于，它们通过训练大型图像和视频数据集来学习，而这些数据集会提前由人类进行标注。这些标签充当真实标签，教会模型诸如“这是行人”“这里是肿瘤边界”或“那个对象是汽车”等信息。

现实世界中的视觉内容很少是干净且一致的。光照可能发生变化，使同一对象看起来不同。人员和车辆可能相互重叠或部分被遮挡。背景可能杂乱且具有干扰性。当数据集能够在这些情况下包含细致且一致的标签时，模型就能更好地应对受控环境之外的实际情况。

数据标注也不仅仅是绘制框或描摹轮廓。它还涉及应用指南，并对什么算作对象、对象边界应位于何处，以及遇到模糊情况时该如何处理作出实际判断。这种人为判断能让数据保持准确且可用。

归根结底，计算机视觉系统的表现只能达到其学习所用标注数据的水平。在从扫描图像中发现癌症或为自动驾驶汽车检测道路危险等高影响力应用中，由熟练人员提供的精确标签会显著影响准确性和安全性。

数据标注自动化的兴起#

随着计算机视觉规模扩大、数据集不断增长，自动化正成为加快标注的常见方式。团队不再手动标注所有内容，而是使用 AI 模型生成第一轮标签。

随后，人类会审核结果、修正错误，并处理模型无法自信标注的情况。这种方法能够在保持高质量的同时加快标注速度。

以下是自动化通常帮助进行数据标注的几种方式：

• **自动分割：**模型可以自动建议对象轮廓或像素级掩码，从而减少标注人员需要手动描摹的内容。
• **光流跟踪：**对于视频，跟踪方法可以在连续帧中跟随移动对象，并延续其标签，从而帮助保持标注随时间的一致性。
• **帧插值：**工具可以利用运动和跟踪线索，为两个已标注帧之间的帧补充标签，这样标注人员就不必标注每一帧。
• **主动学习：**训练流程可以识别模型认为不确定或异常的示例，并优先将这些示例发送给人类处理，从而让人工精力投入到最能提升性能的数据上。

人工数据标注为何仍然如此重要#

虽然自动化可以加快标注速度，但 AI 模型仍然需要人类判断，才能保持准确可靠。

以下是人类专业知识在数据标注中发挥作用的一些关键方面：

• **理解上下文：**真实图像和视频通常很复杂。阴影、反射、运动模糊以及相互重叠的对象都可能使自动化工具产生混淆。人工标注人员能够解读实际发生的情况，从而提高标签的准确性。
• **保持标签一致：**随着数据集不断增长，自动生成的标签可能在不同批次之间发生偏移或变化。人类可以审核、修正并统一标签，使数据集从头到尾保持一致。
• **减少偏见和伤害：**人类更擅长发现敏感内容、文化差异和可能引入偏见的模式。他们的监督有助于让数据集更加公平，并避免意外伤害。
• **应用领域专业知识：**有些任务需要领域知识，例如识别医学异常或工业缺陷。专家可以提供精确标签并解决模糊情况，让模型学到正确的细节。

人在回路标注概览#

Roboflow 等标注工具和平台会集成自动化来加快标注，通常会使用Segment Anything Model 3等基础模型或 SAM3。SAM3 是 Meta AI 的可提示分割基础模型。

它可以根据点击、边界框或简短文本短语等简单提示，在图像和视频中检测、分割和跟踪对象，并为匹配的对象生成分割掩码，而无需针对每个新类别进行特定任务训练。

即使采用这些前沿方法，仍然需要人类专家审核并完成标注。当自动化工具生成初稿，而人类对其进行验证、修正和完善时，这种工作流程称为人在回路标注。它能在保持标注高效的同时，确保最终标签足够准确且一致，从而训练出可靠的模型。

图 2. 了解人在回路标注。（来源）

标注自动化何时有效，何时无效#

对于来自受控环境的数据，自动标注效果最佳。在工厂、仓库或零售通道中采集的图像通常光照稳定、对象视野清晰，因此自动化工具可以准确地为其标注，帮助团队以更少的人工工作更快地扩大规模。

来自非受控环境的数据更加复杂。室外画面会随时间和天气变化，街道或住宅场景通常包含杂乱背景、运动模糊、相互遮挡的对象以及大量重叠。小对象、精细边界或罕见情况会进一步增加出错空间。在干净的室内数据上表现良好的模型，面对混乱的现实世界视觉内容时仍可能遇到困难。

这就是为什么人类参与仍然重要。模型不确定时，人类可以介入，解读复杂上下文，并在错误进入最终数据集之前加以修正。人在回路标注有助于让自动化立足于真实世界条件，并使模型在部署后保持可靠。

人在回路标注可以在哪些方面发挥作用？#

现在我们已经了解自动化在哪些情况下表现良好、又在哪些情况下存在不足，接下来看看人在回路标注发挥重要作用的几个应用领域。

制造业中的缺陷检测#

想象一下工厂中的传送带：每分钟有数百个零件经过摄像头下方。大多数缺陷都很明显，但偶尔会出现以异常角度产生的发丝般裂纹，或因灯光眩光而难以发现的裂纹。自动化系统可能会漏掉它，或将其标记为无害的表面纹理，而人工审核人员能够发现缺陷、修正标注，并确保模型学会区分两者。

这就是人在回路标注在工业检测中的作用。自动化可以预先标注常见缺陷类型，并快速处理大量图像，但人类仍需验证结果、收紧边界，并处理训练数据中不常出现的罕见错误。

自动驾驶汽车与智能交通#

同样，自动驾驶汽车使用计算机视觉来发现行人、读取标志并在交通中导航，但真实道路充满不可预测性。例如，夜间从停放的汽车后面走出的行人可能部分被遮挡，并且在眩光下难以看清。

图 3. 使用计算机视觉分析交通的示例。（来源）

人工标注人员可以在训练期间标记这些罕见且攸关安全的边缘案例，让模型不仅学会在正常条件下作出正确响应，也能在最关键的时刻作出正确响应。这一步人在回路流程对于教会系统处理仅靠自动化难以捕捉的低频事件至关重要。

人工标注数据集的未来发展#

随着技术进步，人在回路标注正变得更加协作化。有趣的是，视觉语言模型（VLMs）能够从图像和文本中学习，如今正被用于生成第一轮标签，并根据简单提示建议修正。

因此，标注人员不必再手动扫描每张图像来决定标注内容，而是可以向 VLM 输入“标记所有行人、汽车和交通信号灯”或“分割这个零件上的所有缺陷”等短语，然后获得一组待审核的标注草稿。

图 4. 大型多模态模型可以与人工标注人员协作（来源）

这能减少标注时间，因为模型可以预先处理许多简单情况，让人类专注于审核结果、修正复杂示例并保持数据集一致。大型多模态模型也开始引导标注人员关注最不确定的样本，使人工精力投入更加精准，并提升整体数据集质量。

要点总结#

计算机视觉帮助机器理解并响应所看到的内容，但只有将人类专业知识纳入流程时，它才能发挥最佳效果。人工标注的数据让模型立足于真实世界条件，并提升其表现的可靠性。通过让自动化与人类判断协同工作，团队可以构建具有实际影响力的视觉系统。

加入我们活跃的社区，探索物流中的 AI和机器人领域的视觉 AI等创新。访问我们的GitHub 代码仓库了解更多信息。立即开始计算机视觉之旅，查看我们的许可选项。