了解可提示概念分割

视觉 AI 正在快速发展，并已广泛用于分析真实环境中的图像和视频。例如，从交通管理系统到零售分析，各类应用都在集成计算机视觉模型。

在许多此类应用中，视觉模型（例如目标检测模型）经过训练，可以识别预定义的一组目标，包括车辆、人员和设备。训练时，模型会接触大量带标签的示例，从而学习每种目标的外观，以及如何将其与场景中的其他目标区分开来。

对于分割任务，模型更进一步，可以在这些对象周围生成精确到像素级的轮廓。这样，系统就能准确了解图像中每个对象的位置。

只要系统只需识别训练时见过的内容，这种方法就很有效。然而，在真实环境中，情况很少如此。

视觉场景通常是动态的。新目标和视觉概念不断出现，环境条件也会变化，用户往往还希望分割原始训练设置中未包含的目标。

在分割任务中，这些局限尤其明显。随着视觉 AI 持续发展，人们越来越需要能够适应新概念、无需反复重新训练的灵活分割模型。因此，可提示概念分割 (PCS) 正受到越来越多的关注。

用户无需依赖固定的目标类别列表，而是可以通过文本、视觉提示或示例图像描述想要分割的内容。随后，模型会识别并分割所有符合所述概念的区域，即使训练时没有明确包含该概念也能做到。

本文将探讨可提示概念分割的工作原理、它与传统方法的区别，以及它目前的应用场景。

什么是可提示概念分割？#

大多数情况下，分割模型经过训练，只能识别少数几类目标。如果视觉 AI 系统只需检测和分割特定的一组目标，这种方式就很有效。

然而，在现实应用中，视觉场景是动态的。新目标不断出现，任务要求也会变化，用户往往需要分割原始标签集中未包含的概念。要支持这些情况，通常就得收集新的高质量数据和标注并重新训练模型，这会增加成本并拖慢部署速度。

可提示概念分割通过让用户告诉模型要查找什么，而不是从固定的标签列表中选择，解决了这一问题。用户描述要查找的物体或概念，模型则会突出显示图像中所有匹配的区域。这样就能更轻松地将用户意图与图像中的实际像素对应起来。

图 1. 使用概念提示进行分割的示例（来源）

使用不同类型的提示引导分割#

支持可提示概念分割的模型非常灵活，因为它们可以接收不同类型的输入。换句话说，你可以通过多种方式告诉模型要查找什么，例如使用文本描述、视觉线索或示例图像。

下面具体介绍每种方法：

• 文本提示：可以用“校车”或“肿瘤区域”等短语描述要分割的概念。模型会理解这些词语的含义，并识别匹配的区域。
• 视觉提示：这类提示使用图像中的点、框或粗略草图作为线索。这些线索可以引导模型关注特定区域，并帮助确定最终边界。
• 图像示例：参考图像或小块裁剪图可以代表感兴趣的概念。模型会查找视觉上相似的区域，并根据其外观进行分割。

PCS 与传统分割的区别#

在深入了解可提示概念分割的工作原理之前，我们先将它与各种传统目标分割方法进行比较。

PCS 支持开放词汇和提示驱动的模型。它可以处理通过提示描述的新概念，而传统分割做不到。传统分割方法有几种不同类型，每种都有自己的假设和局限。

以下简要介绍几种主要的传统分割类型：

• 语义分割：将图像中的每个像素标记为某个类别的一部分，例如道路、建筑或人物。具有相同标签的像素会被归为一组，因此模型不会区分单个目标实例。
• 实例分割：模型会识别并分割单个目标，因此两个行人或两辆汽车会被视为不同的个体。
• 全景分割：这种技术结合语义分割和实例分割，提供完整的场景视图，同时覆盖背景区域和单个目标。

所有这些方法都依赖预定义的目标类别列表。在这个范围内，它们表现良好，但不太擅长处理范围之外的概念。如果需要分割新的特定目标，通常就需要补充训练数据并微调模型。

PCS 旨在改变这种情况。它不再受限于预定义类别，而是让你可以在推理时描述想要分割的图像内容。

PCS 模型的演进#

接下来，我们来看看分割模型如何逐步发展为可提示概念分割模型。

推动分割技术转变的一种热门基础模型是 SAM，也就是分割一切模型。该模型于 2023 年推出。SAM 不再依赖预定义的目标类别，而是允许用户使用点或边界框等简单的视觉提示来引导分割。

有了 SAM，用户不再需要选择标签，只需指出目标所在的位置，模型就会为其生成掩码。这让分割更加灵活，但用户仍然需要向模型指出要关注的位置。

SAM 2 于 2024 年发布，在这一思路的基础上处理更复杂的场景，并将可提示分割扩展到视频。它提升了模型在不同光照条件、目标形状和运动情况下的鲁棒性，同时仍主要依赖视觉提示来引导分割。

SAM 3 是这一演进过程中的最新一步。它于去年发布，是一个将视觉理解与语言引导相结合的统一模型，能够在图像和视频分割任务中保持一致的表现。

使用 SAM 3 时，用户不再局限于点击或绘制提示。用户可以改用文本描述想要分割的内容，模型随后会在图像或视频帧中查找符合描述的区域。

分割由概念而非固定的对象类别引导，因此能够在不同场景和不同时期支持开放词汇使用。事实上，SAM 3 可处理一个规模庞大的已学习概念空间，该空间以从 Wikidata 等来源构建的本体为基础，并通过大规模训练数据不断扩展。

图 2. 提示 SAM 3 并分割单张图像的示例（来源）

早期版本主要依赖几何提示，而 SAM 3 则迈向了更灵活、由概念驱动的分割方式。因此，对于关注对象或概念可能发生变化、且无法始终预先定义的真实应用场景，SAM 3 更加适用。

探索可提示概念分割的工作原理#

那么，可提示概念分割是如何工作的？它以大型预训练视觉模型和视觉语言模型为基础。这些模型使用海量图像数据集训练，许多情况下还会使用配对文本进行训练。通过这种训练，模型能够学习通用的视觉模式和语义含义。

大多数 PCS 模型采用基于 Transformer 的架构，通过一次处理整张图像来理解不同区域之间的关系。视觉 Transformer 会从图像中提取视觉特征，而文本编码器则将词语转换为模型可处理的数值表示。

训练期间，这些模型可以从不同类型的监督信号中学习，包括用于定义精确对象边界的像素级掩码、用于大致定位对象的边界框，以及用于描述图像中内容的图像级标签。使用不同类型的标注数据进行训练，有助于模型同时捕捉精细细节和更广泛的视觉概念。

在推理阶段，也就是实际使用模型进行预测时，PCS 会遵循提示驱动的流程。用户通过文本描述、点或框等视觉提示，或示例图像提供指引。模型将提示和图像编码为共享的内部表示（即嵌入），并识别与所描述概念相符的区域。

随后，掩码解码器会将这种共享表示转换为精确的像素级分割掩码。由于模型将视觉特征与语义含义联系起来，即使某些新概念在训练期间未被明确包含，模型也能对其进行分割。

此外，通常可以通过调整提示或添加更多引导来优化输出，从而帮助模型处理复杂或模棱两可的场景。这种迭代过程有助于在部署期间进行实际优化。

可提示概念分割模型通常根据其分割此前未见概念的能力，以及在不同场景中的稳健表现进行评估。基准测试通常关注掩码质量、泛化能力和计算效率，以反映真实部署需求。

PCS 的实际应用场景#

接下来，我们来看看可提示概念分割目前已应用于哪些领域，以及它正在哪些领域开始产生实际影响。

用于医学成像的灵活图像分割#

医学成像涉及许多生物结构、疾病和扫描类型，而且每天都会出现新的病例。传统分割模型很难跟上这种多样性。

PCS 很适合这一领域，因为临床医生可以直接描述要查找的内容，而不必从简短、僵化的列表中选择。借助文本短语或视觉提示，PCS 可以直接分割器官或关注区域，无需针对每项新任务重新训练模型。这让模型更容易满足多样的临床需求，减少手动绘制掩码的工作量，并适用于多种成像类型。

一个很好的例子是 MedSAM-3，它调整了 SAM 3 架构，使其能够在医学成像中通过文本提示执行 PCS。该模型可以接受明确的解剖学和病理学术语作为提示，例如肝脏或肾脏等器官名称，以及肿瘤或病灶等相关概念。给定提示后，模型会直接分割医学图像中的对应区域。

MedSAM-3 还集成了多模态大型语言模型（MLLMs），这类模型可以同时对文本和图像进行推理。这些模型采用智能体参与的闭环流程，通过迭代优化结果，以提高模型处理更具挑战性病例时的准确性。

图 3. MedSAM-3 在医学图像中通过文本提示分割肿瘤的流程（来源）

MedSAM-3 在 X 射线、MRI、CT、超声和视频数据上表现良好，展现了 PCS 如何在真实临床环境中实现更灵活、更高效的医学成像工作流程。

用于机器人手术和自动化的自适应分割#

机器人手术依赖视觉系统来跟踪工具并理解快速变化的手术场景。器械移动迅速、光照条件各异，而且随时可能出现新工具，因此很难维护预先定义的标签系统。

借助 PCS，机器人可以实时跟踪工具、引导摄像头并跟进手术步骤。这能减少手动标注工作，也让系统更容易适应不同手术。外科医生或自动化系统可以使用“夹持器”“手术刀”或“摄像工具”等文本提示，指定图像中需要分割的内容。

图 4. 对机器人手术中使用的手术器械进行分割（来源）

使用 Ultralytics YOLOE-26 进行开放词汇分割#

另一个与可提示概念分割相关的有趣先进模型是 Ultralytics YOLOE-26。它将开放词汇、提示驱动的分割功能引入 Ultralytics YOLO 模型系列。

YOLOE-26 基于 Ultralytics YOLO26 架构构建，并支持开放词汇实例分割。YOLOE-26 允许用户通过多种方式引导分割。

它支持文本提示，用户可以用简短且与视觉内容相对应的短语指定目标对象；也支持视觉提示，根据图像线索提供额外引导。此外，YOLOE-26 还包含一种无需提示的零样本推理模式，模型可以使用内置词汇表检测并分割对象，无需用户提供提示。

YOLOE-26 非常适合视频分析、机器人感知和边缘系统等应用，因为在这些场景中，对象类别可能会变化，但低延迟和可靠的吞吐量仍至关重要。它也特别适用于数据标注和数据集整理，因为它可以通过自动化部分标注流程简化工作流。

可提示概念分割的优缺点#

以下是使用可提示概念分割的一些主要优势：

• 更快地迭代和制作原型：只需更改提示，而无需重建数据集或重新训练模型，就能快速测试新的分割任务，从而加快实验和开发。
• 跨领域适应能力：同一 PCS 模型通常只需对工作流程进行少量调整，就能应用于医学成像、机器人或视频分析等不同领域。
• 交互式优化：用户可以反复调整提示或添加引导来改善结果，因此无需重新训练就能更轻松地处理模棱两可的场景或边缘案例。

PCS 虽然优势明显，但也有一些需要考虑的局限：

• 对提示敏感：提示的措辞或提供方式发生细微变化，都可能影响输出。提示过于模糊或过于具体，都可能导致分割不完整或不准确。
• 行为更难预测：由于模型会解释提示，而不是从固定标签中进行选择，因此不同场景和输入可能产生差异较大的结果，这可能给高度受控的流程带来问题。
• 概念解释存在歧义：有些概念具有主观性或定义宽泛，可能导致不同用户之间或不同图像上的分割结果不一致。
• 对高度特定目标的可靠性有限：基于提示的模型通常不太适用于定义狭窄、针对特定实例的任务，例如缺陷检测；此类任务需要对细微特征进行精确且一致的识别。

如何选择可提示分割或传统分割#

探索可提示分割时，你可能会想知道它最适合哪些应用，以及对于你要解决的问题，像 Ultralytics YOLO26 这样的传统计算机视觉模型是否更合适。可提示分割适用于一般对象，但不适合要求结果非常精确且一致的应用场景。

缺陷检测就是一个很好的例子。在制造业中，缺陷通常非常微小且不明显，例如细小划痕、凹痕、错位或表面不规则。缺陷还可能因材料、光照和生产条件不同而有很大差异。

这些问题很难用简单的提示描述，而通用模型更难以可靠地检测它们。总体而言，基于提示的模型往往会漏检缺陷或产生不稳定的结果，而专门使用缺陷数据训练的模型，在真实检测系统中可靠性要高得多。

要点#

可提示概念分割让视觉系统更容易适应真实世界，因为真实世界中的新对象和新概念层出不穷。用户不再受固定标签限制，只需描述要分割的内容，模型就会完成其余工作，从而节省时间并减少人工工作。PCS 虽然仍有局限，但已经在改变分割技术的实际应用方式，并有望成为未来视觉系统的核心组成部分。

访问我们的 GitHub 代码仓库并加入我们的社区，进一步探索 AI。查看我们的解决方案页面，了解机器人领域的 AI和制造业中的计算机视觉。了解我们的许可选项，立即开始使用视觉 AI！