Panoptic Segmentation

全景分割是一项综合性的 计算机视觉 (CV) 任务，它统一了两种不同的图像分析形式：语义分割和实例分割。传统方法将这些任务分开处理——要么是像“天空”或“草地”这样对背景区域进行通用分类，要么是检测像“汽车”或“人”这样的特定对象——而全景分割将它们结合到一个统一且具有凝聚力的框架中。这种方法为图像中的每个像素分配一个唯一的值，提供了一种完整的场景理解能力，能够区分可数的对象（称为“物体 (things)”）和无定形的背景区域（称为“事物 (stuff)”）。通过确保每个像素都被计算和分类，这种技术比孤立的检测方法更接近人类的视觉感知。

Link to this section核心概念：事物 vs. 物体#

要完全理解全景分割，理解它所处理的视觉信息的二分法很有帮助。该任务将视觉世界分为两个主要类别：

• 事物类别 (Stuff Categories)： 这些代表了不可数的、具有相似纹理或材质的无定形区域。例子包括道路、水、草地、天空和墙壁。在全景分析中，所有属于“道路”的像素都被归为一个单一的语义区域，因为区分“道路片段 A”和“道路片段 B”通常是不重要的。
• 物体类别 (Things Categories)： 这些是具有明确几何形状和边界的可数对象。例子包括行人、车辆、动物和工具。全景模型必须将每个“物体”识别为一个独特的实体，确保两个并排站立的人被识别为单独的实例（例如，“人 A”和“人 B”），而不是合并成一团。

这种区别对于先进的 人工智能 (AI) 系统至关重要，使它们能够在导航环境的同时与特定对象进行交互。

Link to this section全景架构的工作原理#

现代全景分割架构通常采用强大的 深度学习 (DL) 主干网络，例如 卷积神经网络 (CNN) 或 视觉 Transformer (ViT)，从图像中提取丰富的特征表示。网络通常分为两个分支或“头部”：

1. 语义头部： 该分支为每个像素预测一个类别标签，生成场景中“事物”的密集图。

2. 实例头部： 与此同时，该分支使用类似于 目标检测 的技术来定位“物体”并为它们生成掩码。

融合模块或后处理步骤随后会解决这些输出之间的冲突——例如，确定一个像素是属于“人”实例，还是属于其身后的“背景”墙壁——以生成最终的、不重叠的 全景分割图。

Link to this section实际应用#

全景分割的整体性使其在安全性及背景信息至关重要的行业中不可或缺。

• 自动驾驶汽车： 自动驾驶汽车依赖全景感知来安全导航。语义组件识别可行驶路面（道路）和边界（人行道），而实例组件则跟踪行人和车辆等动态障碍物。这种统一的视角有助于车辆的规划算法在复杂的 交通管理 场景中做出更安全的决策。
• 医学图像分析： 在数字病理学中，分析组织样本通常需要对一般组织结构（事物）进行分割，同时计数和测量特定的细胞类型或肿瘤（物体）。这种详细的细分有助于医生进行准确的疾病量化和诊断。
• 机器人技术： 在非结构化环境（如家庭或仓库）中运行的服务机器人需要区分它们可以穿过的地面（背景）以及它们需要操作或避开的对象（实例）。

Link to this section使用 Ultralytics 实现分割#

While full panoptic training can be complex, developers can achieve high-precision instance segmentation—a critical component of the panoptic puzzle—using Ultralytics YOLO26. This state-of-the-art model offers real-time performance and is optimized for edge deployment.

以下 Python 示例展示了如何加载预训练的分割模型并运行推理来分离不同的对象：

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

对于寻求管理其 训练数据 并自动化标注过程的团队，Ultralytics Platform 提供了一套用于数据集管理和模型训练的工具。高质量的 数据标注 对分割任务至关重要，因为模型需要精确的像素级标签才能有效地学习。

Link to this section区分相关术语#

了解不同分割类型之间的细微差别对于为你的项目选择合适的模型至关重要：

• 语义分割： 仅关注将像素分类为类别。它回答的是“这个像素是什么类？”（例如，树、天空），但无法区分同一类别的单个对象。如果两辆车重叠，它们会显示为一大块“汽车”斑点。
• 实例分割： 仅关注检测和掩码化可数对象。它回答的是“这是哪个对象？”，但通常完全忽略背景上下文。
• 全景分割： 两者兼顾。它针对整张图像回答“这个像素是什么？”以及“它属于哪个对象实例？”，确保没有像素被遗漏。

若要进一步探索这些任务中使用的数据集格式，你可以查看 COCO 数据集文档，这是衡量分割性能的标准基准。