全景分割

全景分割是一项统一的 计算机视觉 (CV)任务，它结合了 两种不同方法的能力--语义分割和实例分割 和实例分割这两种不同方法的能力，以提供 像素级的全面理解。其他方法可能只专注于识别物体或对区域进行分类。 而全景分割则为视觉场景中的每个像素分配一个唯一的标签。这一过程 区分 "物"--天空、道路或草地等无定形的背景区域--和 "事"--可计算的物体。 物"--可数物体，如人、汽车和动物。通过连接这些技术 人工智能（AI）系统 人工智能（AI）系统可以模仿人类视觉的细节感知，实现对环境的整体感知。

细分技术之间的区别

要充分了解全景分割的价值，最好将其与相关的 图像分割任务区分开来：

• 语义分割： 这种方法会给每个像素分配一个类别标签，但会把同一类别的多个对象视为一个单一的 实体。例如，一群人被标记为统一的 "人 "区域，而不区分 单个成员。
• 实例分割： 这种技术专门用于识别和划分不同的可数对象（"事物"）。 它会为每个 "汽车 "或 "行人 "生成精确的边界框和掩码，但通常会忽略背景元素。 为每个 "汽车 "或 "行人 "生成精确的边界框和遮罩，但通常会忽略背景元素。
• 全景分割：这种方法将两者合并，确保没有像素未分类。它 为背景（"物"）提供上下文，同时保持前景物体（"物"）的独特特性。 物体（"事物"）的独特身份。这一概念在 FAIR（元人工智能）的一篇具有里程碑意义的论文中正式提出了这一概念，为整个场景的解析建立了严格的标准。 解析的严格标准。

全景模型的工作原理

现代全景架构通常利用强大的 深度学习 (DL)框架。它们通常采用 共享特征提取器或骨干，如 卷积神经网络（CNN） 或视觉Transformer （ViT）。网络 然后分成两个专门的头：一个用于语义分析，另一个用于实例识别。先进的 算法将这些输出融合在一起，以解决冲突，如预测重叠等问题，从而生成一张具有凝聚力的全景图。 地图。

训练这些模型需要全面的 注释数据集。流行的基准包括 COCO 数据集，该数据集提供了各种日常物品、 和Cityscapes，后者专门提供对汽车研究至关重要的城市街道场景。 汽车研究必不可少的城市街景。

实际应用

全景细分所提供的细粒度细节正在改变那些依赖于机器学习（ML）进行导航和交互的行业。 机器学习（ML）来导航和与物理世界交互的行业。 与物理世界进行交互的行业。

• 自动驾驶汽车： Waymo和特斯拉等公司的自动驾驶汽车 特斯拉等公司的自动驾驶汽车依赖于对整个场景的理解。全景模型允许车辆 定义可驾驶表面（语义 "物"），同时跟踪单个行人和其他车辆（实例 "物"）的轨迹。 行人和其他车辆（实例 "事物"）的轨迹。
• 医学图像分析： 在医疗保健领域，精确性至关重要。分析 核磁共振扫描 通常需要区分一般组织类型和特定异常。全景分割可帮助 放射科医生识别背景器官，同时对单个肿瘤细胞进行计数和测量，帮助准确 肿瘤检测。
• 机器人与农业非结构化环境中的机器人 非结构化环境中的机器人利用这种技术进行操纵和导航。在 在精准农业中，自动收割机可以 区分作物行（背景）和单个成熟果实（实例），从而在不损坏植物的情况下采摘产品。 植物。

使用YOLO进行实例分割

虽然完整的全景架构可能需要大量计算，但 "物 "的部分--识别不同的对象实例--可通过 物 "组件--识别不同的对象实例--可由 Ultralytics YOLO11.YOLO11 提供最先进的 实时推理，使其成为要求速度和准确性的 是要求速度和精度的应用的最佳选择。

以下是 Python 示例演示了如何使用 ultralytics 软件包来执行实例分割，这是全景理解的关键组成部分：

from ultralytics import YOLO

# Load a pretrained YOLO11 instance segmentation model
model = YOLO("yolo11n-seg.pt")

# Run inference to detect and segment individual objects ('things')
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with segmentation masks
results[0].show()

对于构建复杂管道的开发人员来说，像 PyTorch等框架和 等框架和 OpenCV等框架和 OpenCV 等库能对这些分割图进行进一步处理。 您可以了解 培训自定义分割模型以满足特定项目需求 Ultralytics 文档。