Semantic Segmentation

语义分割是一种计算机视觉任务，为图像中的每个像素分配一个类别标签。输出是一张与输入具有相同高度和宽度的稠密类别图，其中每个值都是类别 ID，例如道路、人行道、建筑物、天空或行人。图像分类为每张图像提供一个标签，目标检测为每个目标绘制一个边界框，而语义分割则按区域描述整个场景，包括草地和天空等无法按实例计数的无定形背景区域。

语义分割的工作原理#

语义分割模型本质上是逐像素分类器。卷积神经网络 (CNN)或视觉 Transformer会为每个类别输出一张分数图，通常分辨率较低；随后将这些分数图上采样至图像尺寸，并为每个像素选取分数最高的类别。训练时，模型会使用标注掩码和交叉熵比较每个像素的预测结果；标记为忽略值（通常为 255）的像素不会计入损失。

核心难点在于：识别区域内容需要较大的感受野和大幅下采样，而绘制精准边界又需要精细的空间细节。全卷积网络 (FCN)于 2014 年首次将分类网络改造成稠密预测器。随后，U-Net等编码器-解码器结构通过跳跃连接将编码器的高分辨率特征传递给解码器，从而恢复边界；DeepLab则使用空洞卷积（膨胀卷积）扩大上下文范围，而不缩小特征图。实时模型会像这样融合粗粒度上下文与精细细节：

Ultralytics YOLO26 语义分割模型的名称以 -sem 为后缀，它们遵循这一模式：利用已融合上下文的颈部网络特征（分辨率为原图的 1/8）对像素进行分类，然后将 logits 上采样 8 倍至输入尺寸。这些模型使用 19 个 Cityscapes 类别或 150 个 ADE20K 类别进行预训练，并使用掩码图像训练，或使用YOLO 多边形标签并在训练过程中即时转换为掩码。

from ultralytics import YOLO

# Load a YOLO26 semantic segmentation model trained on the 19 Cityscapes classes
model = YOLO("yolo26n-sem.pt")

# Predict one class ID for every pixel of a street image
results = model("https://ultralytics.com/images/bus.jpg")
class_map = results[0].semantic_mask.data

# Measure how much of the image each class covers
ids, counts = class_map.unique(return_counts=True)
for class_id, count in zip(ids.tolist(), counts.tolist()):
    print(f"{results[0].names[class_id]}: {count / class_map.numel():.1%}")

输出结果会列出图像中出现的每个类别及其所占比例。照片中的所有人都会计入同一个“人”类别比例，因为类别图为每个像素存储一个类别，但不记录该像素属于哪个目标。

语义分割、实例分割与全景分割的区别#

语义分割是三种图像分割任务之一：

• 实例分割：为每个可计数目标分配独立的掩码和 ID，因此三辆汽车会分别标为 car 1、car 2 和 car 3，而背景像素则不标注。
• 全景分割：像语义分割一样为每个像素标注类别，并为可计数目标的像素添加实例 ID。

如果区域比目标数量更重要，例如可行驶道路区域或土地覆盖，语义分割就很适用。

如果你需要在语义分割和实例分割之间进行选择，请参阅语义分割与实例分割指南；Ultralytics Academy 课程语义分割：标注每个像素会逐步讲解如何为此任务标注数据和训练模型。

实际应用#

• 自动驾驶车辆：自动驾驶系统会将摄像头帧分割为道路、人行道、车道线、车辆和行人，以确定可行驶区域和障碍物。
• 医学影像：模型会在 CT 和 MRI 扫描图像中勾画器官、肿瘤和病灶，帮助临床医生测量体积并制定治疗计划；U-Net 最初就是为生物医学图像设计的。
• 卫星图像分析：土地覆盖地图会将每个像素标注为水域、森林、农田或建成区，以追踪森林砍伐和城市扩张。
• 农业：田间机器人和无人机将像素分类为作物、杂草或土壤，让喷洒设备只处理杂草。

基准测试与指标#

模型使用平均交并比 (IoU)，即 mIoU 进行评估：对每个类别计算预测像素与真实像素的重叠比例，再取平均值，因此杆子和交通标志等稀有类别与道路、天空具有同等权重。ADE20K 涵盖 150 个室内和室外类别，用于通用场景解析；作为最知名的驾驶基准，Cityscapes包含来自 50 个城市的 5,000 张街景图像，并提供精细的像素级标签，按 19 个评估类别的 mIoU 排名。