语义分割

语义分割是一项基本的计算机视觉任务，它涉及为图像中的每个像素分配一个特定的类别标签。与其他可能用框识别对象或为整个图像分配单个标签的方法不同，语义分割会创建不同语义类别的密集、像素完美的地图。这提供了对图像内容的丰富、详细的理解，概述了每个类别的确切形状和位置，例如“道路”、“天空”、“建筑物”或“人”。在理解上下文和布局与识别单个对象同等重要的场景中，这是一种核心技术。

模型和工具

语义分割通常采用深度学习模型，特别是源自卷积神经网络 (CNN)的架构。

• 架构（Architectures）： 流行的早期架构包括全卷积网络（FCN），它用卷积层替换了分类网络中的全连接层，以输出空间图，以及U-Net，它使用带有跳跃连接的编码器-解码器结构，使其特别适用于生物医学图像分析。其他有影响力的架构包括DeepLab，它使用空洞（或扩张）卷积来控制特征图的分辨率。
• 现代模型： 像Ultralytics YOLO11这样的最先进模型也为各种分割任务提供了强大的功能，从而在需要实时推理的应用中平衡了速度和准确性。
• 训练平台： 诸如 Ultralytics HUB 等工具提供平台来管理数据集，例如广泛使用的 COCO 分割数据集、训练自定义模型和探索模型部署选项。
• 框架： 开发通常利用诸如 PyTorch 和 TensorFlow 等流行的框架。诸如 数据增强 等技术通常用于提高模型的稳健性和泛化能力。诸如 OpenCV 和 scikit-image 等开源库也提供用于图像处理和分析的工具，这些工具可以补充分割工作流程。

实际应用

语义分割提供的详细场景理解在许多领域至关重要：

• 自动驾驶车辆： 为了使自动驾驶汽车能够安全导航，它必须完全了解其环境。语义分割用于以像素级精度识别可行驶区域（道路）、不可行驶区域（人行道、建筑物）以及行人和其它车辆的位置。这能够实现更安全的路径规划和决策。您可以阅读更多关于人工智能在自动驾驶车辆中的作用。
• 医学影像分析： 在医学领域，精确至关重要。语义分割有助于自动描绘扫描图像（如 MRI 和 CT 扫描）中的器官、肿瘤、病变和其他解剖结构。这有助于放射科医生进行诊断、治疗计划和监测疾病进展。了解更多关于人工智能如何在医学影像中应用的信息。
• 卫星图像分析： 对于地理空间应用，语义分割用于对卫星图像中的土地覆盖进行分类。这可用于城市规划（识别建筑物、道路和绿地）、环境监测（跟踪森林砍伐或水体）和精准农业。
• 机器人技术： 机器人使用语义分割来理解其操作环境，从而区分地板、墙壁、要交互的物体和要避开的障碍物。这对于在仓库或家庭等复杂环境中的导航和操作任务至关重要。了解更多关于计算机视觉在机器人技术中的集成。

与其他任务的主要区别

区分语义分割与相关的计算机视觉任务非常重要：

• 实例分割: 这是最密切相关的任务。虽然两者都执行像素级分类，但实例分割更进一步，区分同一对象类的各个实例。例如，在具有三辆汽车的图像中，语义分割会将所有汽车像素简单地标记为“汽车”。相比之下，实例分割会将“汽车 1”、“汽车 2”和“汽车 3”识别为单独的对象。
• 目标检测: 此任务通过在每个对象周围绘制一个边界框并分配一个类别标签来识别图像中对象的存在和位置。 它不提供有关对象形状或哪些像素属于对象的信息。
• 全景分割（Panoptic Segmentation）：此任务可以看作是语义分割和实例分割的统一。它旨在通过为每个像素分配一个类别标签（如语义分割），同时唯一地识别每个对象实例（如实例分割），从而提供全面的场景理解。