Semantic Mapping

了解语义映射如何将语义分割、深度、定位和传感器融合结合起来，利用 Ultralytics YOLO26 实现更智能的机器人导航。

语义建图是构建环境空间表示并为其中的位置附加有意义的类别标签（例如道路、墙壁、门道、人、货架或植被）的过程。在 AI 和机器人技术中，语义地图既能回答“某物在哪里？”，又能回答“它是什么？”。它不只是将场景表示为占用空间和自由空间，还提供支持导航、规划、交互和场景理解的上下文信息。

语义建图的工作原理#

语义建图系统通常将感知、几何、定位和时间融合结合起来。首先，语义分割模型对每个图像像素进行分类。例如，所有标记为“道路”的像素形成道路区域，而标记为“汽车”的像素则识别出车辆区域。NVIDIA 机器人图像分割简介阐述了这些逐像素标签如何支持机器人感知。

仅凭像素标签仍然局限于二维相机图像。系统需要通常来自 LiDAR、立体相机或深度估计的几何数据，才能将像素与物理位置关联起来。Open3D RGB-D 图像工作流演示了配准的彩色和深度图像如何生成 3D 点云。

精确的投影还取决于相机的内参和外参。OpenCV 相机标定文档解释了用于将图像像素关联到 3D 点的参数，而 ROS 的 CameraInfo 消息定义则规范了机器人系统中的这些标定信息。

最后，传感器融合结合了随时间推移的观测数据。机器人位姿和坐标变换将每个带标签的观测放置在共享的地图坐标系中。ROS tf2 坐标变换提供了一种用于维护这些关系的通用机制。

实际应用#

**自主导航：**配送机器人可以将地面标记为可通行，将墙壁和路缘标记为障碍物，将人标记为动态危险。这些标签可以转换为导航成本，使规划器倾向于安全的表面，而不是将每个可见区域都视为相同。Nav2 语义分割导航教程展示了类别掩码和配准点云如何更新机器人的代价地图。

**城市驾驶：**自动驾驶汽车可以将道路、人行道、建筑、植被、行人和车辆预测投影到持久的世界地图中。这有助于系统理解车道边界、识别不可行驶区域，并推断弱势道路使用者可能出现的位置。官方的 Cityscapes 城市场景数据集为开发此类场景理解提供了密集标记的街道图像。

使用 Ultralytics YOLO 进行语义感知#

以下 Ultralytics 语义分割工作流使用 YOLO26 生成密集的类别地图。该输出随后可以由建图管道投影到 2D 网格或 3D 世界坐标系中。

from ultralytics import YOLO

# Load a pretrained semantic segmentation model
model = YOLO("yolo26n-sem.pt")

# Predict a per-pixel class map
results = model("https://ultralytics.com/images/bus.jpg")

# Select the first result and inspect its map dimensions
result = results[0]
class_map = result.semantic_mask.data
print(class_map.shape)

result.save(filename="semantic_scene.jpg")

semantic_mask 包含每个图像像素的一个类别 ID。它提供语义感知层，而构建持久的空间地图仍然需要深度、标定、定位和时间融合。可以使用Ultralytics 平台标注工具对自定义像素级数据集进行标注和管理。