获取 YOLO 许可
返回 Ultralytics 术语表

Visual SLAM (Simultaneous Localization and Mapping)

视觉 SLAM 利用图像跟踪相机在未知空间中的位姿,同时构建该空间的地图。介绍跟踪、闭环、尺度和深度 SLAM。

视觉 SLAM(同步定位与建图)要解决的问题是:以图像作为主要传感器,在跟踪相机自身位置和朝向的同时,为未知环境构建地图。这两部分相互依赖:定位相机需要地图,而构建地图则需要知道相机所在位置。视觉 SLAM 系统可以使用单目相机、双目相机,或能够测量深度的 RGB-D 相机;许多系统还会融合惯性测量单元(IMU)。这种方法称为视觉惯性 SLAM;如果不维护持久地图,则称为视觉惯性里程计。手机和头戴设备会用它来锚定增强现实内容,例如 Apple 的 ARKit 就会融合相机特征和运动传感器数据;机器人和无人机则会用它在 GPS 不可用的地方导航。

视觉 SLAM 的工作原理#

典型系统会将跟踪、建图和回环检测作为并行进程运行。2007 年的增强现实系统 PTAM 采用这种方式,将跟踪与建图分开;ORB-SLAM3 以及大多数后来的基于特征点的系统也沿用了相同设计:

  • 跟踪: 对每一帧,前端都会检测 ORB 角点等特征,将其与地图或前一帧进行匹配,并估计相机的六自由度位姿。单独来看,这种逐帧估计就是视觉里程计。DSO 等直接法会跳过特征点,转而对齐像素强度。
  • 局部建图: 选定的关键帧通过对匹配特征进行三角测量来添加新的 3D 点;光束法平差会联合优化附近的相机位姿和点,以尽量减小重投影误差。
  • 回环检测: 微小误差会逐渐累积为漂移。当系统识别出以前到访过的地点时(通常通过比较关键帧的紧凑外观描述符),它会在两次到访之间添加约束,并优化整条轨迹,让地图重新对齐。

双视图运动与尺度问题#

跟踪步骤的核心是基于极线几何的双视图几何:根据两帧间匹配的特征,本质矩阵会表示相机的旋转和位移方向。下面的 OpenCV 示例将合成 3D 地标投影到两个带噪声的帧中,并据此恢复两帧之间的运动:

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]])  # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3))  # static 3D landmarks 3-6 m ahead

# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])


def project(X, R, t):
    """Project 3D points to pixels and add 0.5 px of feature-detection noise."""
    x = (K @ (X @ R.T + t).T).T
    return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))


pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)

# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")

它恢复出的旋转为 5.72 度,而真实值为 5.00 度;恢复出的平移方向为 [-1.0, -0.09, 0.02],而真实方向为 [-1, 0, 0],但平移长度始终为 1。单个相机无法区分从附近物体旁移动 0.3 米和从远十倍的物体旁移动 3 米。因此,单目 SLAM 会在启动时任意确定尺度,之后尺度会随时间漂移。双目基线、深度传感器或 IMU 可以提供公制尺度。

动态场景与语义 SLAM#

大多数 SLAM 流水线都假设世界是静止的,因此行人和驶过的汽车上的特征会让位姿估计偏离正轨。语义 SLAM 系统利用分割来发现可移动物体,并忽略这些物体上的特征;2018 年,DynaSLAM 将 Mask R-CNN 掩码添加到 ORB-SLAM2 中以实现这一功能。一个 Ultralytics YOLO26分割模型也能完成同样的工作,并达到实时帧率,生成一个将特征提取限制在静态场景内的掩码:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7])  # people and vehicles
result = results[0]

# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
    cv2.fillPoly(static, [polygon.astype(np.int32)], 0)

orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")

# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))

打印出的数量表示原本会来自移动物体的特征所占比例,而 static_features.jpg 显示了供跟踪使用的剩余特征。带标签的掩码还能让语义建图为地图本身添加物体类别。

  • LiDAR SLAM: 通过激光脉冲直接测量距离,因此具有公制尺度,也能在黑暗中工作,但传感器成本和功耗更高。视觉 SLAM 使用廉价相机并能捕获外观信息,这有助于识别曾经到访的地点;但它在弱光、运动模糊和空白墙壁等缺少纹理的场景中表现较差。
  • 视觉里程计: 仅包含跟踪前端,用于估计运动,但不维护全局地图,也无法通过回环检测来纠正漂移。
  • 运动恢复结构(SfM): 根据无序照片集合离线重建场景,而 SLAM 会按帧到达的顺序处理图像。
  • 目标跟踪: 跨视频帧跟踪特定物体。SLAM 则跟踪相机相对于静态世界的位置。

经典方法与学习方法#

ORB-SLAM3 等基于特征点的系统支持单目、双目、RGB-D 和视觉惯性配置;由于速度快且在纹理丰富的场景中精度高,这些系统仍被广泛使用。学习型系统用神经网络取代手工设计的组件:DROID-SLAM(2021)通过可微分的光束法平差层迭代更新密集光流。其他近期系统将地图表示为高斯泼溅或神经辐射场,生成可从新视角渲染的照片级真实感地图。MASt3R-SLAM 是 CVPR 2025 的亮点之一;它基于 MASt3R(一种学习型双视图 3D 重建模型),能够以 15 FPS 运行密集单目 SLAM,且无需假设固定的参数化相机模型。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来