Visual SLAM (Simultaneous Localization and Mapping)
视觉 SLAM 利用图像跟踪相机在未知空间中的位姿,同时构建该空间的地图。介绍跟踪、闭环、尺度和深度 SLAM。
视觉 SLAM(同步定位与建图)要解决的问题是:以图像作为主要传感器,在跟踪相机自身位置和朝向的同时,为未知环境构建地图。这两部分相互依赖:定位相机需要地图,而构建地图则需要知道相机所在位置。视觉 SLAM 系统可以使用单目相机、双目相机,或能够测量深度的 RGB-D 相机;许多系统还会融合惯性测量单元(IMU)。这种方法称为视觉惯性 SLAM;如果不维护持久地图,则称为视觉惯性里程计。手机和头戴设备会用它来锚定增强现实内容,例如 Apple 的 ARKit 就会融合相机特征和运动传感器数据;机器人和无人机则会用它在 GPS 不可用的地方导航。
视觉 SLAM 的工作原理#
典型系统会将跟踪、建图和回环检测作为并行进程运行。2007 年的增强现实系统 PTAM 采用这种方式,将跟踪与建图分开;ORB-SLAM3 以及大多数后来的基于特征点的系统也沿用了相同设计:
- 跟踪: 对每一帧,前端都会检测 ORB 角点等特征,将其与地图或前一帧进行匹配,并估计相机的六自由度位姿。单独来看,这种逐帧估计就是视觉里程计。DSO 等直接法会跳过特征点,转而对齐像素强度。
- 局部建图: 选定的关键帧通过对匹配特征进行三角测量来添加新的 3D 点;光束法平差会联合优化附近的相机位姿和点,以尽量减小重投影误差。
- 回环检测: 微小误差会逐渐累积为漂移。当系统识别出以前到访过的地点时(通常通过比较关键帧的紧凑外观描述符),它会在两次到访之间添加约束,并优化整条轨迹,让地图重新对齐。
双视图运动与尺度问题#
跟踪步骤的核心是基于极线几何的双视图几何:根据两帧间匹配的特征,本质矩阵会表示相机的旋转和位移方向。下面的 OpenCV 示例将合成 3D 地标投影到两个带噪声的帧中,并据此恢复两帧之间的运动:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]) # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3)) # static 3D landmarks 3-6 m ahead
# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])
def project(X, R, t):
"""Project 3D points to pixels and add 0.5 px of feature-detection noise."""
x = (K @ (X @ R.T + t).T).T
return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))
pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)
# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")它恢复出的旋转为 5.72 度,而真实值为 5.00 度;恢复出的平移方向为 [-1.0, -0.09, 0.02],而真实方向为 [-1, 0, 0],但平移长度始终为 1。单个相机无法区分从附近物体旁移动 0.3 米和从远十倍的物体旁移动 3 米。因此,单目 SLAM 会在启动时任意确定尺度,之后尺度会随时间漂移。双目基线、深度传感器或 IMU 可以提供公制尺度。
动态场景与语义 SLAM#
大多数 SLAM 流水线都假设世界是静止的,因此行人和驶过的汽车上的特征会让位姿估计偏离正轨。语义 SLAM 系统利用分割来发现可移动物体,并忽略这些物体上的特征;2018 年,DynaSLAM 将 Mask R-CNN 掩码添加到 ORB-SLAM2 中以实现这一功能。一个 Ultralytics YOLO26分割模型也能完成同样的工作,并达到实时帧率,生成一个将特征提取限制在静态场景内的掩码:
import cv2
import numpy as np
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7]) # people and vehicles
result = results[0]
# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
cv2.fillPoly(static, [polygon.astype(np.int32)], 0)
orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")
# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))打印出的数量表示原本会来自移动物体的特征所占比例,而 static_features.jpg 显示了供跟踪使用的剩余特征。带标签的掩码还能让语义建图为地图本身添加物体类别。
视觉 SLAM 与相关技术的区别#
- LiDAR SLAM: 通过激光脉冲直接测量距离,因此具有公制尺度,也能在黑暗中工作,但传感器成本和功耗更高。视觉 SLAM 使用廉价相机并能捕获外观信息,这有助于识别曾经到访的地点;但它在弱光、运动模糊和空白墙壁等缺少纹理的场景中表现较差。
- 视觉里程计: 仅包含跟踪前端,用于估计运动,但不维护全局地图,也无法通过回环检测来纠正漂移。
- 运动恢复结构(SfM): 根据无序照片集合离线重建场景,而 SLAM 会按帧到达的顺序处理图像。
- 目标跟踪: 跨视频帧跟踪特定物体。SLAM 则跟踪相机相对于静态世界的位置。
经典方法与学习方法#
ORB-SLAM3 等基于特征点的系统支持单目、双目、RGB-D 和视觉惯性配置;由于速度快且在纹理丰富的场景中精度高,这些系统仍被广泛使用。学习型系统用神经网络取代手工设计的组件:DROID-SLAM(2021)通过可微分的光束法平差层迭代更新密集光流。其他近期系统将地图表示为高斯泼溅或神经辐射场,生成可从新视角渲染的照片级真实感地图。MASt3R-SLAM 是 CVPR 2025 的亮点之一;它基于 MASt3R(一种学习型双视图 3D 重建模型),能够以 15 FPS 运行密集单目 SLAM,且无需假设固定的参数化相机模型。










