Stereo Vision
立体视觉通过匹配两台位置错开的摄像机拍摄的同一点,并对不同视角间的位移进行三角测量来估算深度,应用于机器人、汽车和探测车等。
立体视觉是一种计算机视觉技术,通过相距已知距离的两台相机拍摄同一场景的两张图像来恢复深度。附近物体上的点在左右图像中的位置明显不同,而远处物体上的点几乎位于相同位置;这种称为视差的水平偏移可通过三角测量直接转换为距离。人类的双目视觉原理相同,两眼相距约 6 cm。立体相机系统能让机器人、汽车、无人机和行星探测车通过普通被动相机进行密集的深度估计。
立体视觉的工作原理#
立体系统首先需要进行相机标定:确定每台相机的焦距和镜头畸变,以及两台相机之间的旋转和平移。随后进行校正变换,将两张图像扭曲到极线几何最简单的形式,使每个点的匹配点都位于另一张图像的同一行。这样一来,对应关系问题(即在两个视图中找到同一个场景点)就变成沿着一行进行的一维搜索。对于视差为 d 的匹配像素,深度为 Z = f × B / d,其中 f 是以像素为单位的焦距,B 是基线,即两台相机之间的距离。
这个示例使用 OpenCV 的半全局匹配器处理来自 Middlebury 2014 立体视觉基准的一对校正图像;该基准随 scikit-image 一起提供,并包含通过结构光测量、精确到亚像素级的视差真值:
import cv2
import numpy as np
from skimage import data
# Rectified Middlebury stereo pair with ground-truth disparity (focal length 995 px, baseline 0.193 m)
left, right, true_disp = data.stereo_motorcycle()
left, right = cv2.cvtColor(left, cv2.COLOR_RGB2GRAY), cv2.cvtColor(right, cv2.COLOR_RGB2GRAY)
# Semi-global matching searches each pixel's row in the other image; OpenCV returns 1/16-pixel units
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=80, blockSize=5, P1=200, P2=800, uniquenessRatio=10)
disp = sgbm.compute(left, right).astype(np.float32) / 16
# Score the pixels that have ground truth and a confident match
valid = np.isfinite(true_disp) & (disp > 0)
good = np.abs(disp - true_disp)[valid] < 1
print(f"Matched {valid.mean():.0%} of pixels, {good.mean():.1%} of them within 1 px of ground truth")
# Triangulate depth: Z = focal * baseline / (disparity + offset between the two principal points)
depth, true_depth = (994.978 * 0.193 / (d + 31.086) for d in (disp, true_disp))
print(f"Depth at the image center: {depth[250, 370]:.2f} m (ground truth {true_depth[250, 370]:.2f} m)")它会打印 Matched 79% of pixels, 91.0% of them within 1 px of ground truth,并显示图像中心深度为 2.40 m,与真值相同。大多数未匹配像素位于左边缘宽 80 像素的条带中,因为在 80 个视差范围内搜索时会超出右侧图像的边界。
匹配算法与准确率#
当窗口没有纹理、纹理重复或跨越物体边缘时,比较小像素窗口会失效。Heiko Hirschmüller 于 2005 年提出的半全局匹配,经修改后实现为 OpenCV 的 StereoSGBM;该算法为视差跳变加入平滑度惩罚,并沿图像中的多条一维路径进行聚合,从而填补纹理较弱的区域,同时保持物体边缘清晰。深度学习方法以学习得到的特征图和候选视差的代价体取代手工设计的代价函数;RAFT-Stereo则使用光流网络的方式,通过循环更新不断优化视差场。研究人员会在 Middlebury 立体视觉基准和 KITTI驾驶场景上比较各类方法;该基准由 Daniel Scharstein 和 Richard Szeliski 于 2002 年发起,KITTI 则提供 LiDAR 真值。
精度会随着距离增加而迅速下降。对深度公式求导可得,每像素视差误差会造成约 Z² / (f × B) 的深度误差,因此在摄像头高于目标的情况下,1 像素误差在 2.4 m 处意味着 3 cm,在 10 m 处则意味着 52 cm。更宽的基线或更长的焦距可以扩大有效测距范围,但代价是最小测距距离增大,而且会有更多区域只能被一台摄像头看到。像 Intel RealSense D400 系列这样的主动立体摄像头会向场景投射红外点阵,为空白墙面增加匹配算法所需的纹理。
立体视觉与单目深度和主动传感器的比较#
单目深度估计利用透视、物体尺寸和遮挡等学习到的线索,从单张图像预测深度,因此其尺度来自训练数据;而双目则通过基线几何测量尺度。Ultralytics YOLO26深度估计模型采用单目方法,从一张 RGB 图像预测以米为单位的深度图;model.calibrate()则通过少量具有实测深度的图像,将模型的度量尺度拟合到特定摄像头。LiDAR 和飞行时间摄像头通过测量发射光的时间来主动测距,许多车辆会通过传感器融合将其与双目视觉结合。双目深度还可用于3D 目标检测、3D 重建和视觉 SLAM;加入时间维度后,就能得到场景流,也就是每个点的 3D 运动。










