获取 YOLO 许可
返回 Ultralytics 术语表

Stereo Vision

立体视觉通过匹配两台位置错开的摄像机拍摄的同一点,并对不同视角间的位移进行三角测量来估算深度,应用于机器人、汽车和探测车等。

立体视觉是一种计算机视觉技术,通过相距已知距离的两台相机拍摄同一场景的两张图像来恢复深度。附近物体上的点在左右图像中的位置明显不同,而远处物体上的点几乎位于相同位置;这种称为视差的水平偏移可通过三角测量直接转换为距离。人类的双目视觉原理相同,两眼相距约 6 cm。立体相机系统能让机器人、汽车、无人机和行星探测车通过普通被动相机进行密集的深度估计。

立体视觉的工作原理#

立体系统首先需要进行相机标定:确定每台相机的焦距和镜头畸变,以及两台相机之间的旋转和平移。随后进行校正变换,将两张图像扭曲到极线几何最简单的形式,使每个点的匹配点都位于另一张图像的同一行。这样一来,对应关系问题(即在两个视图中找到同一个场景点)就变成沿着一行进行的一维搜索。对于视差为 d 的匹配像素,深度为 Z = f × B / d,其中 f 是以像素为单位的焦距,B 是基线,即两台相机之间的距离。

这个示例使用 OpenCV 的半全局匹配器处理来自 Middlebury 2014 立体视觉基准的一对校正图像;该基准随 scikit-image 一起提供,并包含通过结构光测量、精确到亚像素级的视差真值:

import cv2
import numpy as np
from skimage import data

# Rectified Middlebury stereo pair with ground-truth disparity (focal length 995 px, baseline 0.193 m)
left, right, true_disp = data.stereo_motorcycle()
left, right = cv2.cvtColor(left, cv2.COLOR_RGB2GRAY), cv2.cvtColor(right, cv2.COLOR_RGB2GRAY)

# Semi-global matching searches each pixel's row in the other image; OpenCV returns 1/16-pixel units
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=80, blockSize=5, P1=200, P2=800, uniquenessRatio=10)
disp = sgbm.compute(left, right).astype(np.float32) / 16

# Score the pixels that have ground truth and a confident match
valid = np.isfinite(true_disp) & (disp > 0)
good = np.abs(disp - true_disp)[valid] < 1
print(f"Matched {valid.mean():.0%} of pixels, {good.mean():.1%} of them within 1 px of ground truth")

# Triangulate depth: Z = focal * baseline / (disparity + offset between the two principal points)
depth, true_depth = (994.978 * 0.193 / (d + 31.086) for d in (disp, true_disp))
print(f"Depth at the image center: {depth[250, 370]:.2f} m (ground truth {true_depth[250, 370]:.2f} m)")

它会打印 Matched 79% of pixels, 91.0% of them within 1 px of ground truth,并显示图像中心深度为 2.40 m,与真值相同。大多数未匹配像素位于左边缘宽 80 像素的条带中,因为在 80 个视差范围内搜索时会超出右侧图像的边界。

匹配算法与准确率#

当窗口没有纹理、纹理重复或跨越物体边缘时,比较小像素窗口会失效。Heiko Hirschmüller 于 2005 年提出的半全局匹配,经修改后实现为 OpenCV 的 StereoSGBM;该算法为视差跳变加入平滑度惩罚,并沿图像中的多条一维路径进行聚合,从而填补纹理较弱的区域,同时保持物体边缘清晰。深度学习方法以学习得到的特征图和候选视差的代价体取代手工设计的代价函数;RAFT-Stereo则使用光流网络的方式,通过循环更新不断优化视差场。研究人员会在 Middlebury 立体视觉基准和 KITTI驾驶场景上比较各类方法;该基准由 Daniel Scharstein 和 Richard Szeliski 于 2002 年发起,KITTI 则提供 LiDAR 真值。

精度会随着距离增加而迅速下降。对深度公式求导可得,每像素视差误差会造成约 Z² / (f × B) 的深度误差,因此在摄像头高于目标的情况下,1 像素误差在 2.4 m 处意味着 3 cm,在 10 m 处则意味着 52 cm。更宽的基线或更长的焦距可以扩大有效测距范围,但代价是最小测距距离增大,而且会有更多区域只能被一台摄像头看到。像 Intel RealSense D400 系列这样的主动立体摄像头会向场景投射红外点阵,为空白墙面增加匹配算法所需的纹理。

立体视觉与单目深度和主动传感器的比较#

单目深度估计利用透视、物体尺寸和遮挡等学习到的线索,从单张图像预测深度,因此其尺度来自训练数据;而双目则通过基线几何测量尺度。Ultralytics YOLO26深度估计模型采用单目方法,从一张 RGB 图像预测以米为单位的深度图;model.calibrate()则通过少量具有实测深度的图像,将模型的度量尺度拟合到特定摄像头。LiDAR 和飞行时间摄像头通过测量发射光的时间来主动测距,许多车辆会通过传感器融合将其与双目视觉结合。双目深度还可用于3D 目标检测、3D 重建和视觉 SLAM;加入时间维度后,就能得到场景流,也就是每个点的 3D 运动。

实际应用#

  • 驾驶辅助:斯巴鲁的 EyeSight 系统在后视镜附近安装了两台摄像头,用于测量前方车辆和行人的距离,以实现自适应巡航控制和自动紧急制动。
  • 机器人抓取:安装在机械臂上的立体深度摄像头可定位料箱和传送带上的零件,为夹爪提供所需的 3D 位置和方向。
  • 无人机:DJI Mavic 系列等消费级无人机使用朝向多个方向的双目视觉传感器检测障碍物。
  • 行星探测车:NASA 的毅力号火星车通过车载立体导航摄像头构建 3D 地形图,从而在火星表面自主行驶。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来