Stereo Vision
Стереозрение измеряет глубину, сопоставляя каждую точку на двух разнесённых камерах и триангулируя смещение между изображениями, как это делают роботы, автомобили и марсоходы.
Стереозрение — это метод компьютерного зрения, который позволяет восстановить глубину по двум изображениям одной сцены, снятым камерами, расположенными на известном расстоянии друг от друга. Точка на близком объекте оказывается в заметно разных местах левого и правого изображений, тогда как точка на далёком объекте занимает почти одинаковое положение. Это горизонтальное смещение, называемое диспарантностью, напрямую преобразуется в расстояние посредством триангуляции. Бинокулярное зрение человека работает так же: расстояние между глазами составляет около 6 см. Стереокамеры позволяют системам робототехники, автомобилям, дронам и планетарным роверам получать плотную оценку глубины с помощью обычных пассивных камер.
Как работает стереозрение#
Для начала стереосистему нужно выполнить калибровку камеры: определить фокусное расстояние и дисторсию объектива каждой камеры, а также вращение и перенос между ними. Затем ректификация преобразует изображения так, чтобы эпиполярная геометрия приняла простейшую форму: соответствие каждой точки находится в той же строке другого изображения. Благодаря этому поиск соответствий — поиск одной и той же точки сцены на двух изображениях — сводится к одномерному поиску вдоль строки. Для соответствующего пикселя с диспарантностью d глубина определяется формулой Z = f × B / d, где f — фокусное расстояние в пикселях, а B — база, то есть расстояние между камерами.
В этом примере выполняется сопоставление методом semi-global matcher из OpenCV на ректифицированной паре из стереоскопического тестового набора Middlebury 2014. Набор поставляется вместе с scikit-image и содержит эталонные значения диспарантности с субпиксельной точностью, измеренные методом структурированного освещения:
import cv2
import numpy as np
from skimage import data
# Rectified Middlebury stereo pair with ground-truth disparity (focal length 995 px, baseline 0.193 m)
left, right, true_disp = data.stereo_motorcycle()
left, right = cv2.cvtColor(left, cv2.COLOR_RGB2GRAY), cv2.cvtColor(right, cv2.COLOR_RGB2GRAY)
# Semi-global matching searches each pixel's row in the other image; OpenCV returns 1/16-pixel units
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=80, blockSize=5, P1=200, P2=800, uniquenessRatio=10)
disp = sgbm.compute(left, right).astype(np.float32) / 16
# Score the pixels that have ground truth and a confident match
valid = np.isfinite(true_disp) & (disp > 0)
good = np.abs(disp - true_disp)[valid] < 1
print(f"Matched {valid.mean():.0%} of pixels, {good.mean():.1%} of them within 1 px of ground truth")
# Triangulate depth: Z = focal * baseline / (disparity + offset between the two principal points)
depth, true_depth = (994.978 * 0.193 / (d + 31.086) for d in (disp, true_disp))
print(f"Depth at the image center: {depth[250, 370]:.2f} m (ground truth {true_depth[250, 370]:.2f} m)")Результат — Matched 79% of pixels, 91.0% of them within 1 px of ground truth и глубина 2.40 м в центре изображения, что совпадает с истинным значением. Большинство несопоставленных пикселей образует полосу шириной 80 пикселей вдоль левого края: поиск по 80 значениям диспарантности вышел бы за границу правого изображения.
Алгоритмы сопоставления и точность#
Сопоставление небольших окон пикселей не работает, если в окне нет текстуры, повторяется узор или проходит граница объекта. Метод semi-global matching, представленный Хайко Хиршмюллером в 2005 году и реализованный в изменённом виде в StereoSGBM из OpenCV, добавляет штраф за скачки диспарантности и агрегирует его вдоль нескольких одномерных путей по изображению. Это заполняет области со слабой текстурой и сохраняет чёткость границ объектов. Методы глубокого обучения заменяют созданные вручную функции стоимости обучаемыми картами признаков и томом стоимости по возможным значениям диспарантности, а RAFT-Stereo уточняет поле диспарантности с помощью рекуррентных обновлений, как в сетях оптического потока. Методы сравнивают на стереоскопическом тестовом наборе Middlebury, созданном Дэниелом Шарстайном и Ричардом Шелиски в 2002 году, а также на дорожных сценах KITTI с эталонными данными LiDAR.
Точность быстро падает с расстоянием. Дифференцирование формулы глубины дает ошибку глубины около Z² / (f × B) на пиксель ошибки диспаратности, поэтому при расположении камеры выше объекта ошибка в один пиксель означает 3 см на расстоянии 2,4 м и 52 см на 10 м. Более широкая база или большее фокусное расстояние увеличивают полезный диапазон ценой большего минимального расстояния и большего числа областей, видимых только одной камерой. Активные стереокамеры, такие как серия Intel RealSense D400, проецируют на сцену инфракрасный точечный узор, который придает гладким стенам текстуру, необходимую для сопоставления.
Стереозрение, монокулярная оценка глубины и активные датчики#
Монокулярная оценка глубины предсказывает глубину по одному изображению, используя выученные признаки, такие как перспектива, размер объекта и перекрытие. Поэтому масштаб задаётся обучающими данными, тогда как стереосистема геометрически измеряет масштаб по базе между камерами. Модели оценки глубины Ultralytics YOLO26 используют монокулярный подход: предсказывают карту глубины в метрах по одному изображению RGB, а model.calibrate() подгоняет их метрический масштаб под конкретную камеру по небольшому набору изображений с измеренной глубиной. LiDAR и камеры с датчиками времени пролёта активно измеряют расстояние, определяя время прохождения излучённого света. Многие автомобили объединяют их со стереосистемами с помощью объединения данных сенсоров. Стереоглубина также используется для трёхмерного обнаружения объектов, трёхмерной реконструкции и визуальной SLAM, а добавление временного измерения превращает её в поток сцены — трёхмерное движение каждой точки.
Примеры применения в реальных условиях#
- Системы помощи водителю: система EyeSight компании Subaru использует две камеры, установленные рядом с зеркалом заднего вида, чтобы измерять расстояние до автомобилей и пешеходов впереди для адаптивного круиз-контроля и автоматического экстренного торможения.
- Захват объектов роботами: стереокамеры глубины на роботизированных манипуляторах определяют положение деталей в контейнерах и на конвейерах, предоставляя захвату необходимые координаты и ориентацию в 3D.
- Дроны: потребительские дроны, такие как серия Mavic от DJI, обнаруживают препятствия с помощью бинокулярных датчиков зрения, направленных в разные стороны.
- Планетарные роверы: ровер NASA Perseverance самостоятельно передвигается по Марсу, строя на борту 3D-карты местности по данным стереокамер навигации.










