Лицензия YOLO
Назад к глоссарию Ultralytics

Stereo Vision

Стереозрение измеряет глубину, сопоставляя каждую точку на двух разнесённых камерах и триангулируя смещение между изображениями, как это делают роботы, автомобили и марсоходы.

Стереозрение — это метод компьютерного зрения, который позволяет восстановить глубину по двум изображениям одной сцены, снятым камерами, расположенными на известном расстоянии друг от друга. Точка на близком объекте оказывается в заметно разных местах левого и правого изображений, тогда как точка на далёком объекте занимает почти одинаковое положение. Это горизонтальное смещение, называемое диспарантностью, напрямую преобразуется в расстояние посредством триангуляции. Бинокулярное зрение человека работает так же: расстояние между глазами составляет около 6 см. Стереокамеры позволяют системам робототехники, автомобилям, дронам и планетарным роверам получать плотную оценку глубины с помощью обычных пассивных камер.

Как работает стереозрение#

Для начала стереосистему нужно выполнить калибровку камеры: определить фокусное расстояние и дисторсию объектива каждой камеры, а также вращение и перенос между ними. Затем ректификация преобразует изображения так, чтобы эпиполярная геометрия приняла простейшую форму: соответствие каждой точки находится в той же строке другого изображения. Благодаря этому поиск соответствий — поиск одной и той же точки сцены на двух изображениях — сводится к одномерному поиску вдоль строки. Для соответствующего пикселя с диспарантностью d глубина определяется формулой Z = f × B / d, где f — фокусное расстояние в пикселях, а B — база, то есть расстояние между камерами.

В этом примере выполняется сопоставление методом semi-global matcher из OpenCV на ректифицированной паре из стереоскопического тестового набора Middlebury 2014. Набор поставляется вместе с scikit-image и содержит эталонные значения диспарантности с субпиксельной точностью, измеренные методом структурированного освещения:

import cv2
import numpy as np
from skimage import data

# Rectified Middlebury stereo pair with ground-truth disparity (focal length 995 px, baseline 0.193 m)
left, right, true_disp = data.stereo_motorcycle()
left, right = cv2.cvtColor(left, cv2.COLOR_RGB2GRAY), cv2.cvtColor(right, cv2.COLOR_RGB2GRAY)

# Semi-global matching searches each pixel's row in the other image; OpenCV returns 1/16-pixel units
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=80, blockSize=5, P1=200, P2=800, uniquenessRatio=10)
disp = sgbm.compute(left, right).astype(np.float32) / 16

# Score the pixels that have ground truth and a confident match
valid = np.isfinite(true_disp) & (disp > 0)
good = np.abs(disp - true_disp)[valid] < 1
print(f"Matched {valid.mean():.0%} of pixels, {good.mean():.1%} of them within 1 px of ground truth")

# Triangulate depth: Z = focal * baseline / (disparity + offset between the two principal points)
depth, true_depth = (994.978 * 0.193 / (d + 31.086) for d in (disp, true_disp))
print(f"Depth at the image center: {depth[250, 370]:.2f} m (ground truth {true_depth[250, 370]:.2f} m)")

Результат — Matched 79% of pixels, 91.0% of them within 1 px of ground truth и глубина 2.40 м в центре изображения, что совпадает с истинным значением. Большинство несопоставленных пикселей образует полосу шириной 80 пикселей вдоль левого края: поиск по 80 значениям диспарантности вышел бы за границу правого изображения.

Алгоритмы сопоставления и точность#

Сопоставление небольших окон пикселей не работает, если в окне нет текстуры, повторяется узор или проходит граница объекта. Метод semi-global matching, представленный Хайко Хиршмюллером в 2005 году и реализованный в изменённом виде в StereoSGBM из OpenCV, добавляет штраф за скачки диспарантности и агрегирует его вдоль нескольких одномерных путей по изображению. Это заполняет области со слабой текстурой и сохраняет чёткость границ объектов. Методы глубокого обучения заменяют созданные вручную функции стоимости обучаемыми картами признаков и томом стоимости по возможным значениям диспарантности, а RAFT-Stereo уточняет поле диспарантности с помощью рекуррентных обновлений, как в сетях оптического потока. Методы сравнивают на стереоскопическом тестовом наборе Middlebury, созданном Дэниелом Шарстайном и Ричардом Шелиски в 2002 году, а также на дорожных сценах KITTI с эталонными данными LiDAR.

Точность быстро падает с расстоянием. Дифференцирование формулы глубины дает ошибку глубины около Z² / (f × B) на пиксель ошибки диспаратности, поэтому при расположении камеры выше объекта ошибка в один пиксель означает 3 см на расстоянии 2,4 м и 52 см на 10 м. Более широкая база или большее фокусное расстояние увеличивают полезный диапазон ценой большего минимального расстояния и большего числа областей, видимых только одной камерой. Активные стереокамеры, такие как серия Intel RealSense D400, проецируют на сцену инфракрасный точечный узор, который придает гладким стенам текстуру, необходимую для сопоставления.

Стереозрение, монокулярная оценка глубины и активные датчики#

Монокулярная оценка глубины предсказывает глубину по одному изображению, используя выученные признаки, такие как перспектива, размер объекта и перекрытие. Поэтому масштаб задаётся обучающими данными, тогда как стереосистема геометрически измеряет масштаб по базе между камерами. Модели оценки глубины Ultralytics YOLO26 используют монокулярный подход: предсказывают карту глубины в метрах по одному изображению RGB, а model.calibrate() подгоняет их метрический масштаб под конкретную камеру по небольшому набору изображений с измеренной глубиной. LiDAR и камеры с датчиками времени пролёта активно измеряют расстояние, определяя время прохождения излучённого света. Многие автомобили объединяют их со стереосистемами с помощью объединения данных сенсоров. Стереоглубина также используется для трёхмерного обнаружения объектов, трёхмерной реконструкции и визуальной SLAM, а добавление временного измерения превращает её в поток сцены — трёхмерное движение каждой точки.

Примеры применения в реальных условиях#

  • Системы помощи водителю: система EyeSight компании Subaru использует две камеры, установленные рядом с зеркалом заднего вида, чтобы измерять расстояние до автомобилей и пешеходов впереди для адаптивного круиз-контроля и автоматического экстренного торможения.
  • Захват объектов роботами: стереокамеры глубины на роботизированных манипуляторах определяют положение деталей в контейнерах и на конвейерах, предоставляя захвату необходимые координаты и ориентацию в 3D.
  • Дроны: потребительские дроны, такие как серия Mavic от DJI, обнаруживают препятствия с помощью бинокулярных датчиков зрения, направленных в разные стороны.
  • Планетарные роверы: ровер NASA Perseverance самостоятельно передвигается по Марсу, строя на борту 3D-карты местности по данным стереокамер навигации.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения