Stereo Vision

Стереозрение, также известное как стереоскопическое зрение — это метод computer vision, используемый для извлечения информации о глубине 3D-сцены из цифровых изображений. Сравнивая два или более 2D-изображения одной и той же сцены, снятых под немного разными углами — имитируя человеческое binocular vision — системы ИИ могут точно вычислять расстояние до объектов. Эта возможность является основополагающей для spatial intelligence, позволяя машинам ориентироваться в окружающей среде и безопасно взаимодействовать с физическими объектами.

Link to this sectionКак работает стереозрение#

Процесс основан на поиске различий между видами с левой и правой камер. Основная задача здесь — это correspondence problem, которая включает в себя идентификацию точно таких же пикселей или признаков на обоих изображениях. Как только точки сопоставления найдены, система вычисляет горизонтальный сдвиг, создавая карту диспаратности.

На disparity map большие сдвиги указывают на более близкие объекты, в то время как меньшие сдвиги означают, что объект находится дальше. Используя триангуляцию, эта карта затем преобразуется в плотное облако точек 3D. Хотя исторически эти вычисления выполнялись традиционными математическими алгоритмами, современные подходы все чаще опираются на convolutional neural networks (CNNs) и deep learning для улучшения точности сопоставления признаков в условиях сложного освещения или на текстурно бедных участках, как подробно описано в недавних IEEE computer vision research.

Link to this sectionСтереозрение против монокулярной оценки глубины#

Важно отличать стереозрение от методов depth estimation, использующих только одну камеру. Монокулярная оценка глубины использует модели глубокого обучения для предсказания 3D-структур из одного 2D-изображения на основе визуальных сигналов, таких как перспектива и затенение. В отличие от них, стереосистемы напрямую измеряют глубину, используя геометрическую зависимость между объективами двух камер. Хотя монокулярные методы вычислительно легче, стереозрение обычно обеспечивает более точные измерения глубины в режиме реального времени, что необходимо для критически важных систем безопасности.

Link to this sectionПрименение ИИ в реальном мире#

Стереосистемы жизненно важны в различных отраслях, где требуется 3D object detection в реальном мире и пространственное восприятие.

• Навигация для автономного вождения: Технологии беспилотного вождения, разработанные такими компаниями, как Waymo, используют стереокамеры для точной оценки расстояния до пешеходов, других транспортных средств и препятствий в режиме реального времени, передавая эти точные данные о глубине в системы predictive modeling для планирования безопасных маршрутов.
• Автоматизация промышленной робототехники: Производственные роботы используют стереозрение для сложных задач по сортировке деталей из контейнеров. Вычисляя точную глубину и ориентацию разбросанных деталей на конвейерной ленте, роботизированные системы могут идеально выравнивать свои захваты, повышая эффективность в smart manufacturing pipelines.
• Продвинутая медицинская визуализация: Хирургические роботы и диагностические системы используют стереоскопические камеры, чтобы предоставить хирургам высокоточное 3D-изображение анатомии пациента во время малоинвазивных процедур — тенденция, часто освещаемая в recent arXiv preprints on medical AI.

Link to this sectionИнтеграция ИИ со стереоданными#

Часто разработчики используют стереозрение в сочетании с обнаружением объектов, чтобы определить и что это, и как далеко. Фреймворк OpenCV обычно используется для создания карт диспаратности, часто интегрируемых в более широкие конвейеры PyTorch или TensorFlow, в то время как модели ИИ отвечают за восприятие. Ниже приведен концептуальный пример обнаружения объектов с помощью Ultralytics YOLO26 и получения их ограничивающих рамок (bounding boxes), которые затем можно использовать для извлечения средних значений расстояния из связанной карты диспаратности OpenCV.

import cv2
from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for high-speed edge inference
model = YOLO("yolo26n.pt")

# Read the left camera frame (typically used as the primary frame for detection)
left_frame = cv2.imread("left_camera_frame.jpg")

# Run inference to detect objects in the scene
results = model(left_frame)

# Extract bounding boxes to later combine with a stereo disparity map
for result in results:
    for box in result.boxes.xyxy:
        x1, y1, x2, y2 = map(int, box[:4])
        print(f"Detected object bounding box: [{x1}, {y1}, {x2}, {y2}]")
        # Depth values can now be extracted from the disparity map within this specific region

Link to this sectionДостижения и будущие тенденции#

Обучение и развертывание передовых моделей восприятия стали значительно проще. Используя такие инструменты, как Ultralytics Platform, команды могут безопасно размечать стереопары, обучать надежные модели и экспортировать их в оптимизированные форматы, такие как TensorRT, для вывода с низкой задержкой на edge AI devices.

Недавние достижения организаций, таких как Stanford Vision and Learning Lab, демонстрируют растущую тенденцию к объединению стереозрения с Vision Transformers (ViT) и фундаментальными моделями от Google DeepMind для более быстрого решения проблемы соответствия (correspondence problem). Кроме того, по мере развития мультимодальных моделей ИИ от таких лидеров, как Anthropic и OpenAI, интеграция надежных 3D-пространственных данных будет продолжать расширять границы того, что могут воспринимать и понимать воплощенные (embodied) ИИ-агенты.