Stereo Vision

Стереовидение, также известное как стереоскопическое зрение, — это метод computer vision, используемый для извлечения информации о глубине в 3D из цифровых изображений. Сравнивая два или более двумерных изображения одной и той же сцены, снятых под немного разными углами (подобно человеческому binocular vision), системы ИИ могут точно рассчитывать расстояние до объектов. Эта способность является основой для spatial intelligence, позволяя машинам ориентироваться в окружающей среде и безопасно взаимодействовать с физическими объектами.

Как работает стереозрение#

Процесс основан на поиске различий между левым и правым видами с камер. Главная сложность здесь заключается в correspondence problem, которая предполагает определение абсолютно одинаковых пикселей или признаков на обоих изображениях. Как только совпадающие точки найдены, система вычисляет горизонтальное смещение, создавая карту диспаратности.

На disparity map большие смещения указывают на более близкие объекты, в то время как меньшие смещения означают, что объект находится дальше. Используя триангуляцию, эта карта затем преобразуется в плотное трехмерное облако точек. В то время как традиционные математические алгоритмы исторически лежали в основе этих вычислений, современные подходы все больше полагаются на convolutional neural networks (CNNs) и deep learning для повышения точности сопоставления признаков в условиях сложного освещения или бес текстурных областей, как подробно описано в недавних IEEE computer vision research.

Стереозрение против монокулярной оценки глубины#

Важно отличать стереовидение от методов depth estimation, использующих только одну камеру. Монокулярная оценка глубины использует модели глубокого обучения для предсказания трехмерных структур по одному двумерному изображению на основе визуальных подсказок, таких как перспектива и тени. В отличие от этого, стереосистемы напрямую измеряют глубину, используя геометрическое соотношение между двумя объективами камер. Хотя монокулярные методы более легки с точки зрения вычислений, стереовидение обычно обеспечивает более точные измерения глубины в реальном времени, которые необходимы для критически важных систем безопасности.

Применение ИИ в реальном мире#

Стереосистемы жизненно важны в различных отраслях, требующих 3D object detection в реальном мире и пространственного восприятия.

• Autonomous Driving Navigation: Технологии автономного вождения, разработанные такими компаниями, как Waymo, используют стереокамеры для точной оценки расстояния до пешеходов, других транспортных средств и препятствий в реальном времени, передавая эти точные данные о глубине в системы predictive modeling для планирования безопасных маршрутов.
• Industrial Robotics Automation: Производственные роботы используют стереовидение для сложных задач по выборке деталей из бункера. Вычисляя точную глубину и ориентацию разбросанных деталей на конвейерной ленте, роботизированные системы могут идеально выравнивать свои захваты, повышая эффективность в smart manufacturing pipelines.
• Advanced Medical Imaging: Хирургические роботы и диагностические системы используют стереоскопические камеры, чтобы предоставить хирургам высокоточное 3D-представление анатомии пациента во время малоинвазивных процедур — тенденция, часто подчеркиваемая в recent arXiv preprints on medical AI.

Интеграция ИИ со стереоданными#

Часто разработчики используют стереовидение в паре с обнаружением объектов, чтобы найти одновременно что это и на каком расстоянии. Фреймворк OpenCV framework обычно применяется для генерации карт диспаратности, часто интегрируясь в более широкие пайплайны PyTorch или TensorFlow, в то время как модели ИИ берут на себя задачу восприятия. Ниже приведен концептуальный пример обнаружения объектов с помощью Ultralytics YOLO26 и получения их ограничивающих прямоугольников, которые затем можно использовать для извлечения средних значений расстояний из сопутствующей карты диспаратности OpenCV.

import cv2
from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for high-speed edge inference
model = YOLO("yolo26n.pt")

# Read the left camera frame (typically used as the primary frame for detection)
left_frame = cv2.imread("left_camera_frame.jpg")

# Run inference to detect objects in the scene
results = model(left_frame)

# Extract bounding boxes to later combine with a stereo disparity map
for result in results:
    for box in result.boxes.xyxy:
        x1, y1, x2, y2 = map(int, box[:4])
        print(f"Detected object bounding box: [{x1}, {y1}, {x2}, {y2}]")
        # Depth values can now be extracted from the disparity map within this specific region

Достижения и будущие тенденции#

Обучение и развертывание продвинутых моделей восприятия стали значительно проще. Используя такие инструменты, как Ultralytics Platform, команды могут безопасно аннотировать стереопары, обучать надежные модели и экспортировать их в оптимизированные форматы, такие как TensorRT, для инференса с низкими задержками на edge AI devices.

Недавние достижения таких организаций, как Stanford Vision and Learning Lab, показывают растущую тенденцию к объединению стереовидения с Vision Transformers (ViT) и базовыми моделями от Google DeepMind для более быстрого решения проблемы соответствия. Кроме того, по мере эволюции мультимодальных моделей ИИ от таких лидеров, как Anthropic и OpenAI, интеграция надежных 3D-пространственных данных продолжит расширять границы того, что агенты воплощенного ИИ могут воспринимать и понимать.