Depth Estimation

Оценка глубины — это критически важный процесс в компьютерном зрении, который определяет расстояние от объектов до камеры, фактически добавляя третье измерение к 2D-изображениям. Вычисляя расстояние до каждого пикселя на изображении, этот метод создает карту глубины — представление, в котором интенсивность пикселя соответствует расстоянию. Эта возможность имитирует человеческое бинокулярное зрение, позволяя машинам воспринимать пространственные взаимосвязи и геометрию. Это ключевая технология, позволяющая автономным системам безопасно перемещаться, понимать окружающую среду и взаимодействовать с физическими объектами.

Основные механизмы и методы#

Существует несколько способов выполнять оценку глубины — от аппаратных решений до полностью программных подходов с использованием искусственного интеллекта.

• Системы стереозрения: Подобно человеческим глазам, стереозрение использует две камеры, расположенные рядом. Алгоритмы анализируют небольшие различия, или диспаритет, между левым и правым изображениями, чтобы триангулировать расстояние. Этот подход в значительной степени зависит от точного сопоставления признаков, позволяющего определить одни и те же точки в обоих кадрах.
• Монокулярная оценка глубины: Этот продвинутый метод оценивает глубину по одному изображению. Поскольку в одиночной 2D-фотографии отсутствуют исходные данные о глубине, модели глубокого обучения обучаются на обширных наборах данных распознавать визуальные признаки, такие как перспектива, размер объекта и окклюзия. Современные архитектуры, например сверточные нейронные сети (CNNs), отлично справляются с этой задачей, позволяя извлекать 3D-структуру из изображений обычных камер.
• LiDAR и камеры с измерением времени пролета (ToF): Активные датчики, такие как LiDAR (обнаружение и измерение дальности с помощью света) и камеры с измерением времени пролета, испускают световые импульсы и измеряют время их возвращения. Эти методы создают высокоточные облака точек и часто используются для сбора эталонных данных при обучении моделей машинного обучения.

Практические применения#

Способность измерять расстояние преобразует множество отраслей, обеспечивая работу приложений, которым необходимо пространственное восприятие.

• Автономное вождение: Беспилотные автомобили используют оценку глубины для обнаружения препятствий, измерения расстояния до других транспортных средств и безопасной навигации по сложным дорожным сетям. Она играет важную роль в обнаружении 3D-объектов, необходимом для идентификации пешеходов и велосипедистов.
• Робототехника и автоматизация: Роботы используют восприятие глубины для таких задач, как планирование пути и манипулирование объектами. Например, складскому роботу необходимо точно знать расстояние до стеллажа, чтобы забрать посылку, не столкнувшись с ним.
• Дополненная реальность (AR): Чтобы убедительно размещать виртуальные объекты в реальной сцене, устройства дополненной реальности должны понимать 3D-геометрию окружающей среды. Оценка глубины позволяет виртуальным персонажам скрываться за настоящей мебелью — это концепция, известная как обработка окклюзий.

Пример кода: монокулярная оценка глубины#

Хотя существуют специализированные модели глубины, в простых сценариях часто можно оценивать пространственные взаимосвязи, используя ограничивающие рамки обнаруженных объектов как приближение расстояния (более крупные рамки часто означают, что объекты находятся ближе). Ниже показано, как загрузить модель с помощью пакета ultralytics для обнаружения объектов — это первый шаг во многих конвейерах, учитывающих глубину.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Process results
for result in results:
    # Get bounding boxes (xyxy format)
    boxes = result.boxes.xyxy

    # Iterate through detections
    for box in boxes:
        print(f"Detected object at: {box}")

Связь с другими концепциями компьютерного зрения#

Важно отличать оценку глубины от связанных терминов. В то время как обнаружение объектов определяет, что представляет собой объект и где он находится в 2D-пространстве (с помощью ограничивающей рамки), оценка глубины определяет, на каком расстоянии он находится (по оси Z). Аналогично, семантическая сегментация классифицирует пиксели по категориям (например, дорога, небо, автомобиль), тогда как оценка глубины присваивает этим же пикселям значение расстояния.

Достижения в области пространственного ИИ#

Последние достижения в области генеративного ИИ сокращают разрыв между 2D- и 3D-зрением. Такие методы, как поля нейронной радиантности (NeRF), используют несколько 2D-изображений для реконструкции сложных 3D-сцен, в значительной степени опираясь на базовые принципы глубины. Кроме того, по мере совершенствования методов оптимизации моделей становится возможным выполнять высокоточную оценку глубины на периферийных устройствах ИИ. Это обеспечивает вычисления в пространстве в реальном времени на устройствах размером с дроны или умные очки благодаря таким платформам, как Ultralytics Platform, для эффективного обучения и развертывания моделей.