Depth Estimation

Оценка глубины — это важнейший процесс в компьютерном зрении, который определяет расстояние от объектов до камеры, фактически добавляя третье измерение к 2D-изображениям. Вычисляя удаленность каждого пикселя на изображении, этот метод создает карту глубины — представление, где интенсивность пикселя соответствует расстоянию. Эта возможность имитирует человеческое бинокулярное зрение, позволяя машинам воспринимать пространственные отношения и геометрию. Это фундаментальная технология, позволяющая автономным системам безопасно перемещаться, понимать окружающую среду и взаимодействовать с физическими объектами.

Link to this sectionОсновные механизмы и методы#

Существует несколько способов оценки глубины, от аппаратных решений до чисто программных подходов с использованием искусственного интеллекта.

• Стереосистемы: подобно человеческим глазам, стереозрение использует две камеры, расположенные рядом. Алгоритмы анализируют незначительные различия, или диспаратность, между левым и правым изображениями для триангуляции расстояния. Этот процесс во многом опирается на точное сопоставление признаков для идентификации одних и тех же точек на обоих кадрах.
• Монокулярная оценка глубины: этот продвинутый метод оценивает глубину по одному изображению. Поскольку одна 2D-фотография не содержит данных о глубине, модели глубокого обучения обучаются на огромных наборах данных для распознавания визуальных признаков, таких как перспектива, размер объекта и перекрытие. Современные архитектуры, такие как сверточные нейронные сети (CNN), отлично справляются с этой задачей, позволяя извлекать 3D-структуру из стандартных камер.
• LiDAR и времяпролетные датчики (ToF): активные сенсоры, такие как LiDAR (Light Detection and Ranging) и времяпролетные камеры, излучают световые импульсы и измеряют время, необходимое для их возвращения. Эти методы генерируют высокоточные облака точек и часто используются для сбора достоверных данных для обучения моделей машинного обучения.

Link to this sectionРеальные приложения#

Способность определять расстояние является революционной во многих отраслях, обеспечивая работу приложений, требующих пространственного восприятия.

• Автономное вождение: самоуправляемые автомобили полагаются на оценку глубины для обнаружения препятствий, измерения расстояния до других транспортных средств и безопасного передвижения по сложным дорожным сетям. Это неотъемлемая часть 3D-детекции объектов для распознавания пешеходов и велосипедистов.
• Робототехника и автоматизация: роботы используют восприятие глубины для таких задач, как планирование пути и манипуляция объектами. Например, складскому роботу нужно точно знать, как далеко находится полка, чтобы забрать посылку, не столкнувшись с ней.
• Дополненная реальность (AR): чтобы убедительно размещать виртуальные объекты в реальной сцене, AR-устройства должны понимать 3D-геометрию окружения. Оценка глубины гарантирует, что виртуальные персонажи могут скрываться за реальной мебелью, — это концепция, известная как обработка перекрытий (occlusion handling).

Link to this sectionПример кода: монокулярная оценка глубины#

Хотя существуют специализированные модели глубины, ты часто можешь выводить пространственные отношения, используя ограничивающие рамки (bounding boxes) детекции объектов в качестве прокси для расстояния в простых сценариях (более крупные рамки часто означают более близкие объекты). Вот как загрузить модель с помощью пакета ultralytics для обнаружения объектов — это первый шаг во многих пайплайнах, учитывающих глубину.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Process results
for result in results:
    # Get bounding boxes (xyxy format)
    boxes = result.boxes.xyxy

    # Iterate through detections
    for box in boxes:
        print(f"Detected object at: {box}")

Link to this sectionСвязь с другими концепциями компьютерного зрения#

Важно отличать оценку глубины от связанных терминов. В то время как детекция объектов определяет, что и где находится объект в 2D-пространстве (с использованием ограничивающей рамки), оценка глубины определяет, как далеко он находится (ось Z). Аналогично, семантическая сегментация классифицирует пиксели по категориям (например, дорога, небо, автомобиль), тогда как оценка глубины присваивает значение расстояния тем же самым пикселям.

Link to this sectionДостижения в области пространственного ИИ#

Недавний прогресс в области генеративного ИИ сокращает разрыв между 2D- и 3D-зрением. Такие методы, как нейронные поля излучения (NeRF), используют несколько 2D-изображений для реконструкции сложных 3D-сцен, сильно полагаясь на базовые принципы глубины. Более того, по мере совершенствования методов оптимизации моделей выполнение высокоточной оценки глубины на периферийных ИИ-устройствах становится возможным. Это открывает путь к пространственным вычислениям в реальном времени на оборудовании размером с дрон или смарт-очки, чему способствуют такие платформы, как Ultralytics Platform, для эффективного обучения и развертывания моделей.