Ultralytics YOLO26 теперь поддерживает оценку глубины по монокулярному изображению

Раньше, чтобы добавить глубину в конвейер YOLO, приходилось самостоятельно собирать решение. Обычно YOLO использовали для детекции, а вместе с ним — отдельную модель глубины из другого проекта, например MiDaS или Depth Anything. Для этого требовались вторая зависимость, второй фреймворк и согласование двух наборов форматов входных и выходных данных.

Оценка глубины по одному изображению теперь — встроенная задача в Ultralytics YOLO26. Одно RGB-изображение дает значение расстояния для каждого пикселя с использованием того же пакета, рабочего процесса и пути экспорта, что и детекция, сегментация и оценка позы.

Что такое оценка глубины?#

Оценка глубины предсказывает карту глубины для каждого пикселя на основе одного RGB-изображения, без второй камеры или дополнительных датчиков. Каждый выходной пиксель содержит значение глубины в метрах — оценку расстояния от камеры до соответствующей точки поверхности.

Результат — плотная карта чисел с плавающей точкой формы (H, W), выровненная по входному изображению. Каждый пиксель содержит абсолютное расстояние в метрах: расстояние от камеры, а не относительный порядок объектов от ближнего к дальнему.

Глубина — отдельная задача с собственной контрольной точкой; ее единственный результат — карта глубины, без ограничивающих рамок и масок сегментации. Поэтому для объединения детекции с оценкой глубины нужно запускать две модели и выполнять два прямых прохода. Отличие от прежнего подхода в том, что теперь обе задачи доступны в одном пакете: используется одна установка, единый интерфейс обучения и предсказания, один путь экспорта и одна версия для отслеживания вместо второго фреймворка, который пришлось бы поддерживать параллельно с первым.

Именно благодаря такому результату для каждого пикселя оценка глубины полезна для обнаружения препятствий и свободного пространства, проверки зазоров, определения структуры сцены и понимания взаимного расположения объектов.

Рис. 1. Оценка глубины с помощью Ultralytics YOLO26 для контроля безопасности и соблюдения требований.

В Ultralytics YOLO26 доступны пять предварительно обученных моделей оценки глубины — от yolo26n-depth до yolo26x-depth. Они обучены на разнообразной смеси наборов данных, охватывающей около 2,19 млн изображений помещений и улицы. На наборе NYU Depth V2 точность δ1 составляет от 0,882 у nano-модели до 0,933 у модели extra-large, поэтому ты можешь выбрать подходящий для целевой платформы баланс скорости и точности.

Глубина без ограничений по замыслу#

Большинство моделей оценки глубины ограничивают предсказания фиксированным диапазоном, например 0–10 метров. Для сцен в помещениях это подходит, но на улице такой подход не работает. Вместо этого Ultralytics предсказывает глубину по логарифмической шкале без верхнего предела.

Разница видна при тестировании. Модель с ограниченным диапазоном почти сразу перестаёт улучшаться при обучении на смешанных данных помещений и улицы и плохо справляется с наборами данных для больших расстояний, например KITTI, где объекты могут находиться в 80 метрах. У подхода Ultralytics YOLO26 такого потолка нет: он продолжает улучшаться с добавлением данных и сохраняет эффективность на расстояниях от нескольких сантиметров до нескольких сотен метров. На KITTI значение δ1 достигает 0,942 при диапазоне 80 м. Это значит, что одно семейство моделей одинаково хорошо обрабатывает сцену на столе и дорожную сцену.

Сравнение Ultralytics YOLO26-Depth и Depth Anything V2#

Если ты уже используешь Depth Anything вместе с YOLO, разница заключается в скорости и связанных с ней вычислительных затратах. Ultralytics YOLO26-Depth работает до 20,3 раза быстрее Depth Anything V2 Base и до 7,7 раза быстрее Depth Anything V2 Small, используя при этом значительно меньшую модель: менее 10 млн параметров у nano-модели против примерно 24 млн у меньшего чекпойнта DA V2.

Рис. 2. Сравнение скорости Ultralytics YOLO26-Depth и Depth Anything V2.

В этом и заключается замысел. Модели Depth Anything V2 значительно крупнее; Ultralytics YOLO26-Depth обеспечивает высокое качество оценки глубины при таких размерах и скорости, которые требуют меньше вычислений на кадр и позволяют развернуть модель на оборудовании, недоступном для этих моделей. В документации опубликованы показатели точности каждой модели на NYU Depth V2 и KITTI — ты можешь сравнить их со своими требованиями.

Где можно запускать#

Именно разница в размерах определяет, где можно применять оценку глубины. Большинству команд, оценивающих такие решения, не не хватает идей — им не хватает вычислительных ресурсов. Дроны с низким энергопотреблением, четвероногие роботы, носимые устройства, видеорегистраторы, оборудование для видеоконференций и промышленные ПК упираются в ограничения по энергопотреблению и стоимости раньше, чем в ограничения по точности.

Оценка глубины доступна в виде пяти предварительно обученных моделей, поэтому ты можешь выбрать размер, подходящий для целевого устройства, а не просто победивший в бенчмарке. Поскольку оценка глубины — встроенная задача Ultralytics YOLO26, для неё используется тот же процесс экспорта, что и для обнаружения объектов, сегментации и оценки позы, в следующих форматах: ONNX, TensorRT, CoreML, NCNN, LiteRT.

Начало работы с оценкой глубины в Ultralytics YOLO26#

Пакет Ultralytics для Python предоставляет единый интерфейс для обучения, валидации и инференса во всех задачах YOLO26, включая оценку глубины. Для запуска предварительно обученной модели оценки глубины достаточно одной команды:

from ultralytics import YOLO

from ultralytics import YOLO

# Загрузи модель
model = YOLO("yolo26n-depth.pt")  # загрузи официальную модель
model = YOLO("path/to/best.pt")  # загрузи пользовательскую модель

# Выполни предсказание с помощью модели
results = model("https://ultralytics.com/images/bus.jpg")  # выполни предсказание для изображения

# Получи доступ к результатам
for result in results:
    depth_map = result.depth.data.cpu().numpy()  # torch.Tensor → NumPy float32, форма (H, W), метры

Или из CLI:

yolo depth predict model=yolo26n-depth.pt source='https://ultralytics.com/images/bus.jpg'  # predict with official model
yolo depth predict model=path/to/best.pt source='https://ultralytics.com/images/bus.jpg'   # predict with custom model

Абсолютное расстояние зависит от камеры и сцены. Если форма карты глубины правильная, но масштаб неверен, model.calibrate() подгоняет всего две переменные в модуле глубины модели — масштаб и смещение — по примерно 100 размеченным кадрам. Это занимает несколько секунд, не требует обучения и не меняет остальную часть сети.

Дообучение на собственных данных#

Чтобы адаптировать предварительно обученную модель оценки глубины к своей камере или предметной области, начни с предварительно обученных весов, используй AdamW и установи скорость обучения намного ниже значения по умолчанию для обучения с нуля. Так дообучение улучшит модель, а не перезапишет её:

from ultralytics import YOLO

from ultralytics import YOLO
model = YOLO("yolo26s-depth.pt")  # начни с предварительно обученных весов
model.train(
    data="path/to/your_dataset.yaml",
    epochs=20,
    imgsz=640,
    optimizer="AdamW",
    lr0=1e-4,  # примерно в 100 раз ниже значения по умолчанию для обучения с нуля
    warmup_bias_lr=1e-4,  # здесь тоже используй плавный прогрев
)

Поскольку логарифмическая голова по умолчанию не ограничена, такой подход работает сразу и на близких, и на дальних расстояниях — дополнительная настройка max_depth не нужна. Если для конкретной камеры неверен только абсолютный масштаб, model.calibrate() за несколько секунд подбирает лёгкую поправку в замкнутой форме на небольшой размеченной выборке, не затрагивая веса сети.

В наборах данных каждому RGB-изображению соответствует файл глубины .npy в папке с такой же структурой. Ultralytics предоставляет готовые конфигурации для NYU Depth V2, KITTI, Hypersim, SUN RGB-D и ARKitScenes, поэтому большинство команд могут сразу приступить к проверке на стандартном бенчмарке.

Основные сценарии применения оценки глубины#

Поскольку эта новая функция работает с обычной камерой, монокулярная оценка глубины открывает множество возможностей для продуктов и отраслей, которым невыгодно использовать стереосистемы или LiDAR из-за их стоимости, энергопотребления или необходимости калибровки. Рассмотрим основные отрасли и сценарии, в которых пригодится эта функция:

• Робототехника и автономная навигация. Мобильные роботы и дроны могут оценивать расстояние до препятствий и свободное пространство с помощью одной бортовой камеры, что позволяет планировать маршрут в реальном времени без специального оборудования для оценки глубины.
• Промышленность и логистика. Проверка зазоров, обнаружение свободного пространства и анализ обстановки у стеллажей или проходов с помощью одной стационарной камеры — везде, где установка второго датчика нецелесообразна.
• Контроль безопасности и соблюдения требований. Контроль безопасных зон для погрузчиков и складов, обнаружение происшествий на железной дороге, обнаружение упавших людей и оставленных предметов на существующих камерах видеонаблюдения. Контекст расстояния добавляется к уже установленным камерам наряду с существующими датчиками, сертифицированными для обеспечения безопасности, а не вместо них.
• Осмотр инфраструктуры и активов. Анализ расстояния до воздушных линий электропередачи, осмотр активов и выявление коррозии с помощью дронов, а также аэрофотосъёмка — сценарии, в которых одно семейство моделей должно обрабатывать и детали крупным планом, и удалённые сцены.
• Системы помощи водителю и автомобильное восприятие. Вывод глубины без ограничений для больших расстояний означает, что одно семейство моделей подходит и для близких сцен в помещении, и для дорожных сцен на расстоянии более 80 м.
• AR и пространственный контент. Чтобы реалистично размещать виртуальные объекты в реальной сцене или применять эффекты с учётом глубины, нужно знать фактическое расстояние от камеры до каждого пикселя.

Оценка глубины для любых сценариев развёртывания Ultralytics YOLO26#

Теперь, когда оценка глубины стала встроенной задачей Ultralytics YOLO26, команды могут использовать расстояние для каждого пикселя с любой RGB-камеры в разных отраслях. Для этого подходит уже знакомый процесс обучения, валидации, предсказания и экспорта, используемый для обнаружения объектов, сегментации и оценки позы, а поддерживать нужно на одну стороннюю зависимость меньше.

Планируя развёртывание Ultralytics YOLO26-Depth, учти несколько важных моментов:

• Ultralytics YOLO Depth предназначена для RGB-камер. Подойдёт любая стандартная камера, включая веб-камеры, телефоны, промышленные камеры и дроны. Однако другие модальности, например облака точек LiDAR, радар, сонар, тепловизионные и мультиспектральные диапазоны, а также данные сеток и IFC, не поддерживаются форматом входных данных модели.
• Метрические расстояния для принятия решений системой восприятия. На выходе получается реальное расстояние в метрах, что подходит для навигации, проверки зазоров и мониторинга. Однако для приложений, где требуется сертифицированный допуск, по-прежнему нужны специализированные средства измерений.
• Инференс для каждого изображения. Оценка глубины выполняется отдельно для каждого кадра, как и в любой другой задаче Ultralytics YOLO26, поэтому её можно встроить в существующий покадровый конвейер без изменений. Логика обработки последовательности остаётся на уровне приложения.
• Ultralytics YOLO26-Depth лучше всего работает с текстурированными непрозрачными поверхностями. Стекло, зеркала, стоячая вода, полированный металл и открытое небо по своей природе неоднозначны для любого метода с одной камерой, поэтому стоит проверить модель на сценах, характерных для твоих условий.

Интересуешься ИИ для компьютерного зрения? Изучи варианты лицензирования, чтобы использовать компьютерное зрение в своих проектах. Посети наш репозиторий на GitHub, чтобы узнать обо всех задачах и интеграциях Ultralytics, и загляни на платформу Ultralytics, чтобы начать создавать собственные сквозные рабочие процессы для ИИ в области компьютерного зрения.