Ultralytics YOLO26 теперь поддерживает монокулярную оценку глубины

До сих пор добавление глубины в конвейер YOLO означало, что тебе приходилось собирать всё самостоятельно. Принято было использовать YOLO для детекции и связывать его с отдельной моделью глубины из другого проекта, например MiDaS или Depth Anything. Это означало вторую зависимость, второй фреймворк и два набора форматов входных и выходных данных, которые нужно было согласовать.

Оценка глубины по монокулярному изображению теперь является встроенной задачей в Ultralytics YOLO26. Одно RGB-изображение позволяет получить значение расстояния для каждого пикселя, используя тот же пакет, рабочий процесс и путь экспорта, что и для детекции, сегментации и поз.

Что такое оценка глубины?#

Оценка глубины предсказывает карту глубины для каждого пикселя по одному RGB-изображению без использования второй камеры или дополнительного датчика. Каждый выходной пиксель содержит значение глубины в метрах, то есть оценочное расстояние от камеры до соответствующей точки поверхности.

Результатом является плотная карта чисел с плавающей точкой формы (H, W), выровненная относительно входного изображения, где каждый пиксель содержит абсолютное расстояние в метрах — расстояние от камеры, а не относительный порядок близости объектов.

Глубина — это самостоятельная задача со своей контрольной точкой, и её результатом является только карта глубины: ограничивающие рамки и маски сегментации не возвращаются. Поэтому объединение детекции с глубиной требует запуска двух моделей и двух прямых проходов. Отличие от прежнего подхода в том, что теперь обе задачи находятся в одном пакете, используют одну установку, один интерфейс обучения и предсказания, один путь экспорта и одну версию для отслеживания, вместо отдельного фреймворка, который нужно поддерживать параллельно с первым.

Именно такой результат для каждого пикселя делает глубину полезной для обнаружения препятствий и свободного пространства, проверки зазоров, анализа структуры сцены и понимания того, что находится перед чем.

Рис. 1. Оценка глубины с помощью Ultralytics YOLO26 для мониторинга безопасности и соответствия требованиям.

Ultralytics YOLO26 включает пять предварительно обученных моделей глубины — от yolo26n-depth до yolo26x-depth, — обученных на обширной смеси нескольких наборов данных, содержащей около 2,19 млн изображений помещений и открытых сцен. На наборе NYU Depth V2 их точность δ1 составляет от 0,882 у nano-модели до 0,933 у extra-large-модели, поэтому ты можешь выбрать подходящий для своей целевой среды размен между скоростью и точностью.

Неограниченная глубина по замыслу#

Большинство моделей глубины ограничивают предсказания фиксированным диапазоном, например 0–10 метров, что хорошо работает для помещений, но становится проблемой на открытом воздухе. Вместо этого Ultralytics предсказывает глубину в логарифмическом масштабе без жёсткого ограничения.

Разница заметна при тестировании. Ограниченная модель почти сразу достигает плато при обучении на смешанных данных помещений и открытых сцен и теряет эффективность на наборах данных с большими расстояниями, таких как KITTI, где объекты могут находиться в 80 метрах. Подход Ultralytics YOLO26 не имеет такого потолка, поэтому модель продолжает улучшаться с увеличением объёма данных и работает на расстояниях от нескольких сантиметров до нескольких сотен метров. На KITTI показатель δ1 достигает 0,942 при дальности 80 м. Это означает, что одно семейство моделей одинаково хорошо работает и со сценой на столе, и со сценой на шоссе.

Сравнение глубины Ultralytics YOLO26 и Depth Anything V2#

Если ты уже используешь Depth Anything вместе с YOLO, разница заключается в скорости и связанных с ней вычислительных затратах. Ultralytics YOLO26 depth работает до 20,3 раза быстрее Depth Anything V2 Base и до 7,7 раза быстрее Depth Anything V2 Small при значительно меньшем размере модели: менее 10 млн параметров у nano против примерно 24 млн у меньшей контрольной точки DA V2.

Рис. 2. Сравнение скорости Ultralytics YOLO26 depth и Depth Anything V2.

В этом и заключается смысл такой архитектуры. Модели Depth Anything V2 значительно больше; Ultralytics YOLO26-Depth обеспечивает высокое качество оценки глубины при размере и скорости, которые требуют меньше вычислений на кадр и позволяют развернуть модель на оборудовании, недоступном для этих моделей. Показатели точности отдельных моделей на NYU Depth V2 и KITTI опубликованы в документации, поэтому ты можешь сопоставить их с реальными требованиями своего проекта.

Где это работает#

Именно разница в размере определяет, где оценку глубины действительно можно применять. Большинству команд, изучающих эту технологию, не не хватает идей — им не хватает вычислительных ресурсов. Дроны с низким энергопотреблением, роботы с четырьмя ногами, носимые устройства, видеорегистраторы, оборудование для видеоконференций и промышленные ПК достигают ограничений по мощности и стоимости раньше, чем ограничений по точности.

Оценка глубины доступна в виде пяти предварительно обученных моделей, поэтому ты можешь выбрать размер, подходящий для целевого устройства, а не тот, который побеждает в бенчмарке. Поскольку глубина является встроенной задачей Ultralytics YOLO26, для неё используется тот же путь экспорта, что и для детекции, сегментации и поз, в следующие форматы: ONNX, TensorRT, CoreML, NCNN, LiteRT.

Начало работы с глубиной в Ultralytics YOLO26#

Пакет Ultralytics для Python предоставляет единый интерфейс для обучения, валидации и инференса во всех задачах YOLO26, включая глубину. Запуск предварительно обученной модели глубины выполняется одной командой:

from ultralytics import YOLO

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    depth_map = result.depth.data.cpu().numpy()  # torch.Tensor → NumPy float32, shape (H, W), meters

Или через CLI:

yolo depth predict model=yolo26n-depth.pt source='https://ultralytics.com/images/bus.jpg'  # predict with official model
yolo depth predict model=path/to/best.pt source='https://ultralytics.com/images/bus.jpg'   # predict with custom model

Абсолютное расстояние зависит от твоей камеры и сцены. Если форма карты глубины правильная, но масштаб отличается, model.calibrate() подгоняет всего две переменные в голове глубины модели — масштаб и смещение — примерно по 100 размеченным кадрам за считанные секунды, без обучения и изменений остальной части сети.

Дообучение на собственных данных#

Чтобы адаптировать предварительно обученную модель глубины к своей камере или предметной области, начни с предварительно обученных весов, используй AdamW и установи скорость обучения значительно ниже значения по умолчанию для обучения с нуля, чтобы дообучение уточняло модель, а не перезаписывалo её:

from ultralytics import YOLO

from ultralytics import YOLO
model = YOLO("yolo26s-depth.pt")  # start from pretrained weights
model.train(
    data="path/to/your_dataset.yaml",
    epochs=20,
    imgsz=640,
    optimizer="AdamW",
    lr0=1e-4,  # ~100x below the from-scratch default
    warmup_bias_lr=1e-4,  # keep warmup gentle too
)

Поскольку логарифмическая голова по умолчанию не ограничена, это работает из коробки независимо от того, предназначен ли твой набор данных для ближних или дальних расстояний, без необходимости в настройке max_depth. Если для конкретной камеры отличается только абсолютный масштаб, model.calibrate() за считанные секунды подбирает лёгкую поправку в замкнутой форме на небольшой размеченной выборке, не затрагивая веса сети.

Для каждого RGB-изображения в наборах данных используется файл глубины .npy в соответствующей папке с совпадающей структурой, а Ultralytics включает встроенные конфигурации для NYU Depth V2, KITTI, Hypersim, SUN RGB-D и ARKitScenes, поэтому большинство команд могут сразу начать проверку на стандартном бенчмарке.

Ключевые сценарии использования оценки глубины#

Поскольку эта новая функция работает с одной обычной камерой, оценка глубины по монокулярному изображению открывает множество возможностей для продуктов и отраслей, которые иначе не могут оправдать стоимость, энергопотребление или затраты на калибровку стереосистемы или LiDAR. Давай рассмотрим несколько ключевых отраслей и сценариев использования, которым может быть полезна эта функция:

• Робототехника и автономная навигация. Мобильные роботы и дроны могут оценивать расстояние до препятствий и свободное пространство с помощью одной бортовой камеры, обеспечивая планирование маршрута в реальном времени без специализированного оборудования для оценки глубины.
• Осведомлённость о промышленной и логистической обстановке. Проверка зазоров, обнаружение свободного пространства, а также анализ контекста полок и проходов с помощью одной стационарной камеры — везде, где установка второго датчика непрактична.
• Мониторинг безопасности и соответствия требованиям. Зоны безопасности для погрузчиков и складов, обнаружение происшествий на железной дороге, обнаружение упавших людей и оставленных объектов на существующих системах CCTV: контекст расстояния добавляется к уже установленным видеопотокам наряду с действующими сертифицированными датчиками безопасности, а не вместо них.
• Инспекция инфраструктуры и активов. Анализ габаритов воздушных линий, инспекция активов и коррозии с помощью дронов, а также аэросъёмка, где одно семейство моделей должно работать и с крупными планами, и со сценами на больших расстояниях.
• Системы помощи водителю и автомобильное восприятие. Дальний и неограниченный вывод глубины означает, что одно семейство моделей, работающее с близкой сценой в помещении, также обобщается на дорожные сцены на расстоянии 80 м и более.
• AR и пространственный контент. Реалистичное размещение виртуальных объектов в реальной сцене или применение эффектов с учётом глубины начинается с понимания того, на каком расстоянии от камеры фактически находится каждый пиксель.

Оценка глубины для каждого развертывания Ultralytics YOLO26#

Теперь, когда оценка глубины стала встроенной задачей Ultralytics YOLO26, команды могут использовать информацию о расстоянии для каждого пикселя с любой RGB-камеры в разных отраслях, применяя тот же уже знакомый им процесс обучения, валидации, предсказания и экспорта, что и для детекции, сегментации и поз, а также поддерживая на одну стороннюю зависимость меньше.

Поэтому при планировании развертывания с Ultralytics YOLO26 depth давай рассмотрим несколько важных моментов:

• Ultralytics YOLO Depth создан для RGB-камер. Подойдёт любая стандартная камера, включая веб-камеры, телефоны, промышленные камеры и дроны. Однако другие модальности, такие как облака точек LiDAR, радар, сонар, тепловые и мультиспектральные диапазоны, а также данные mesh и IFC, не входят в формат входных данных модели.
• Метрическое расстояние для принятия решений на основе восприятия. Результатом является реальное расстояние в метрах, что делает его подходящим для навигации, проверки зазоров и мониторинга. Однако для любого приложения, где требуется сертифицированная погрешность, специализированное метрологическое оборудование остаётся правильным инструментом.
• Покомпонентный инференс для каждого изображения. Глубина обрабатывается независимо для каждого кадра, как и любая другая задача Ultralytics YOLO26, поэтому её можно встроить в существующий покадровый конвейер без изменений. Обработка последовательности остаётся на уровне приложения.
• Ultralytics YOLO26-Depth лучше всего работает с текстурированными непрозрачными поверхностями. Стекло, зеркала, стоячая вода, полированный металл и открытое небо по своей природе неоднозначны для любого метода с одной камерой, поэтому стоит проверить модель на сценах, характерных для твоей среды.

Интересуешься AI для компьютерного зрения? Изучи наши варианты лицензирования, чтобы внедрить компьютерное зрение в свои проекты. Посети наш репозиторий на GitHub, чтобы узнать обо всём спектре задач и интеграций Ultralytics, и загляни на Ultralytics Platform, чтобы начать создавать собственные сквозные рабочие процессы AI для компьютерного зрения.