Лучшие модели оценки глубины: как выбрать

Выбор модели оценки глубины зависит от трёх факторов: нужны ли тебе расстояния в метрах или только относительная глубина, где будет работать модель и разрешает ли лицензия нужное тебе использование. Для относительной глубины и исследований сначала стоит оценить Depth Anything и Marigold. Для измерения глубины при неизвестной камере рассмотрите Depth Pro и UniDepth; если известно фокусное расстояние камеры, подойдут также Metric3D v2 и Depth Anything 3 Metric. Для периферийного оборудования добавь в список Depth Anything V2 Small, а также модели MiDaS v3.1 Swin2-Tiny и LeViT, затем измерь задержку на своём устройстве. Для низколатентной оценки глубины на GPU NVIDIA вместе с другими задачами Ultralytics YOLO также оцени Ultralytics YOLO26 depth. В этом руководстве сравниваются девять моделей монокулярной оценки глубины и предлагается алгоритм выбора.

Если ты только знакомишься с этой задачей, начни с материала о том, что такое монокулярная оценка глубины. Эта страница посвящена выбору модели.

Относительная или метрическая глубина: сначала определись#

• Относительная глубина показывает, какие пиксели расположены ближе или дальше, но не задаёт абсолютный масштаб. Этого достаточно для понимания сцены, фоновых эффектов и ранжирования объектов по расстоянию.
• Метрическая глубина выражает расстояния в метрах. Она нужна для измерений, планирования движения робота или объединения данных о глубине с данными других датчиков.

Модели метрической глубины определяют абсолютный масштаб разными способами. Одни самостоятельно оценивают фокусное расстояние камеры, другим его нужно задать, а у некоторых масштаб фиксирован, и его нужно откалибровать для своей камеры. На практике способ определения масштаба может быть важнее нескольких пунктов точности в тестах. Подробнее о двух типах см. в глоссарной статье об оценке глубины.

Рис. 1. Одно и то же фото заводского цеха обработано Depth Anything V2 Small, которая предсказывает относительную глубину (ближе или дальше, без единиц измерения), и Ultralytics YOLO26s-depth, которая предсказывает расстояния в метрах: около 1,5 м до контейнера с деталями, 4,1 м до инженера и 13,8 м до дальних дверей. Фото создано для этой статьи; обе карты глубины — реальные результаты работы моделей. Расстояния предсказаны с помощью опубликованной версии модели без калибровки для этой камеры, это не результаты измерений.

Сравнение моделей оценки глубины#

Модели перечислены в алфавитном порядке, а не по рейтингу. Мы не приводим показатели точности разных моделей, поскольку в каждой статье используется свой протокол тестирования, и результаты нельзя напрямую сравнивать. Лицензии проверены в октябре 2026 года и распространяются на отдельные контрольные точки моделей.

Как выбрать модель для оценки глубины#

Последовательно ответь на эти вопросы:

1. Нужны значения в метрах? Если нет, начни с Depth Anything V2 или Depth Anything 3; также можно выбрать MiDaS, если нужна лицензия MIT.
2. Известны внутренние параметры камеры? Если нет, выбери модель, которая оценивает их сама: Depth Pro или UniDepth. Если известны, их можно использовать с Metric3D v2 и Depth Anything 3 Metric.
3. Где будет работать модель? Если задержка на сервере не критична, подойдут большие базовые модели. Для оценки глубины с низкой задержкой на NVIDIA GPU параллельно с другими задачами YOLO рассмотри Ultralytics YOLO26 depth и измерь производительность на своём периферийном устройстве, например NVIDIA Jetson. Другие варианты — Depth Anything V2 Small, модели MiDaS v3.1 Swin2-Tiny и LeViT. Задержка на CPU зависит от процессора, среды выполнения, разрешения входного изображения и модели. Проведи бенчмарк для своей точной конфигурации; на рис. 3 приведён один пример для малых моделей Ultralytics YOLO26 depth. См. раздел о периферийных устройствах ниже.
4. Подходит ли тебе лицензия? Проверь условия для конкретных весов. В нескольких семействах для малых моделей используется Apache 2.0, а для больших — некоммерческая лицензия.
5. Можешь провести калибровку или дообучение? Если ты можешь собрать около 50–150 размеченных изображений со своей камеры и отметить на каждом несколько измеренных точек, сравни откалиброванную или дообученную модель с моделью без дополнительной настройки на собственных сценах. В тестах Ultralytics с YOLO26s-depth (150 изображений на камеру, 5 измеренных точек на изображение) такая калибровка позволила восстановить масштаб с отклонением около 1% от результата полной подгонки по ground truth; до калибровки отклонение составляло от 4% до 46%. Эта цифра показывает точность восстановления масштаба, а не общую точность оценки глубины.

Затем протестируй две-три модели на изображениях со своей камеры при целевом разрешении развёртывания.

Рис. 2. Предсказанные расстояния до некоторых обнаруженных автомобилей и людей: детекция Ultralytics YOLO26x объединена с Ultralytics YOLO26s-depth. Расстояние до ближайшего припаркованного автомобиля — 3.6 м, до автомобиля справа — 6.9 м, до отмеченного человека справа — 7.0 м. Фото создано для этой статьи; рамки и расстояния — реальные результаты модели, не откалиброванной для этой камеры. Это предсказания, а не измеренные расстояния.

Подробнее о моделях#

Перечислены в алфавитном порядке.

Depth Anything 3#

Depth Anything 3 от ByteDance Seed расширяет Depth Anything: вместо одного изображения модель может обрабатывать произвольное количество ракурсов. Основные модели совместно оценивают глубину и позу камеры, а специальные варианты предназначены для монокулярной относительной глубины (DA3Mono-Large) и монокулярной метрической глубины (DA3Metric-Large). Выходные данные: относительная глубина у основных моделей и Mono; метрическая глубина при заданном фокусном расстоянии у DA3Metric-Large или напрямую у некоммерческой модели Nested. Размеры: от 0.08B (Small) до 1.15B (Giant), а также модель Nested размером 1.40B, согласно карточкам моделей проекта. Лицензия: Small, Base, Metric-Large и Mono-Large распространяются по Apache 2.0; Large, Giant и Nested — по CC BY-NC 4.0. Лучше всего подходит для: сцен с несколькими ракурсами и 3D-реконструкции. Компромисс: самые мощные веса предназначены только для некоммерческого использования.

Depth Anything V2#

Depth Anything V2 — широко доступная открытая модель относительной глубины, которая стабильно работает в помещениях, на улице и в необычных сценах. Проект также публикует метрические веса, дообученные для помещений (до 20 м) и уличных сцен (до 80 м). Размеры: Small — 24.8M, Base — 97.5M, Large — 335.3M. Лицензия: Small распространяется по Apache 2.0; Base и Large — по CC-BY-NC-4.0. Лучше всего подходит для: универсальной оценки относительной глубины. Компромисс: для коммерческого использования доступна только модель Small, а метрические модели не могут предсказывать глубину за пределами фиксированного максимума.

Depth Pro#

Depth Pro от Apple оценивает метрическую глубину по одному изображению без внутренних параметров камеры и самостоятельно оценивает фокусное расстояние. По данным Apple, модель строит карту глубины размером 2.25 мегапикселя за 0.3 секунды на стандартном GPU и точно выделяет границы тонких объектов. Лицензия: собственная лицензия Apple распространяется на код и веса. Лучше всего подходит для: оценки метрической глубины по фотографиям, сделанным без контроля над камерой. Компромисс: это модель для серверов, а не периферийных устройств; перед коммерческим использованием ознакомься с лицензией.

Marigold#

Marigold адаптирует предварительно обученную модель изображения диффузии для оценки глубины; обучение проводилось только на синтетических данных. Модель строит очень подробную карту относительной глубины. Лицензия: код распространяется по Apache 2.0, модели — по RAIL++-M. Лучше всего подходит для: автономной обработки, где детализация важнее скорости, например для создания контента и генерации наборов данных. Компромисс: модель поддерживает вывод за один шаг; ансамблирование для повышения точности увеличивает вычислительные затраты, поэтому проверь, укладывается ли модель в требования к задержке.

Metric3D v2#

Metric3D v2 предсказывает метрическую глубину и нормали поверхности по одному изображению. Доступны веса ViT-Small, ViT-Large и ViT-giant2, в том числе экспорты ONNX. Лицензия: код распространяется по BSD-2-Clause; проверь условия для используемых весов. Лучше всего подходит для: 3D-реконструкции и робототехнических конвейеров, которым также нужны нормали поверхности. Компромисс: модель преобразует изображения к канонической камере, поэтому для правильного масштаба нужно знать точное фокусное расстояние.

MiDaS#

MiDaS от ISL компании Intel сделала устойчивую оценку относительной глубины практически применимой благодаря обучению на смеси наборов данных. Версия 3.1 включает модель BEiT-Large для повышения качества, а также модели Swin2-Tiny и LeViT для встраиваемых устройств; кроме того, доступна устаревшая малая модель MiDaS v2.1 в формате OpenVINO для Intel CPU и мобильные примеры для iOS и Android. Лицензия: MIT. Лучше всего подходит для: базовой модели с разрешительной лицензией и подробной документацией. Компромисс: модель предшествует новым базовым моделям, а Intel заархивировала репозиторий, поэтому исправления больше не выпускаются. Сравни её с более новой моделью на собственных изображениях.

Оценка глубины Ultralytics YOLO26#

Ultralytics YOLO26 поддерживает оценку глубины (об этом объявили в июле 2026 года); доступны пять размеров — от 6.3M параметров (n) до 57.0M (x) при разрешении 768 пикселей. Модели предсказывают глубину в метрах с логарифмической головой, охватывающей примерно 0.02–150 метров, поэтому одна модель подходит и для помещений, и для уличных сцен. У выпущенных весов единый глобальный масштаб; чтобы точно оценивать абсолютную глубину для конкретной камеры, model.calibrate() подгоняет масштаб примерно по 50–150 размеченным изображениям — для этого достаточно нескольких измеренных точек на изображение, переобучение не требуется. В нашем бенчмарке с размером пакета 1, TensorRT FP16 и NVIDIA T4 при входном разрешении около 768 пикселей задержка только на инференс (без пред- и постобработки) составляет от 2.7 мс (n) до 13.6 мс (x); все пять размеров показали меньшую задержку, чем Depth Anything V2 Small. Это сравнение задержки, а не оценка точности по единому протоколу. Модели можно экспортировать в ONNX, TensorRT, CoreML, OpenVINO и другие форматы, а также обучать с помощью тех же Python API и CLI, что используются для детекции, сегментации и оценки позы. Лицензия: AGPL-3.0 или лицензия Ultralytics Enterprise для коммерческого использования с закрытым исходным кодом. Лучше всего подходит для: оценки глубины с низкой задержкой на NVIDIA GPU параллельно с другими задачами YOLO; проверь производительность на своём периферийном устройстве. Компромиссы: абсолютный масштаб зависит от калибровки камеры; точность этой модели здесь не сравнивается с базовыми моделями по единому протоколу, поэтому протестируй её на собственных данных.

UniDepth V2#

UniDepth предсказывает метрическую глубину и внутренние параметры камеры по одному RGB-изображению, а при наличии известных параметров может их использовать. Лицензия: CC BY-NC 4.0. Лучше всего подходит для: исследований и прототипов, которым нужна метрическая глубина для неизвестных камер. Компромисс: лицензия запрещает коммерческое использование.

ZoeDepth#

ZoeDepth сочетает предварительное обучение для относительной глубины с метрическими головами для сцен внутри помещений (NYU) и на улице (KITTI). Лицензия: MIT. Лучше всего подходит для: модели метрической глубины с разрешительной лицензией, если твои сцены похожи на обучающие данные для помещений или улицы. Компромисс: модель обучалась для конкретных сценариев внутри и вне помещений, тогда как более новые метрические модели, например UniDepth и Metric3D v2, рассчитаны на работу с разными камерами. Intel заархивировала репозиторий, поэтому исправления больше не выпускаются.

Оценка глубины на периферийных устройствах#

На периферийном оборудовании вопрос меняется с «какая модель самая точная?» на «какая модель достаточно точна при нужной частоте кадров?». Подходят три группы моделей:

• Малые версии больших семейств моделей. Depth Anything V2 Small (24.8M параметров, Apache 2.0) — один из вариантов с разрешительной лицензией. Модели MiDaS v3.1 Swin2-Tiny и LeViT предназначены для встраиваемых устройств.
• Модели для задач реального времени. Ultralytics YOLO26 depth работает за 2.7 мс (n) – 13.6 мс (x) только на инференс при размере пакета 1, без пред- и постобработки, на Tesla T4 с TensorRT FP16. Модель экспортируется в TensorRT для NVIDIA Jetson, CoreML для устройств Apple и OpenVINO для Intel CPU; поддержка экспорта не является бенчмарком для периферийных устройств.
• Компактные исследовательские модели. FastDepth (MIT) создана для встраиваемых систем и демонстрировалась на NVIDIA Jetson TX2. Lite-Mono (MIT) содержит от 2.2M до 8.7M параметров и обучена на данных вождения из KITTI.

Измерь задержку инференса на целевом устройстве после экспорта, используя разрешение, которое будет применяться при развёртывании. Чтобы выбрать оборудование, см. руководство как выбрать подходящее периферийное устройство. Варианты экспорта описаны в руководстве по развёртыванию моделей.

Рис. 3. Ultralytics YOLO26n-depth (89–96 мс) и YOLO26s-depth (124–128 мс) на одной фотографии магазина, обработанной на Apple M4 CPU (PyTorch, входное разрешение 768 пикселей, от изображения до готовой карты глубины). Время обработки на ноутбуке меняется в зависимости от фоновой нагрузки, поэтому воспринимай его как диапазон. Фото создано для этой статьи; карты глубины и время обработки — реальные.

Оценка глубины для робототехники#

Роботам обычно нужна метрическая глубина, стабильная от кадра к кадру и доступная с частотой работы системы управления роботом. Есть три практических варианта:

• Монокулярные метрические модели подходят роботам с одной RGB-камерой. Выбери модель, подходящую для твоей камеры: Metric3D v2 или Depth Anything 3 Metric при известных внутренних параметрах камеры либо откалиброванную Ultralytics YOLO26 depth, если нужен быстрый инференс на борту с NVIDIA GPU параллельно с другими задачами YOLO; проверь производительность на компьютере робота.
• Стереомодели, например FoundationStereo от NVIDIA, вычисляют метрическую глубину по откалиброванной паре камер. Исследовательская версия предназначена для некоммерческого использования; NVIDIA указывает версию TAO для коммерческого применения. О том, чем стереозрение отличается от монокулярной оценки глубины, читай в разделе стереозрение.
• Датчики глубины (стереокамеры глубины, структурированный свет или LiDAR) измеряют глубину напрямую.

Когда монокулярная модель не подходит: для критически важных с точки зрения безопасности решений, например предотвращения столкновений рядом с людьми, используй датчик глубины или стереопару. Монокулярную оценку глубины рассматривай как дополнение, например для заполнения областей, в которых датчик не возвращает данные.

Рис. 4. Предсказанные расстояния, полученные по одной карте глубины Ultralytics YOLO26s-depth: 3.1 м до точки на полу, 5.7 м до робота и около 23 м до конца прохода. Фото создано для этой статьи; показания — реальные результаты модели, не откалиброванной для этой камеры, поэтому это предсказания, а не измерения.

Как протестировать модели оценки глубины на своей камере#

• Собери около 50–150 размеченных изображений с камеры, которая будет использоваться при развёртывании, с целевым разрешением и настройками объектива; на каждом изображении отметь несколько измеренных точек. Открытые бенчмарки, например NYU Depth V2 (помещения) и KITTI (вождение), полезны для первичного сравнения, но решающими будут результаты на твоей камере.
• Дальномер измеряет расстояние по прямой, а для калибровки нужна глубина вдоль оптической оси камеры: измеряй точки рядом с центром изображения, преобразуй показания вне центра в глубину по оси камеры с помощью внутренних параметров камеры или собирай данные о глубине с помощью датчика глубины.
• Сравни модели по δ1 и абсолютной относительной ошибке с учётом этих измерений, а также измерь время обработки каждой модели на целевом устройстве. Для метрических моделей оценивай исходные результаты, не масштабируя каждое изображение под ground truth: такое выравнивание отдельно для каждого изображения скрывает ошибки масштаба, которые нужно обнаружить.
• Для метрической модели с фиксированным масштабом проведи калибровку на части данных, а тестирование — на остальных. В Ultralytics YOLO26 depth эта функция доступна как model.calibrate().