Что такое монокулярная оценка глубины? Обзор

Беспилотные автомобили спроектированы так, чтобы понимать, что происходит вокруг, для обеспечения безопасности движения. Это значит, что им нужно не просто распознавать объекты, такие как пешеходы или другие транспортные средства.

Им также необходимо знать расстояние до этих объектов, чтобы правильно реагировать. Однако дать машинам такое восприятие глубины непросто. В отличие от людей, они не обладают естественным восприятием глубины по изображениям, поэтому их нужно специально обучать этому.

Одна из причин заключается в том, что большинство камер фиксируют мир как плоские, двумерные изображения. Превращение этих изображений в нечто, отражающее глубину реального мира и 3D-структуру, — сложная задача, особенно когда системы должны надежно работать в повседневных условиях.

Интересно, что компьютерное зрение, раздел ИИ, фокусирующийся на интерпретации и понимании визуальных данных, позволяет машинам лучше понимать мир через изображения. Например, монокулярная оценка глубины — это метод компьютерного зрения, который оценивает расстояние до объектов, используя только одно изображение с камеры.

Изучая визуальные сигналы, такие как размер объекта, перспектива, текстура и затенение, эти модели могут предсказывать глубину, не полагаясь на дополнительные датчики, такие как LiDAR (Light Detection and Ranging) или стереокамеры. В этой статье мы рассмотрим, что такое монокулярная оценка глубины, как она работает и каковы ее практические применения. Давай начнем!

Link to this sectionКраткое введение в монокулярную оценку глубины#

Монокулярная оценка глубины позволяет машине понимать расстояние до объектов, используя всего одно изображение. Поскольку для этого требуется только одна камера, такой подход имеет несколько преимуществ, включая более низкую стоимость и упрощенные требования к оборудованию.

Например, этот метод можно использовать в доступных домашних роботах, работающих с одной камерой. Даже по одному изображению роботизированная система может определить, какие стены находятся ближе, а какие двери — дальше, и сделать вывод об общей глубине пространства.

Часто одно изображение не содержит информации в правильном масштабе, поэтому монокулярная оценка глубины обычно фокусируется на относительной глубине. Иными словами, она может определить, какие объекты находятся ближе, а какие — дальше, даже если точные расстояния неизвестны.

Когда модель обучается на данных с достоверными расстояниями или абсолютной глубиной, например, на измерениях глубины от датчиков типа LiDAR, она может научиться предсказывать расстояния в единицах реального мира, таких как метры. Без таких эталонных данных модель по-прежнему может определять относительную глубину, но не может надежно оценить абсолютные расстояния.

Результатом монокулярной оценки глубины обычно является карта глубины — изображение, где каждый пиксель показывает, насколько близко или далеко находится эта часть сцены. Карта глубины дает системам зрения базовое понимание 3D-структуры окружающей среды.

Рис 1. Пример прогнозируемой карты глубины, созданной с помощью монокулярной оценки глубины (Источник)

Link to this sectionОт датчиков к изображениям: Оценка глубины#

К оценке глубины можно подойти разными способами, в зависимости от доступных датчиков, аппаратных ограничений и требований к точности. Традиционные методы часто полагаются на несколько точек обзора или специализированные датчики для прямого измерения расстояния.

Один из распространенных подходов — стереозрение, которое оценивает глубину путем сравнения двух синхронизированных изображений, снятых с немного разных ракурсов. Измеряя разницу между соответствующими точками на двух изображениях, система может вычислить, как далеко объекты находятся от камеры.

Другой подход — системы RGB-D (Red, Green, Blue, and Depth), использующие активные датчики глубины для прямого измерения расстояния для каждого пикселя. Эти системы обеспечивают точную информацию о глубине в контролируемых условиях, но требуют дополнительного оборудования.

В то же время методы на основе LiDAR используют лазерные импульсы для создания точных трехмерных представлений сцены. Хотя они очень точны, датчики LiDAR часто стоят дорого и значительно усложняют конструкцию оборудования.

Напротив, монокулярная оценка глубины вычисляет глубину, используя только одно RGB-изображение. Поскольку она не зависит от нескольких камер или специализированных датчиков, ее легче масштабировать, и это хороший вариант при ограниченных затратах и аппаратных ресурсах.

Link to this sectionИзучение глубины по одному изображению#

При оценке глубины по одному изображению модели монокулярной оценки учатся распознавать визуальные сигналы, которые люди используют инстинктивно для суждения о расстоянии. К ним относятся перспективные линии, размер объекта, плотность текстуры, перекрытие объектов и затенение — все они дают подсказки о том, насколько далеко объекты находятся от камеры.

Эти сигналы работают вместе, создавая ощущение глубины. Объекты, которые кажутся меньше или частично перекрыты, часто находятся дальше, в то время как более четкие детали и большие визуальные размеры обычно указывают на то, что объект ближе.

Чтобы изучить эти закономерности, модели монокулярной глубины обучаются на крупномасштабных наборах данных изображений, часто дополненных информацией о глубине, полученной из других источников, таких как LiDAR или стереосистемы. В процессе обучения модели узнают, как визуальные сигналы связаны с глубиной, что позволяет им делать выводы о расстоянии по одному изображению во время инференса.

Благодаря разнообразным обучающим данным современные модели зрения могут обобщать полученные знания в широком спектре сред, включая внутренние и внешние сцены, а также работать с незнакомыми ракурсами.

Link to this sectionОбзор различных методов монокулярной оценки глубины#

Далее мы рассмотрим основные подходы, используемые для оценки глубины по одному изображению, и узнаем, как эти методы развивались с течением времени.

Link to this sectionКлассические и геометрические подходы#

Ранние методы оценки глубины опирались на прямые визуальные правила, связанные с геометрией камеры. Для оценки расстояния использовались такие подсказки, как перспектива, размер объекта и перекрытие одного объекта другим.

Например, когда два похожих объекта казались разными по размеру, предполагалось, что меньший из них находится дальше. Эти подходы работали довольно хорошо в контролируемых условиях, где такие факторы, как освещение, положение камеры и планировка сцены, оставались неизменными.

Однако в реальных сценах эти предположения часто не работают. Изменения освещения, смена ракурса и повышенная сложность сцены могут привести к ненадежным оценкам глубины, что ограничивает эффективность классических методов в неконтролируемых условиях.

Link to this sectionРанние подходы машинного обучения#

Ранние методы машинного обучения внесли больше гибкости в оценку глубины, изучая закономерности непосредственно из данных. Вместо того чтобы полагаться только на фиксированные геометрические правила, эти модели пытались выучить связь между визуальной информацией и расстоянием, рассматривая прогнозирование глубины как задачу регрессии на основе таких признаков, как края, текстуры и изменения цвета.

Выбор этих признаков был ключевой частью процесса. Инженеры должны были решать, какие визуальные сигналы извлекать и как их представлять, и производительность модели сильно зависела от этого выбора.

Хотя этот подход работал лучше, чем более ранние методы, у него все еще были ограничения. Если выбранным признакам не хватало важного контекста, прогнозы глубины были менее точными. По мере того как сцены становились более сложными и разнообразными, эти модели часто с трудом выдавали надежные результаты.

Link to this sectionАлгоритмы глубокого обучения#

В большинстве современных систем монокулярной оценки глубины используется глубокое обучение, которое подразумевает нейронные сети со многими слоями, способные изучать сложные закономерности из данных. Эти модели учатся предсказывать глубину непосредственно по изображениям и создавать карты глубины.

Многие подходы построены с использованием сверточных нейронных сетей (CNN) — типа нейронных сетей, предназначенных для обработки изображений путем обнаружения таких закономерностей, как края и формы. Эти модели часто используют архитектуру «энкодер-декодер»: энкодер извлекает визуальные признаки из изображения, а декодер преобразует эти признаки в карту глубины. Обработка изображения в нескольких масштабах помогает модели улавливать общую планировку сцены, сохраняя при этом четкие границы объектов.

Более современные модели фокусируются на понимании связей между различными частями изображения. Модели на основе Transformer и Vision Transformer (ViT) используют механизмы внимания, которые позволяют модели определять, какие области изображения наиболее важны, и соотносить удаленные области друг с другом. Это помогает модели выстраивать более согласованное понимание глубины по всей сцене.

Некоторые системы объединяют обе идеи. Гибридные модели CNN-Transformer используют CNN для улавливания мелких локальных деталей, а Transformers — для моделирования глобального контекста сцены. Хотя это часто повышает точность, обычно требуются большие вычислительные ресурсы, например, дополнительная память и мощность процессора.

Link to this sectionПочему понимание глубины важно для систем зрения на основе ИИ#

Изучая монокулярную оценку глубины, ты, возможно, задаешься вопросом, почему понимание глубины является такой важной частью систем ИИ на основе зрения.

Когда система может оценить, как далеко находятся объекты и поверхности, она лучше понимает, как устроена сцена и как различные элементы связаны друг с другом. Такая пространственная осведомленность необходима для принятия надежных решений, особенно в реальных приложениях, таких как автономное вождение.

Информация о глубине также добавляет ценный контекст к другим задачам компьютерного зрения. Например, обнаружение объектов, поддерживаемое такими моделями, как Ultralytics YOLO26, может подсказать системе, что присутствует в сцене, но глубина помогает ответить на вопрос, где эти объекты расположены относительно камеры и друг друга.

Вместе эти возможности позволяют создавать широкий спектр приложений ИИ в области зрения, таких как построение 3D-карт, навигация в сложных условиях и понимание сцены в целом.

Роботы и автономные транспортные средства зависят от этой информации, чтобы безопасно перемещаться, избегать препятствий и реагировать на изменения в режиме реального времени. Например, подход Tesla’s vision-only driving опирается на изображения с камер в сочетании с оценкой глубины, а не на LiDAR, чтобы понимать, как далеко находятся объекты и как они расположены на дороге.

Link to this sectionКак работают модели монокулярной оценки глубины#

Хотя архитектуры моделей различаются, большинство моделей монокулярной оценки глубины следуют схожему процессу преобразования одного изображения в карту глубины. Вот краткий обзор основных этапов:

• Ввод и предобработка: Рабочий процесс начинается с входного изображения. Перед подачей в модель исходное изображение обычно масштабируется, нормализуется и преобразуется в тензор — формат, который нейронные сети используют для эффективной обработки данных изображений.
• Извлечение признаков: Сеть энкодера анализирует изображение для извлечения значимых визуальных признаков. Эти признаки фиксируют такую информацию, как текстуры, границы объектов и общая планировка сцены. Большинство моделей работают в нескольких масштабах, чтобы понимать как мелкие детали, так и глобальную структуру.
• Рассуждение о глубине: Используя извлеченные признаки, модель объединяет локальные детали с глобальным контекстом для оценки пространственных отношений в сцене. На этом этапе она узнает, какие области изображения находятся ближе к камере, а какие — дальше.
• Генерация карты глубины: Затем декодер преобразует эту информацию в плотную карту глубины. Каждому пикселю изображения присваивается значение глубины, часто путем смешивания прогнозов из разных масштабов для повышения точности и согласованности.

Link to this sectionКак обучаются модели монокулярной оценки глубины#

Процесс, который мы только что обсудили, предполагает, что у нас уже есть обученная или предобученная модель. Но как на самом деле работает обучение модели монокулярной оценки глубины?

Обучение начинается с подготовки данных изображений, чтобы сеть могла эффективно их обрабатывать. Входные изображения масштабируются и нормализуются до единого размера, а затем пропускаются через модель для создания прогнозируемой карты глубины, оценивающей расстояние для каждого пикселя.

Затем прогнозируемая карта глубины сравнивается с эталонными данными глубины с помощью функции потерь, которая измеряет, насколько прогноз модели отличается от истинной глубины. Это значение потерь представляет собой текущую ошибку модели и служит сигналом для улучшения.

Оптимизатор использует этот сигнал для обновления модели путем корректировки ее внутренних весов. Для этого оптимизатор вычисляет градиент, который описывает, как потери изменяются по отношению к каждому параметру модели, и применяет эти обновления многократно в течение нескольких эпох, или полных проходов через обучающий набор данных.

Этот итеративный процесс обучения с учителем направляется гиперпараметрами, такими как скорость обучения, которая контролирует размер каждого шага обновления, и размер пакета (batch size), определяющий, сколько изображений обрабатывается за один раз. Поскольку обучение включает огромное количество математических операций, оно обычно ускоряется с помощью графического процессора (GPU), который отлично подходит для параллельных вычислений.

После завершения обучения модель оценивается с помощью стандартных метрик оценки на валидационном наборе данных, состоящем из изображений, которые не использовались при обучении. Эта оценка помогает измерить, насколько хорошо модель обобщает знания на новые данные.

Обученную модель затем можно повторно использовать или дообучить для новых сценариев. В целом, этот процесс обучения позволяет моделям монокулярной оценки глубины создавать согласованные оценки глубины, которые необходимы для последующих задач, таких как 3D-реконструкция и развертывание в реальных условиях.

Link to this sectionИзучение современных моделей и тенденций исследований#

Монокулярная оценка глубины быстро улучшается по мере того, как модели учатся лучше понимать сцены целиком, а не просто мелкие визуальные детали. Более ранние подходы часто создавали неровные карты глубины, особенно в сложных условиях.

Более новые модели, как видно из недавних исследований, опубликованных на arXiv, больше фокусируются на глобальном контексте, что приводит к прогнозам глубины, которые выглядят более стабильными и реалистичными. Известные модели, такие как MiDaS и DPT, способствовали этому сдвигу, обучаясь глубине на разнообразных наборах данных высокого разрешения и хорошо обобщая знания на многих сценах.

Более современные модели, включая ZoeDepth и Depth Anything V2, развивают эту работу, улучшая масштабную согласованность при сохранении высокой производительности в широком диапазоне условий. Этот тип прогресса часто измеряется с использованием общих бенчмарков, таких как KITTI и NYU, которые охватывают как внешние, так и внутренние сцены.

Еще одна четкая тенденция — баланс между точностью и практичностью. Более компактные модели оптимизированы для скорости и могут работать в реальном времени на периферийных или мобильных устройствах, в то время как более крупные модели отдают приоритет более высокому разрешению и точности определения глубины на больших дистанциях.

Link to this sectionПрименения монокулярной оценки глубины#

Далее давай разберем несколько примеров из реальной жизни, которые показывают, как монокулярная оценка глубины используется для анализа 3D-структуры сцены по одному изображению.

Во всех этих случаях важно помнить, что информация о глубине — это оценка, выведенная из визуальных сигналов, а не точное измерение. Это делает монокулярную оценку глубины полезной для понимания относительной планировки и пространственных отношений, но не заменой датчиков, предназначенных для точного измерения расстояния, таких как LiDAR или стереосистемы.

Link to this sectionКартографирование местности и навигация на базе дронов#

Дроны часто работают в условиях, где сигналы GPS ненадежны, например, в лесах, на строительных площадках, в зонах стихийных бедствий или плотной городской застройке. Чтобы безопасно летать в таких условиях, им нужно понимать окружающую местность и знать, как далеко находятся препятствия. В прошлом для этого обычно требовалось добавление датчиков, таких как LiDAR или стереокамеры, которые увеличивают вес, энергопотребление и общую стоимость.

Монокулярная оценка глубины — более простая альтернатива. Используя только одну RGB-камеру, дроны могут оценивать глубину по изображениям и строить базовое 3D-понимание своей среды. Это позволяет им обнаруживать препятствия, такие как здания, деревья или внезапные изменения рельефа, и корректировать траекторию полета в режиме реального времени.

Эти оценки глубины поддерживают ключевые задачи навигации, включая обход препятствий, контроль высоты и безопасную посадку. В результате легкие дроны могут выполнять задачи картографирования, инспекции и навигации, не полагаясь на специализированные датчики глубины.

Рис 2. Монокулярная оценка глубины может использоваться для анализа аэрофотоснимков с дрона (Источник)

Link to this sectionЗаполнение «слепых зон» для автономных гоночных автомобилей#

Автономные транспортные средства обычно сильно полагаются на датчики LiDAR, которые используют лазерные импульсы для измерения расстояния и построения 3D-вида дороги. Хотя они очень точны, LiDAR может испытывать трудности с резкими гребнями дорог, крутыми склонами, перекрытием обзора или внезапным наклоном автомобиля, иногда возвращая разреженные или отсутствующие данные о глубине.

Монокулярная оценка глубины может помочь заполнить эти пробелы, предоставляя плотную информацию о глубине по одному RGB-изображению, даже когда данные LiDAR неполны. Рассмотрим сценарий, в котором беспилотный автомобиль на скорости приближается к вершине холма. Лучи LiDAR могут пролететь над дорогой за гребнем, оставляя неопределенность относительно того, что находится впереди.

Оценка глубины на основе камер, однако, может по-прежнему определять форму дороги по визуальным сигналам, таким как перспектива и текстура, помогая автомобилю поддерживать надежное восприятие, пока данные LiDAR не стабилизируются. Вместе LiDAR и монокулярная оценка глубины обеспечивают более стабильное восприятие и безопасное управление в сложных дорожных условиях.

Рис 3. Визуализация использования монокулярной оценки глубины для автономных гонок (Источник)

Link to this sectionРоботизированная навигация и обход препятствий#

Роботы часто работают в местах, где подробные карты недоступны, а условия постоянно меняются. Чтобы безопасно перемещаться, им нужно надежное представление о том, сколько места вокруг них и где расположены препятствия.

Монокулярная оценка глубины может обеспечить это пространственное понимание с помощью одной RGB-камеры, не полагаясь на тяжелое или дорогое оборудование. Изучая визуальные сигналы, такие как масштаб и перспектива, модели оценки глубины могут генерировать плотные карты глубины окружающей среды. Это дает роботам четкое представление о расстоянии до поверхностей и объектов.

В частности, когда информация о глубине сочетается с задачами компьютерного зрения, такими как обнаружение объектов и семантическая сегментация, роботы могут получить более полное представление о своей среде. Они могут идентифицировать объекты, понимать расстояние до них и решать, где безопасно перемещаться. Это поддерживает обход препятствий, обнаружение свободного пространства и планирование пути в реальном времени.

Рис 4. Обнаружение объектов с использованием монокулярной оценки глубины и обнаружения объектов (Источник)

Link to this sectionПлюсы и минусы монокулярной оценки глубины#

Вот некоторые из основных преимуществ использования монокулярной оценки глубины:

• Легкость и энергоэффективность: Использование одной камеры снижает вес системы и энергопотребление, что особенно важно для мобильных роботов, дронов и встраиваемых систем.
• Подходит для слияния датчиков: Монокулярная глубина может дополнять другие датчики, такие как LiDAR или радар, заполняя пробелы или обеспечивая избыточность.
• Работает в различных условиях: Тот же подход на основе камер можно использовать в помещениях, на открытом воздухе и на различных платформах без необходимости изменения оборудования.

Хотя монокулярная оценка глубины предлагает явные преимущества, вот некоторые ограничения, которые стоит учитывать:

• Меньшая точность, чем у активных датчиков: Несмотря на быстрое совершенствование, монокулярная оценка глубины в целом не может сравниться с абсолютной точностью LiDAR или датчиков структурированного света в контролируемых условиях.
• Чувствительность к условиям освещения: Производительность может снижаться в условиях низкой освещенности, при резких тенях, бликах или сценах с плохой текстурой.
• Проблемы с обобщением: Модель, обученная в одной среде, не всегда может надежно переноситься в другие условия без адаптации или дообучения.

Link to this sectionКогда не стоит полагаться на монокулярную оценку глубины#

Хотя монокулярная оценка глубины — интересная область исследований, важно понимать, где ее можно практически использовать, а где нет. Расстояния, которые она выдает, — это оценки, основанные на том, что модель видит на изображении, а не точные измерения, взятые в реальном мире.

Из-за этого качество результатов может меняться в зависимости от факторов, таких как освещение, сложность сцены и то, насколько сцена похожа на ту, на которой обучалась модель. Монокулярная оценка глубины обычно хорошо справляется с тем, чтобы определить, что находится ближе, а что дальше, но она ненадежна, когда нужны точные расстояния.

В ситуациях, где точность действительно важна, например, в критически важных системах безопасности, промышленной инспекции или роботах, которым необходимо очень точно взаимодействовать с объектами, глубину нужно измерять напрямую. Датчики, такие как LiDAR, радар, стереокамеры или системы структурированного света, разработаны для этого и обеспечивают гораздо более надежную информацию о расстоянии.

Монокулярная оценка глубины также может испытывать трудности в визуально сложных условиях. Плохое освещение, сильные тени, отражающие или прозрачные поверхности, туман, дым или сцены с очень малым количеством визуальных текстур — все это может сделать оценки глубины менее надежными. Оценка глубины на больших расстояниях — еще один случай, когда специализированные датчики обычно работают лучше.

Когда дело доходит до реальных решений, монокулярная оценка глубины лучше всего работает как вспомогательный инструмент, а не как самостоятельное решение. Она может добавить полезный пространственный контекст, помочь заполнить пробелы, когда другие датчики ограничены, и улучшить общее понимание сцены. Однако она не должна быть единственным источником информации о глубине, когда важны точность, безопасность или строгие требования к надежности.

Link to this sectionОсновные выводы#

Монокулярная оценка глубины — это метод компьютерного зрения, который позволяет машинам оценивать расстояние до объектов, используя только одно изображение с камеры. Изучая визуальные признаки, такие как перспектива, размер объекта, текстура и затенение, эти модели AI могут определять 3D-структуру сцены, не полагаясь на такие датчики, как LiDAR или стереокамеры. Это делает монокулярную оценку глубины экономически эффективным и масштабируемым подходом для таких приложений, как автономное вождение, робототехника и 3D-понимание сцены.

Чтобы узнать больше о Vision AI, посети наш GitHub repository и присоединяйся к нашему community. Ознакомься с нашими страницами решений, чтобы узнать об AI in robotics и computer vision in manufacturing. Изучи our licensing options, чтобы начать работу с компьютерным зрением уже сегодня!