Depth Bleeding

Просачивание глубины — это артефакт карты глубины, при котором оценённое расстояние ошибочно распространяется через границу между двумя поверхностями. Например, пиксели, принадлежащие человеку, находящемуся рядом, могут получить значение глубины дальней стены, или глубина человека может распространиться на фон. Это важно для оценки глубины, где каждый пиксель должен описывать расстояние от камеры до соответствующей видимой поверхности.

Артефакт наиболее заметен в местах разрывов глубины — там, где один объект закрывает другой объект, находящийся на существенно ином расстоянии. Вместо сохранения резкого перехода карта глубины создаёт смещённую границу, полосу смешанных значений или форму переднего плана, которая выглядит шире или уже, чем на самом деле.

Как возникает просачивание глубины#

Просачивание глубины может влиять на карты глубины, создаваемые нейронными сетями, системами стереовидения, камерами со структурированным светом, датчиками времени пролёта и системами на основе LiDAR. К распространённым причинам относятся:

• Предсказание глубины в низком разрешении с последующей обычной интерполяцией
• Пространственное сглаживание, устраняющее тонкие структуры и резкие границы
• Функции потерь, в которых преобладают большие однородные области, а не узкие границы
• Неоднозначное сопоставление в стереосистемах вокруг перекрытий или текстурно однородных поверхностей
• Несовпадение между изображениями RGB и эталонными метками глубины
• Измерения датчика, объединяющие отражения от переднего и заднего планов

В стереосистемах окна сопоставления могут охватывать пиксели по обе стороны границы объекта. В руководстве по постфильтрации карт диспарантности в OpenCV объясняется, что ошибки обычно концентрируются вблизи разрывов глубины и частично перекрытых областей.

Передискретизация может вызвать похожую проблему. Пиксель глубины в низком разрешении может представлять несколько поверхностей, а простая билинейная интерполяция смешивает его значение со значениями соседних пикселей. Фильтрация с учётом границ или направляемая фильтрация может уменьшить этот эффект, хотя границы цветов не всегда являются настоящими границами глубины. В рабочем процессе с облаком точек ARKit от Apple демонстрируется направляемое увеличение карты глубины сцены в низком разрешении.

Связанные термины и ключевые различия#

Просачивание глубины пересекается с несколькими другими проблемами качества глубины, но каждая из них описывает свой характер отказа:

• Размытие границы: Резкий переход становится постепенным. Просачивание глубины означает именно переход ошибочного значения на другую поверхность; размытая граница может заметно менять или не менять кажущуюся форму объекта.
• Летающие пиксели: Вокруг силуэтов появляются изолированные нестабильные 3D-точки, часто потому, что измерение датчика смешивает две поверхности. Просачивание обычно образует более непрерывную область или полосу.
• Смешение глубины: Значения глубины отдельных объектов перекрываются или становятся трудноразличимыми, тогда как просачивание подчёркивает распространение значения одной поверхности на другую.
• Копирование текстуры: Текстура RGB ошибочно воспроизводится как геометрическая деталь, когда уточнение глубины с учётом цвета принимает каждую границу изображения за границу глубины.
• Утечка данных: Несвязанная проблема машинного обучения, при которой во время обучения неправильно используется информация, недоступная при выводе в реальных условиях.

Просачивание глубины также может влиять на карты диспарантности. В документации Apple по глубине и диспарантности объясняется, как стереосопоставление и параллакс используются для определения относительного расстояния.

Влияние в реальных условиях#

• Роботизированный захват: Складской робот может использовать глубину для определения края коробки и выбора точки захвата. Если глубина полки на заднем плане просачивается в коробку, восстановленная форма может выглядеть вогнутой или слишком узкой, что приведёт к неправильному размещению захвата. Это особенно важно для компьютерного зрения в робототехнике, где небольшие геометрические ошибки могут влиять на физические действия.

• Автономное вождение: Просачивание вокруг пешехода, велосипедиста или автомобиля может исказить расстояние до препятствия и форму созданного облака точек. В результате последующая детекция 3D-объектов может неточно оценить размеры или местоположение объекта. Бенчмарк компьютерного зрения KITTI содержит реальные дорожные сцены с данными камер и датчиков, связанными с глубиной, для оценки таких систем.

Просачивание глубины также важно для дополненной реальности. Неправильные границы могут заставить виртуальный объект выглядеть расположенным перед реальной мебелью, хотя он должен быть скрыт за ней. Поэтому полезно учитывать уверенность датчика: карта уверенности глубины ARKit от Apple присваивает информацию об уверенности измерениям глубины, особенно вблизи сложных отражающих или поглощающих свет поверхностей.

Проверка предсказаний глубины#

Задача оценки глубины Ultralytics YOLO создаёт плотную карту глубины, выровненную с входным изображением. Короткий рабочий процесс предсказания упрощает визуальную проверку границ переднего и заднего планов:

from ultralytics import YOLO

# Load a pretrained Ultralytics YOLO26 depth model
model = YOLO("yolo26n-depth.pt")

# Predict, select the first result, and save its visualization
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

result.save(filename="depth_result.jpg")

Этот рабочий процесс YOLO26 сохраняет визуальный результат, который можно проверить на наличие ореолов, раздутых силуэтов, пропущенных промежутков и смягчённых границ. Для более комплексного тестирования в руководстве Ultralytics по датасетам глубины объясняется формат парных данных RGB и глубины для каждого пикселя, а оценка глубины iBims-1 специально сосредоточена на резких переходах и плоских поверхностях. Официальный бенчмарк iBims-1 особенно полезен, поскольку средняя ошибка по всему изображению может скрывать узкие, но важные для работы дефекты границ.

Обнаружение и снижение риска#

Эффективное устранение проблемы начинается с тщательно выровненных меток глубины высокого разрешения. К полезным методам относятся функции потерь с учётом границ, многоштабные признаки, уточнение с учётом сегментации, фильтрация по уверенности и проверка на тонких объектах и выраженных переходах между передним и задним планами. Если доступна информация об уверенности датчика, пиксели границ с низкой уверенностью можно отбрасывать или обрабатывать отдельно, а не сглаживать вслепую. Однако фильтрацию необходимо тщательно оценивать, поскольку в рекомендациях Apple по фильтрованным данным глубины отмечается, что сглаживание и заполнение отверстий изменяют исходные измерения.

Командам следует сопоставлять границы RGB с разрывами глубины, проверять восстановленные облака точек и отслеживать производственные сцены с большим количеством границ, а не полагаться только на средние метрики по пикселям. Рабочий процесс валидации Ultralytics поддерживает систематическую оценку моделей, а Ultralytics Platform предоставляет инструменты для управления датасетами, обучения моделей, развёртывания рабочих процессов и мониторинга систем компьютерного зрения.