Scene Flow

Поток сцены — это трехмерное поле движения динамичной сцены с течением времени. Он описывает, как видимые точки перемещаются в реальном трехмерном пространстве между кадрами, включая боковое, вертикальное движение и движение к камере или от нее. В computer vision поток сцены помогает системам понимать не только то, что движется на изображении, но и то, как фактически меняется окружающая геометрия.

Как поток сцены представляет 3D-движение#

Оценка потока сцены связывает с каждой наблюдаемой точкой сцены вектор трехмерного смещения или скорости. Например, если пешеход идет по дороге, приближаясь к камере, соответствующие векторы описывают как боковое движение, так и уменьшающееся расстояние до камеры.

Это отличается от optical flow, который представляет видимое движение пикселей по плоскости двухмерного изображения. Как поясняется в Carnegie Mellon Scene Flow project, optical flow можно понимать как проекцию 3D-потока сцены на изображение с камеры. Следовательно, две точки могут иметь похожее движение на изображении, двигаясь при этом по-разному по глубине.

Плотный поток сцены оценивает движение для большинства видимых точек, в то время как разреженный поток сцены охватывает отдельные признаки, отслеживаемые точки или отражения LiDAR. Плотный вывод предоставляет более богатые геометрические детали, но требует больших вычислительных затрат и надежного соответствия между кадрами.

Поток сцены и связанные концепции компьютерного зрения#

Поток сцены объединяет пространственную структуру с временным движением, занимая промежуточное положение между несколькими связанными задачами:

• Optical flow estimation with OpenCV: Оценивает горизонтальное и вертикальное смещение пикселей. Этот метод не может самостоятельно определить, перемещался ли объект по глубине или кажущееся движение было вызвано камерой.
• Depth estimation: Определяет, как далеко поверхности находятся от камеры, обычно для одного кадра. Поток сцены дополнительно описывает, как эти трехмерные положения меняются со временем.
• Stereo vision: Использует соответствующие пиксели с синхронизированных камер для восстановления глубины. В OpenCV stereo depth workflow объясняется, как разница между видами поддерживает 3D-реконструкцию.
• Object tracking: Сохраняет идентификаторы объектов между кадрами, обычно используя ограничивающие прямоугольники или маски. Поток сцены вместо этого оценивает движение на уровне точек или пикселей и может представлять разные движения внутри одного деформирующегося объекта.
• Движение облаков точек: Системы LiDAR и RGB-D могут оценивать поток сцены напрямую между наборами 3D-точек. В Open3D point-cloud guide представлено геометрическое представление, используемое во многих таких конвейерах.

Поток сцены также зависит от геометрии камеры. Точная OpenCV camera calibration помогает отделить фактическое движение сцены от изменений, вызванных вращением камеры, ее перемещением или дисторсией объектива.

Реальные приложения#

• Автономное вождение: Система восприятия может оценить, перестраивается ли соседний автомобиль, быстро приближается или движется в потоке. В отличие от чисто двумерного движения, поток сцены поддерживает прогнозирование времени до столкновения, так как включает перемещение вдоль оси глубины. Он может дополнять компоненты обнаружения, отслеживания и оценки глубины в automotive computer vision solutions. В KITTI scene flow benchmark показана оценка на дорожных сценариях, содержащих движение камеры и независимо движущиеся объекты, в то время как NHTSA automated vehicle safety guidance дает более широкий контекст для систем восприятия с упором на безопасность.

• Робототехника: Мобильный робот может использовать поток сцены, чтобы отличить неподвижную полку от двигающегося работника, оценить трехмерную траекторию препятствия и обновить свой путь до того, как произойдет столкновение. В robotics vision solutions эту информацию можно объединять с данными с камер, датчиков глубины и LiDAR. В ROS sensor message documentation определены общие интерфейсы для обмена изображениями, информацией о камерах и облаками точек между компонентами робота.

Проблемы оценки и данные#

Поток сцены может быть получен из стереовидео, RGB-D камер, последовательностей LiDAR или монокулярного видео с помощью обученных признаков глубины и движения. Стереодатчики и датчики активной глубины обеспечивают более точные геометрические измерения, тогда как монокулярным системам приходится выводить масштаб и разрешать неопределенности из визуального контекста.

К числу распространенных случаев сбоев относятся окклюзии, размытие в движении, отражающие поверхности, лишенные текстуры участки, тонкие структуры, меняющееся освещение и быстрое движение между кадрами. Движение камеры создает дополнительную сложность, поскольку системе необходимо разделять собственное движение и независимо движущиеся объекты. Ошибки могут привести к неверным трехмерным траекториям, из-за чего последующие системы навигации или предсказания столкновений неверно оценят скорость и расстояние.

Обучающие данные могут включать RGB-кадры, карту глубины или диспаратности, optical flow, сегментацию и параметры камеры. Наборы данных Freiburg Scene Flow datasets демонстрируют, как эти дополняющие друг друга метки могут описывать геометрию и движение в комплексе.

Практический рабочий процесс#

Ultralytics YOLO26 может предоставить компонент глубины для конвейера потока сцены с помощью своей документированной задачи monocular depth estimation task. Следующий пример создает плотную карту глубины для одного кадра:

from ultralytics import YOLO

# Estimate the scene's per-pixel 3D structure.
model = YOLO("yolo26n-depth.pt")
results = model("https://ultralytics.com/images/bus.jpg")

result = results[0]
result.save(filename="depth_result.jpg")

print(result.depth.data.shape)

Этот рабочий процесс YOLO26 не вычисляет поток сцены сам по себе. Он предоставляет попиксельную глубину, которую полный конвейер может объединить с последовательными кадрами, временными соответствиями и откалиброванными позами камеры для оценки трехмерного смещения. На практике команды должны проверять каждый компонент по отдельности, прежде чем оценивать поле движения целиком, особенно в зонах окклюзий и границ глубины.