Scene Flow

Scene flow es el campo de movimiento tridimensional de una escena dinámica a lo largo del tiempo. Describe cómo se mueven los puntos visibles en el espacio 3D del mundo real entre fotogramas, incluyendo el movimiento lateral, vertical y de acercamiento o alejamiento de la cámara. En computer vision, el scene flow ayuda a los sistemas a entender no solo qué parece moverse en una imagen, sino cómo cambia realmente la geometría circundante.

Cómo representa el scene flow el movimiento 3D#

Una estimación de scene flow asigna un vector de desplazamiento o velocidad 3D a cada punto observado de la escena. Por ejemplo, si un peatón cruza una carretera mientras se acerca a una cámara, los vectores correspondientes describen tanto el movimiento lateral como la distancia decreciente a la cámara.

Esto difiere del optical flow, que representa el movimiento aparente de los píxeles en el plano de la imagen bidimensional. Como explica el Carnegie Mellon Scene Flow project, el optical flow se puede entender como la proyección del scene flow 3D sobre la imagen de una cámara. En consecuencia, dos puntos pueden tener un movimiento de imagen similar mientras se mueven de forma diferente en profundidad.

El scene flow denso estima el movimiento para la mayoría de los puntos visibles, mientras que el scene flow disperso cubre características seleccionadas, puntos rastreados o retornos de LiDAR. La salida densa proporciona un mayor detalle geométrico, pero requiere más cómputo y una correspondencia fiable entre fotogramas.

Scene flow frente a conceptos de visión relacionados#

El scene flow combina la estructura espacial con el movimiento temporal, situándose entre varias tareas relacionadas:

• Optical flow estimation with OpenCV: Estima el desplazamiento horizontal y vertical de los píxeles. No puede determinar de forma independiente si un objeto se movió a través de la profundidad o si la cámara causó el movimiento aparente.
• Depth estimation: Determina a qué distancia se encuentran las superficies de la cámara, normalmente para un solo fotograma. El scene flow describe además cómo cambian esas posiciones 3D a lo largo del tiempo.
• Stereo vision: Utiliza píxeles correspondientes de cámaras sincronizadas para recuperar la profundidad. El OpenCV stereo depth workflow explica cómo la disparidad entre vistas favorece la reconstrucción 3D.
• Object tracking: Mantiene las identidades de los objetos entre fotogramas, comúnmente mediante el uso de cuadros delimitadores (bounding boxes) o máscaras. En su lugar, el scene flow estima el movimiento a nivel de punto o píxel y puede representar diferentes movimientos dentro de un único objeto deformable.
• Movimiento de nubes de puntos: Los sistemas LiDAR y RGB-D pueden estimar el scene flow directamente entre conjuntos de puntos 3D. La Open3D point-cloud guide introduce la representación geométrica utilizada por muchos de estos pipelines.

El scene flow también depende de la geometría de la cámara. Una OpenCV camera calibration precisa ayuda a separar el movimiento real de la escena de los cambios causados por la rotación, la traslación o la distorsión de la lente de la cámara.

Aplicaciones en el mundo real#

• Conducción autónoma: Un sistema de percepción puede estimar si un vehículo cercano está cambiando de carril, acercándose rápidamente o moviéndose con el tráfico. A diferencia del movimiento 2D por sí solo, el scene flow permite el razonamiento sobre el tiempo hasta la colisión porque incluye el movimiento a lo largo del eje de profundidad. Puede complementar los componentes de detección, seguimiento y profundidad en automotive computer vision solutions. El KITTI scene flow benchmark ilustra la evaluación en escenas viales que contienen movimiento de la cámara y objetos en movimiento independiente, mientras que la NHTSA automated vehicle safety guidance ofrece un contexto más amplio para los sistemas de percepción centrados en la seguridad.

• Robótica: Un robot móvil puede utilizar el scene flow para distinguir una estantería estática de un trabajador en movimiento, estimar la trayectoria 3D de un obstáculo y actualizar su ruta antes de que se produzca una colisión. En robotics vision solutions, esta información puede combinarse con cámaras, sensores de profundidad y LiDAR. La ROS sensor message documentation define interfaces comunes para el intercambio de imágenes, información de cámaras y nubes de puntos entre componentes robóticos.

Retos de estimación y datos#

El scene flow se puede derivar a partir de vídeo estéreo, cámaras RGB-D, secuencias LiDAR o vídeo monocular con profundidad aprendida y pistas de movimiento. Los sensores estéreo y de profundidad activa proporcionan mediciones geométricas más sólidas, mientras que los sistemas monoculares deben inferir la escala y resolver las ambigüedades a partir del contexto visual.

Los casos de fallo más comunes incluyen oclusiones, desenfoque por movimiento, superficies reflectantes, regiones sin textura, estructuras delgadas, iluminación cambiante y movimiento rápido entre fotogramas. El movimiento de la cámara plantea un reto adicional porque el sistema debe separar el movimiento propio (ego-motion) de los objetos que se mueven de forma independiente. Los errores pueden producir trayectorias 3D incorrectas, lo que provoca que los sistemas posteriores de navegación o predicción de colisiones calculen mal la velocidad y la distancia.

Los datos de entrenamiento pueden incluir fotogramas RGB, profundidad o disparidad, optical flow, segmentación y parámetros de cámara. Los Freiburg Scene Flow datasets demuestran cómo estas etiquetas complementarias pueden describir la geometría y el movimiento conjuntamente.

Flujo de trabajo práctico#

Ultralytics YOLO26 puede proporcionar el componente de profundidad de un pipeline de scene flow a través de su documentada monocular depth estimation task. El siguiente ejemplo produce un mapa de profundidad denso para un fotograma:

from ultralytics import YOLO

# Estimate the scene's per-pixel 3D structure.
model = YOLO("yolo26n-depth.pt")
results = model("https://ultralytics.com/images/bus.jpg")

result = results[0]
result.save(filename="depth_result.jpg")

print(result.depth.data.shape)

Este flujo de trabajo de YOLO26 no calcula el scene flow por sí solo. Proporciona profundidad por píxel, que un pipeline completo puede combinar con fotogramas consecutivos, correspondencias temporales y posturas de cámara calibradas para estimar el desplazamiento 3D. En la práctica, los equipos deben validar cada componente por separado antes de evaluar el campo de movimiento completo, especialmente en torno a las oclusiones y los límites de profundidad.