Scene Flow

장면 플로는 장면의 3차원 움직임 필드입니다. 즉, 보이는 모든 표면 지점에 대해 한 프레임에서 해당 지점의 위치와 다음 프레임에서의 위치를 잇는 3D 벡터입니다. Carnegie Mellon University의 Sundar Vedula, Simon Baker와 동료들은 1999년 논문 3차원 장면 플로에서 이 용어를 도입하고 옵티컬 플로의 3D 대응 개념으로 정의했습니다. 장면 플로는 기하 정보와 움직임을 결합하므로 컴퓨터 비전 시스템에 각 지점의 위치와 미터 단위의 이동 속도를 알려주며, 카메라 쪽으로 다가오는지 멀어지는지도 나타냅니다. 따라서 차가 출발하거나 사람이 경로에 들어서는 움직임을 인식해야 하는 자율 주행 차량과 로보틱스에서 핵심 신호로 활용됩니다.

장면 플로와 옵티컬 플로 비교#

옵티컬 플로는 장면 플로를 이미지 평면에 투영한 것으로, 각 픽셀이 좌우 또는 위아래로 얼마나 이동하는지만 기록하며 카메라 시선 방향의 움직임은 나타내지 않습니다. 따라서 옵티컬 플로가 동일한 두 물체도 실제 움직임은 매우 다를 수 있습니다. 장면 플로는 두 시점의 깊이 추정을 사용해 누락된 성분을 복원하며, 각 픽셀을 시선에 따라 측정된 깊이까지 역투영합니다.

import numpy as np

K_inv = np.linalg.inv(np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]))  # inverse camera intrinsics

# Two objects with identical optical flow: each moves from pixel (400, 240) to (410, 240) in 0.1 s
for name, depth_before, depth_after in [("cyclist crossing", 8.0, 8.0), ("car approaching", 8.0, 6.0)]:
    # Back-project each pixel along its viewing ray to the measured depth
    before = depth_before * K_inv @ np.array([400, 240, 1.0])
    after = depth_after * K_inv @ np.array([410, 240, 1.0])

    # Scene flow is the 3D displacement of the same surface point
    flow = after - before
    print(f"{name}: scene flow {flow.round(2)} m, speed {np.linalg.norm(flow) / 0.1:.1f} m/s")

두 물체 모두 오른쪽으로 10픽셀 이동하지만, 자전거 운전자는 초속 1.6m로 옆 방향으로 0.16m 이동하는 반면 자동차는 초속 20.1m로 0.1초 만에 2m 가까워집니다. 6m 떨어진 곳에서 초속 20m로 접근하는 자동차는 0.3초 후 카메라에 도달합니다.

장면 플로는 객체 정체성을 경계 상자로 추적하는 객체 추적이나 여러 프레임에서 선택된 2D 지점을 추적하는 점 추적과도 다릅니다. Ultralytics YOLO 속도 추정은 2D 추적 수준에서 작동합니다. 추적되는 각 상자를 따라가고 전체 시야에 하나의 픽셀당 미터 비율을 적용해 픽셀 변위를 km/h로 환산합니다. 카메라가 도로를 내려다보고 차량이 이미지와 평행하게 움직이는 경우에 적합한 방식입니다.

장면 플로 추정 방법#

사용하는 입력에 따라 방법이 결정됩니다. 스테레오 카메라는 두 시점의 시차와 프레임 간 옵티컬 플로를 제공하며, 이는 Moritz Menze와 Andreas Geiger가 2015년 도로 장면 학습 200개와 테스트 장면 200개로 공개한 KITTI 장면 플로 벤치마크의 구성입니다. RGB-D 카메라와 LiDAR는 점군 두 개를 제공하며, 이를 센서 융합을 통해 카메라 이미지와 결합하는 경우가 많습니다. FlowNet3D와 같은 네트워크는 점군 간 점 대응을 직접 학습합니다. 단일 카메라에서는 각 프레임 쌍에 대해 학습된 단안 깊이와 옵티컬 플로를 사용합니다.

카메라가 움직이면 정적인 지점도 모두 움직이는 것처럼 보이므로, 전체 시스템은 일반적으로 시각적 SLAM이나 오도메트리로 자차 움직임도 추정하고 그 움직임과 플로가 일치하지 않는 지점을 독립적으로 움직이는 것으로 처리합니다. 주행 장면은 대부분 강체로 구성되므로 Menze와 Geiger의 객체 장면 플로 및 RAFT-3D와 같은 방법은 픽셀을 몇 개의 강체 이동 객체로 묶습니다. 이를 통해 질감이 없는 차체에서도 추정이 안정적으로 이루어집니다. 프레임 사이에 나타나거나 사라지는 지점은 측정할 대응 지점이 없으므로 가림 현상이 가장 어려운 사례입니다.

실제 센서로는 밀집된 정답 데이터를 수집할 수 없으므로 딥러닝 모델의 학습은 합성 데이터에 크게 의존합니다. FlyingThings3D를 포함한 Freiburg 장면 플로 데이터셋은 정확한 시차, 옵티컬 플로, 시차 변화를 가진 스테레오 프레임 수만 개를 렌더링합니다. FlyingThings3D만으로 학습된 FlowNet3D는 실제 KITTI LiDAR 스캔에도 전이되었습니다.

실제 적용 사례#

• 모바일 로봇: 사람과 함께 창고와 보도를 사용하는 로봇은 주변 장애물의 3D 움직임을 활용해 1초 뒤 위치를 예측하고 경로를 재계획합니다.
• 동적 장면 재구성: 4D 가우시안 스플래팅과 동적 신경 복사장은 각 점 또는 가우시안이 시간에 따라 움직이는 방식을 학습해 움직이는 장면을 모델링합니다. 이렇게 학습된 장면 흐름을 사용하면 녹화된 동영상을 새로운 시점에서 재생할 수 있습니다.
• 자율 주행: LiDAR 장면 플로는 연속 스캔 사이에서 움직이는 차량과 보행자를 정적인 배경과 구분합니다. Waymo Open Dataset은 2021년에 장면 플로 라벨을 추가했으며, 이전 실제 장면 플로 데이터셋보다 주석이 달린 프레임이 약 1,000배 많습니다.