Scene Flow

Scene flow는 시간에 따른 동적 장면에 대한 3차원 모션 필드입니다. 이는 측면, 수직, 카메라 방향 또는 카메라 반대 방향의 움직임을 포함하여 프레임 간 실제 3D 공간에서 가시적인 점들이 어떻게 이동하는지 설명합니다. computer vision에서 scene flow는 시스템이 이미지에서 무엇이 움직이는 것처럼 보이는지뿐만 아니라 주변 기하학적 구조가 실제로 어떻게 변하는지 이해하도록 돕습니다.

Scene Flow가 3D 모션을 표현하는 방식#

scene flow 추정값은 관측된 각 장면에 3D 변위 또는 속도 벡터를 할당합니다. 예를 들어, 보행자가 카메라에 접근하면서 도로를 횡단하는 경우, 해당 벡터는 측면 움직임과 카메라와의 거리 감소를 모두 설명합니다.

이는 2차원 이미지 평면에서의 겉보기 픽셀 움직임을 나타내는 optical flow와 다릅니다. Carnegie Mellon Scene Flow project에서 설명하듯이, optical flow는 3D scene flow가 카메라 이미지에 투영된 것으로 이해할 수 있습니다. 결과적으로 두 점은 깊이 방향으로 다르게 움직이면서도 유사한 이미지 움직임을 가질 수 있습니다.

Dense scene flow는 대부분의 가시적인 점에 대한 모션을 추정하는 반면, sparse scene flow는 선택된 피처, 추적된 점 또는 LiDAR 반사값을 다룹니다. Dense 출력은 더 풍부한 기하학적 세부 정보를 제공하지만 더 많은 연산과 프레임 간의 신뢰할 수 있는 대응 관계가 필요합니다.

Scene Flow 대 관련 비전 개념#

Scene flow는 공간 구조와 시간적 모션을 결합하여 여러 관련 작업의 중간 위치에 놓입니다:

• Optical flow estimation with OpenCV: 수평 및 수직 픽셀 변위를 추정합니다. 객체가 깊이를 관통해 이동했는지 아니면 카메라가 겉보기 움직임을 유발했는지 독립적으로 판단할 수 없습니다.
• Depth estimation: 일반적으로 하나의 프레임에 대해 표면이 카메라로부터 얼마나 떨어져 있는지 결정합니다. Scene flow는 추가로 이러한 3D 위치가 시간에 따라 어떻게 변화하는지 설명합니다.
• Stereo vision: 동기화된 카메라의 대응 픽셀을 사용하여 깊이를 복원합니다. OpenCV stereo depth workflow는 뷰 간의 시차가 3D 재구성을 어떻게 지원하는지 설명합니다.
• Object tracking: 일반적으로 바운딩 박스나 마스크를 사용하여 프레임 간 객체 아이덴티티를 유지합니다. 대신 scene flow는 점 또는 픽셀 수준에서 모션을 추정하며 변형되는 하나의 객체 내에서 서로 다른 모션을 나타낼 수 있습니다.
• 포인트 클라우드 모션: LiDAR 및 RGB-D 시스템은 3D 점 세트 간에서 scene flow를 직접 추정할 수 있습니다. Open3D point-cloud guide는 이러한 많은 파이프라인에서 사용되는 기하학적 표현을 소개합니다.

Scene flow는 카메라 기하학에도 의존합니다. 정확한 OpenCV camera calibration은 카메라 회전, 평행 이동 또는 렌즈 왜곡으로 인해 발생한 변화와 실제 장면의 모션을 분리하는 데 도움이 됩니다.

실제 애플리케이션 사례#

• 자율 주행: 인지 시스템은 근처 차량이 차선을 변경하고 있는지, 빠르게 접근하고 있는지, 아니면 교통 흐름에 맞춰 이동하고 있는지 추정할 수 있습니다. 2D 모션만 있는 경우와 달리 scene flow는 깊이 축을 따른 움직임을 포함하기 때문에 충돌 시간 추론을 지원합니다. 이는 automotive computer vision solutions에서 감지, 추적 및 깊이 컴포넌트를 보완할 수 있습니다. KITTI scene flow benchmark는 카메라 모션과 독립적으로 움직이는 객체가 포함된 도로 장면에서의 평가를 보여주며, NHTSA automated vehicle safety guidance는 안전 중심 인지 시스템에 대한 더 넓은 맥락을 제공합니다.

• 로보틱스: 모바일 로봇은 scene flow를 사용하여 정지된 선반과 움직이는 작업을 구별하고, 장애물의 3D 궤적을 추정하며, 충돌이 발생하기 전에 경로를 업데이트할 수 있습니다. robotics vision solutions에서 이 정보는 카메라, 깊이 센서, LiDAR와 결합될 수 있습니다. ROS sensor message documentation은 로봇 컴포넌트 간에 이미지, 카메라 정보, 포인트 클라우드를 교환하기 위한 공통 인터페이스를 정의합니다.

추정 과제 및 데이터#

Scene flow는 스테레오 비디오, RGB-D 카메라, LiDAR 시퀀스 또는 학습된 깊이 및 모션 단서가 포함된 단안 비디오에서 파생될 수 있습니다. 스테레오 및 능동형 깊이 센서는 더 강력한 기하학적 측정을 제공하는 반면, 단안 시스템은 시각적 맥락에서 스케일을 유추하고 모호성을 해결해야 합니다.

일반적인 실패 사례로는 폐색, 모션 블러, 반사 표면, 텍스처가 없는 영역, 얇은 구조물, 조명 변화, 프레임 간 빠른 움직임 등이 있습니다. 카메라 모션은 시스템이 자차 모션(ego-motion)을 독립적으로 움직이는 객체와 분리해야 하므로 추가적인 과제를 만듭니다. 오류로 인해 잘못된 3D 궤적이 생성되어 하류 내비게이션 또는 충돌 예측 시스템이 속도와 거리를 오판하게 될 수 있습니다.

학습 데이터에는 RGB 프레임, 깊이 또는 시차, optical flow, 세분화, 카메라 파라미터가 포함될 수 있습니다. Freiburg Scene Flow datasets은 이러한 보완적 라벨이 기하학과 모션을 함께 설명할 수 있는 방식을 보여줍니다.

실무 워크플로#

Ultralytics YOLO26은 문서화된 monocular depth estimation task를 통해 scene flow 파이프라인의 깊이 컴포넌트를 제공할 수 있습니다. 다음 예시는 하나의 프레임에 대한 dense depth map을 생성합니다:

from ultralytics import YOLO

# Estimate the scene's per-pixel 3D structure.
model = YOLO("yolo26n-depth.pt")
results = model("https://ultralytics.com/images/bus.jpg")

result = results[0]
result.save(filename="depth_result.jpg")

print(result.depth.data.shape)

이 YOLO26 워크플로는 그 자체로 scene flow를 계산하지 않습니다. 이는 완전한 파이프라인이 3D 변위를 추정하기 위해 연속 프레임, 시간적 대응 관계 및 보정된 카메라 포즈와 결합할 수 있는 픽셀당 깊이를 공급합니다. 실제로 팀은 특히 폐색 및 깊이 경계 주변에서 전체 모션 필드를 평가하기 전에 각 컴포넌트를 별도로 검증해야 합니다.