Scene Flow

Scene flow là trường chuyển động ba chiều của một cảnh động theo thời gian. Nó mô tả cách các điểm hiển thị di chuyển trong không gian 3D thực tế giữa các khung hình, bao gồm chuyển động sang ngang, theo chiều dọc và hướng về phía trước hoặc ra xa camera. Trong computer vision, scene flow giúp hệ thống không chỉ hiểu được những gì xuất hiện để di chuyển trong một hình ảnh, mà còn hiểu cách hình học xung quanh thực sự thay đổi.

Cách Scene Flow Biểu diễn Chuyển động 3D#

Một ước tính scene flow gán một vectơ dịch chuyển hoặc vận tốc 3D cho mỗi điểm cảnh được quan sát. Ví dụ, nếu một người đi bộ băng qua đường trong khi tiến lại gần camera, các vectơ tương ứng sẽ mô tả cả chuyển động ngang và khoảng cách giảm dần đến camera.

Điều này khác với optical flow, biểu thị chuyển động pixel rõ ràng trên mặt phẳng hình ảnh hai chiều. Như Carnegie Mellon Scene Flow project giải thích, optical flow có thể được hiểu là phép chiếu của scene flow 3D lên hình ảnh camera. Do đó, hai điểm có thể có chuyển động hình ảnh tương tự nhau trong khi di chuyển theo các chiều sâu khác nhau.

Scene flow dày đặc (dense) ước tính chuyển động cho hầu hết các điểm có thể nhìn thấy, trong khi scene flow thưa (sparse) bao gồm các đặc trưng được chọn, các điểm được theo dõi hoặc dữ liệu trả về từ LiDAR. Đầu ra dày đặc cung cấp chi tiết hình học phong phú hơn nhưng đòi hỏi nhiều tính toán hơn và độ tương ứng đáng tin cậy giữa các khung hình.

Scene Flow so với các Khái niệm Thị giác Liên quan#

Scene flow kết hợp cấu trúc không gian với chuyển động theo thời gian, đặt nó vào vị trí giữa một số tác vụ liên quan:

• Optical flow estimation with OpenCV: Ước tính sự dịch chuyển pixel theo chiều ngang và chiều dọc. Nó không thể tự xác định xem một đối tượng có di chuyển qua độ sâu hay camera đã gây ra chuyển động rõ ràng đó.
• Depth estimation: Xác định khoảng cách từ bề mặt đến camera, thường là cho một khung hình. Scene flow bổ sung mô tả cách các vị trí 3D đó thay đổi theo thời gian.
• Stereo vision: Sử dụng các pixel tương ứng từ các camera được đồng bộ hóa để khôi phục độ sâu. OpenCV stereo depth workflow giải thích cách độ chênh lệch (disparity) giữa các góc nhìn hỗ trợ quá trình tái tạo 3D.
• Object tracking: Duy trì danh tính đối tượng qua các khung hình, thường sử dụng bounding boxes hoặc masks. Thay vào đó, scene flow ước tính chuyển động ở cấp độ điểm hoặc pixel và có thể biểu diễn các chuyển động khác nhau trong một đối tượng đang biến dạng.
• Chuyển động đám mây điểm (Point-cloud motion): Các hệ thống LiDAR và RGB-D có thể ước tính trực tiếp scene flow giữa các tập hợp điểm 3D. Open3D point-cloud guide giới thiệu biểu diễn hình học được sử dụng bởi nhiều đường ống (pipeline) như vậy.

Scene flow cũng phụ thuộc vào hình học camera. OpenCV camera calibration chính xác giúp tách biệt chuyển động cảnh thực tế khỏi các thay đổi do xoay camera, tịnh tiến hoặc biến dạng ống kính gây ra.

Các ứng dụng trong thực tế#

• Xe tự hành (Autonomous driving): Hệ thống nhận thức có thể ước tính xem một phương tiện gần đó có đang chuyển làn, tiếp cận nhanh chóng hay di chuyển cùng dòng xe không. Không giống như chuyển động 2D đơn thuần, scene flow hỗ trợ lý luận về thời gian va chạm (time-to-collision) vì nó bao gồm chuyển động dọc theo trục độ sâu. Nó có thể bổ sung cho các thành phần phát hiện, theo dõi và độ sâu trong automotive computer vision solutions. KITTI scene flow benchmark minh họa việc đánh giá trên các cảnh đường phố chứa chuyển động của camera và các đối tượng di chuyển độc lập, trong khi NHTSA automated vehicle safety guidance cung cấp bối cảnh rộng hơn cho các hệ thống nhận thức tập trung vào an toàn.

• Robotics: Robot di động có thể sử dụng scene flow để phân biệt giá đỡ tĩnh với công nhân đang di chuyển, ước tính quỹ đạo 3D của vật cản và cập nhật đường đi trước khi xảy ra va chạm. Trong robotics vision solutions, thông tin này có thể được kết hợp với camera, cảm biến độ sâu và LiDAR. ROS sensor message documentation định nghĩa các giao diện chung để trao đổi hình ảnh, thông tin camera và đám mây điểm giữa các thành phần robot.

Thách thức và Dữ liệu Ước tính#

Scene flow có thể được dẫn xuất từ video stereo, camera RGB-D, chuỗi LiDAR hoặc video đơn mắt (monocular) với các tín hiệu về độ sâu và chuyển động đã học. Các cảm biến stereo và độ sâu chủ động cung cấp các phép đo hình học mạnh mẽ hơn, trong khi hệ thống đơn mắt phải suy luận tỷ lệ và giải quyết sự mơ hồ từ ngữ cảnh trực quan.

Các trường hợp lỗi phổ biến bao gồm hiện tượng che khuất (occlusion), mờ chuyển động (motion blur), bề mặt phản chiếu, vùng không có kết cấu, cấu trúc mỏng, thay đổi ánh sáng và chuyển động nhanh giữa các khung hình. Chuyển động của camera tạo ra một thách thức bổ sung vì hệ thống phải tách biệt chuyển động của chính nó (ego-motion) khỏi các đối tượng di chuyển độc lập. Các lỗi có thể tạo ra quỹ đạo 3D không chính xác, khiến các hệ thống điều hướng hoặc dự đoán va chạm ở hạ nguồn đánh giá sai tốc độ và khoảng cách.

Dữ liệu huấn luyện có thể bao gồm các khung hình RGB, độ sâu hoặc độ chênh lệch (disparity), optical flow, phân đoạn (segmentation) và các tham số camera. Freiburg Scene Flow datasets minh họa cách các nhãn bổ sung này có thể mô tả hình học và chuyển động cùng nhau.

Quy trình Làm việc Thực tế#

Ultralytics YOLO26 có thể cung cấp thành phần độ sâu của một đường ống (pipeline) scene flow thông qua monocular depth estimation task được tài liệu hóa của nó. Ví dụ sau đây tạo ra một bản đồ độ sâu dày đặc cho một khung hình:

from ultralytics import YOLO

# Estimate the scene's per-pixel 3D structure.
model = YOLO("yolo26n-depth.pt")
results = model("https://ultralytics.com/images/bus.jpg")

result = results[0]
result.save(filename="depth_result.jpg")

print(result.depth.data.shape)

Quy trình làm việc YOLO26 này không tự tính toán scene flow. Nó cung cấp độ sâu trên từng pixel, mà một đường ống hoàn chỉnh có thể kết hợp với các khung hình liên tiếp, các điểm tương ứng theo thời gian và các tư thế camera đã được hiệu chuẩn để ước tính độ dịch chuyển 3D. Trong thực tế, các nhóm nên xác thực từng thành phần riêng biệt trước khi đánh giá toàn bộ trường chuyển động, đặc biệt là xung quanh các vùng bị che khuất và ranh giới độ sâu.