Scene Flow

场景流是动态场景随时间变化的三维运动场。它描述了可见点在真实世界的三维空间中帧与帧之间的移动方式，包括侧向、垂直以及向相机靠近或远离的运动。在计算机视觉中，场景流不仅帮助系统理解图像中什么在发生位移，还能理解周围几何结构究竟发生了怎样的变化。

场景流如何表示三维运动#

场景流估计会为观察到的每个场景点分配一个三维位移或速度向量。例如，如果一个行人穿过马路同时在靠近相机，相应的向量会同时描述横向运动以及到相机不断缩小的距离。

这不同于光流，光流表示二维图像平面上表观的像素运动。正如卡耐基梅隆场景流项目所解释的那样，光流可以理解为三维场景流在相机图像上的投影。因此，两个点在深度方向运动不同时，可能在图像上具有相似的运动轨迹。

稠密场景流估计大多数可见点的运动，而稀疏场景流则覆盖选定的特征、跟踪点或激光雷达回波。稠密输出提供更丰富的几何细节，但需要更多的计算以及帧之间可靠的对应关系。

场景流与相关视觉概念的对比#

场景流将空间结构与时间运动结合起来，使其介于几个相关任务之间：

• **使用 OpenCV 进行光流估计：**估计水平和垂直像素位移。它无法独立判断物体是通过深度发生位移，还是由相机引起了表观运动。
• **深度估计：**确定表面距离相机有多远，通常针对单帧。场景流在此基础上额外描述了这些三维位置随时间的变化情况。
• **立体视觉：**使用来自同步相机的对应像素来恢复深度。OpenCV 立体深度工作流解释了视图之间的视差如何支持三维重建。
• **目标跟踪：**跨帧维护目标身份，通常使用边界框或掩码。而场景流则是在点或像素级别估计运动，并能够表示一个形变物体内部不同的运动。
• **点云运动：**激光雷达和 RGB-D 系统可以直接在三维点集之间估计场景流。Open3D 点云指南介绍了许多此类管道所使用的几何表示。

场景流还取决于相机几何结构。精确的OpenCV 相机标定有助于将真实的场景运动与由相机旋转、平移或镜头畸变引起的变化区分开来。

实际应用#

• **自动驾驶：**感知系统可以评估附近的车辆是在变换车道、快速接近还是随车流移动。与单纯的二维运动不同，场景流支持碰撞时间推理，因为它包含了沿深度轴的运动。它可以在汽车计算机视觉解决方案中补充检测、跟踪和深度组件。KITTI 场景流基准展示了对包含相机运动和独立移动物体的道路场景的评估，而NHTSA 自动驾驶车辆安全指南则为以安全为核心的感知系统提供了更广泛的背景。

• **机器人技术：**移动机器人可以使用场景流来区分静止的货架和移动的工人，估计障碍物的三维轨迹，并在发生碰撞之前更新其路径。在机器人视觉解决方案中，这些信息可以与相机、深度传感器和激光雷达相结合。ROS 传感器消息文档定义了用于在机器人组件之间交换图像、相机信息和点云的通用接口。

估计挑战与数据#

场景流可以源自立体视频、RGB-D 相机、激光雷达序列，或带有学习深度和运动线索的单目视频。立体和主动深度传感器提供更强的几何测量，而单目系统必须从视觉上下文中推断尺度并解决歧义。

常见的失效案例包括遮挡、运动模糊、反射表面、无纹理区域、薄结构、光照变化以及帧之间的快速移动。相机运动带来了额外的挑战，因为系统必须将自车运动与独立移动的物体区分开来。错误可能会产生不正确的三维轨迹，导致下游导航或碰撞预测系统对速度和距离产生误判。

训练数据可能包括 RGB 帧、深度或视差、光流、分割和相机参数。弗赖堡场景流数据集展示了这些互补标签如何共同描述几何和运动。

实用工作流#

Ultralytics YOLO26 可以通过其文档化的单目深度估计任务为场景流管道提供深度组件。以下示例为单帧生成稠密深度图：

from ultralytics import YOLO

# Estimate the scene's per-pixel 3D structure.
model = YOLO("yolo26n-depth.pt")
results = model("https://ultralytics.com/images/bus.jpg")

result = results[0]
result.save(filename="depth_result.jpg")

print(result.depth.data.shape)

这个 YOLO26 工作流本身不计算场景流。它提供每个像素的深度，完整的管道可以将其与连续帧、时间对应关系和标定的相机位姿结合起来估计三维位移。在实践中，团队应在评估完整运动场之前分别验证每个组件，尤其是在遮挡和深度边界周围。