光流

光流是指视觉场景中物体、表面和边缘因观察者与场景之间的相对运动而产生的视动模式。在计算机视觉领域，这一概念对于理解视频序列中的时序动态至关重要。 通过分析连续两帧图像中像素的位移，光流算法生成矢量场——其中每个矢量代表特定点的运动方向与速度。这种低级视觉线索使人工智能系统不仅能感知图像内容，更能理解动态变化，从而弥合了静态图像分析与动态视频理解之间的鸿沟。

光流的核心机制

光流计算通常基于亮度恒定性假设，该假设认为物体上像素的亮度在相邻帧之间保持恒定，即使物体发生移动。算法利用这一原理通过两种主要方法求解运动向量：

• 稀疏光流： 该方法针对特征提取过程中检测到的特定子集（如角点或边缘等独特特征）计算运动向量。诸如卢卡斯-卡纳德算法等方法具有计算效率高、适用于实时推理任务的特点，在仅需追踪特定感兴趣点的情况下尤为理想。
• 密集光流： 该方法为帧中每个像素计算运动向量。虽然计算量显著增加， 但能生成全面的运动图，这对图像分割和结构分析等精细任务至关重要。 现代深度学习架构通过从海量数据集中学习复杂运动模式， 在密集光流估计方面往往优于传统数学方法。

光流与目标跟踪

尽管二者常被并用，但区分光流与目标追踪至关重要。光流是一种低级运算，用于描述像素的瞬时运动；它本身并不理解目标的身份或持续性。

相比之下，目标追踪是一项高级任务，它定位特定实体并在时间维度上为其分配一致的ID。先进的追踪器（如Ultralytics 追踪器）通常先通过目标检测定位目标，再利用运动线索（有时源自光流）将不同帧中的检测结果关联起来。 光流解答的是"当前像素移动速度如何"，而追踪则解答"5号车去了哪里"。

实际应用

像素级运动估计能力为众多尖端技术提供了支持：

• 自动驾驶与机器人技术： 光流技术用于视觉测距，使机器人或汽车能够估算自身相对于环境的运动状态。通过分析视野中物体扩张或移动的速度，该技术还能辅助深度估算与障碍物避让。
• 视频防抖：相机和编辑软件通过运动矢量detect 相机抖动。通过补偿这种整体运动，系统能够对视频素材进行数字化稳定处理。这是现代消费电子产品（如智能手机和运动相机）的标准功能。
• 动作识别：在体育分析与安防领域，通过分析像素的时间流，系统能够识别人类复杂动作。例如，姿势估计 可结合运动流数据，根据肢体移动速度区分行走与奔跑状态。
• 视频压缩：诸如 MPEG视频编码等标准高度依赖运动估计技术。编解码器不存储 每个完整帧，而是存储帧间的光流（运动向量）与帧间差异（残差）， 从而显著缩减文件大小，适用于流媒体传输与存储。

实施实例

以下示例演示了如何使用计算机视觉生态系统中的标准工具OpenCV 计算密集光流。该代码片段采用Farneback算法，在两个连续帧之间生成光流图。

import cv2
import numpy as np

# Simulate two consecutive frames (replace with actual image paths)
frame1 = np.zeros((100, 100, 3), dtype=np.uint8)
frame2 = np.zeros((100, 100, 3), dtype=np.uint8)
cv2.rectangle(frame1, (20, 20), (40, 40), (255, 255, 255), -1)  # Object at pos 1
cv2.rectangle(frame2, (25, 25), (45, 45), (255, 255, 255), -1)  # Object moved

# Convert to grayscale for flow calculation
prvs = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
next = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)

# Calculate dense optical flow
flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)

# Compute magnitude and angle of 2D vectors
mag, ang = cv2.cartToPolar(flow[..., 0], flow[..., 1])

print(f"Max motion detected: {np.max(mag):.2f} pixels")

对于需要对象持久化而非原始像素运动的高级应用，用户应考虑 Ultralytics YOLO11 和 YOLO26 中提供的跟踪模式。这些模型抽象了运动分析的复杂性，为从交通监控到零售分析等任务提供开箱即用的稳健物体ID和轨迹。