Temporal Consistency

时间一致性是指 AI 系统的输出随时间推移保持一致，同时底层场景不断变化。在视频中，这意味着对象在各帧中保有连贯的身份、外观和预测属性，其运动也忠实反映场景。时间一致的序列既保留连续性，也反映真实变化。术语时间连贯性通常用作计算机视觉的同义词。

在 AI 之外，时间一致性也用于描述随时间变化的数据库记录之间的一致性，或重复进行的心理测量结果的稳定性。

时间一致性的工作原理#

视频帧捕捉某一瞬间；相邻帧则提供有关同一场景如何演变的证据。独立处理各帧可能导致颜色闪烁、深度估计不稳定，或分割边界变化。Nicolas Bonneel 及其同事于 2015 年发表的盲视频时间一致性方法，利用原始序列中的时间信息稳定处理后的视频，应用包括增强、风格化和深度预测。

建立对应关系——确定哪些位置代表相同的场景内容——是保持一致性的关键。光流用于估计帧间像素运动。扭曲会将前一帧的预测映射到当前帧的坐标中，从而能够在对应位置进行比较。遮挡掩码会标出被其他表面遮挡、无法直接建立对应关系的区域。Manuel Ruder、Alexey Dosovitskiy 和 Thomas Brox 在 2016 年的视频风格迁移方法中结合了这些机制以及短期和长期约束。

空间一致性关注单帧内的关系，时间一致性关注帧与帧之间的关系。身份保持是其中一个组成部分：对象可以保持身份不变，但纹理仍然闪烁。

时间一致性损失与训练#

时间一致性损失会惩罚不同时间点对应预测之间的不一致。它作为正则化项，鼓励模型保留相邻帧所支持的信息。在视频风格化中，运动对齐的平方误差损失函数会比较可见的对应像素，同时使用保留内容和艺术风格的目标函数。长期比较有助于在先前被遮挡的区域重新出现时保持其外观。

对于已经对齐的像素值，平方误差项可以使用PyTorch 的均方误差运算表示：

import torch
import torch.nn.functional as F

previous_aligned = torch.tensor([[0.2, 0.4], [0.6, 0.8]])
current = torch.tensor([[0.3, 0.5], [0.7, 0.1]])
visible = torch.tensor([[True, True], [True, False]])

# Compare only corresponding pixels visible in both frames.
pixel_errors = F.mse_loss(current, previous_aligned, reduction="none")
temporal_loss = pixel_errors[visible].mean()
print(f"Temporal consistency loss: {temporal_loss.item():.4f}")

输出为 0.0100：三个可见对应位置之间平方差的平均值。被掩码的位置对损失没有贡献。

其他机制通过循环神经网络保留信息，或通过时间注意力传播信息。这些方法在处理过程中跨帧传递上下文信息，例如 Wei-Sheng Lai 及其同事于 2018 年提出的用于盲视频时间一致性的循环网络。

视频 AI 中的应用#

时间一致性会影响视频解读和图像合成：

• 视频编辑：逐帧独立进行的神经风格迁移会产生不断变化的纹理，播放时看起来像闪烁。运动引导约束可在对象移动时稳定风格化后的外观。
• 视频分割：一致的掩码会随时间贴合对象边界。DAVIS 基准提供了密集标注的视频序列，用于评估运动和遮挡情况下的分割效果。
• 视频生成：时间连贯性包括主体和背景稳定、减少闪烁以及运动平滑。这些属性会在 VBench 中分别评估。

在多目标跟踪中，一致性主要体现在将检测结果关联到持续存在的身份。Ultralytics YOLO 的跟踪模式会应用 ByteTrack 等跟踪器，将各帧中的 YOLO26 检测结果关联起来；其第二阶段关联会使用置信度较低的检测结果，在部分遮挡时恢复轨迹。

衡量时间一致性#

评估方法取决于输出类型。对于处理后的视频，运动补偿扭曲误差用于衡量对齐输出之间的差异；误差越低，局部一致性越强。对于跟踪，身份切换次数用于统计对象分配的 ID 发生变化的次数。HOTA结合检测准确率和关联准确率，并评估整个序列中的身份关联情况。

生成视频的评估会分别衡量外观稳定性和运动情况。VBench 会衡量主体一致性、背景一致性、时间闪烁、运动平滑度和动态程度。除了稳定性，还要衡量运动，才能区分连贯运动和近乎静止的序列：运动平滑度分数使用帧插值模型，而动态程度则使用光流估计运动量。