Temporal Consistency

時間的一貫性とは、背後にあるシーンが変化するなかで、AIシステムの出力が時間を通じて一致することです。動画では、オブジェクトがフレーム間で一貫した識別情報、外観、予測属性を保ちつつ、その動きがシーンに忠実であることを意味します。時間的に一貫したシーケンスでは、連続性と実際の変化の両方が保たれます。時間的コヒーレンスという用語は、コンピュータービジョンでは同義語として一般的に使われています。

AI以外の分野でも、時間的一貫性は、時間に依存するデータベースレコード間の一致や、心理測定を繰り返したときの安定性を表します。

時間的一貫性の仕組み#

動画の各フレームは一瞬を捉え、隣接するフレームは同じシーンがどのように変化するかを示す情報を提供します。フレームを個別に処理すると、色のちらつき、不安定な深度推定、または変化するセグメンテーション境界が生じることがあります。Nicolas Bonneelらが2015年に発表したBlind Video Temporal Consistencyは、元のシーケンスの時間情報を使って処理済み動画を安定化します。この手法は、画質向上、スタイル変換、深度予測などに応用できます。

対応付け、すなわちシーン内の同じ内容を表す位置を特定することは、一貫性の確保に不可欠です。オプティカルフローは、フレーム間のピクセルの動きを推定します。ワーピングにより、前のフレームの予測を現在のフレームの座標に移動させ、対応する位置同士を比較できるようにします。オクルージョンマスクは、別の表面によって隠れている領域を特定します。このような領域では直接対応付けができません。Manuel Ruder、Alexey Dosovitskiy、Thomas Broxは、これらの仕組みを短期および長期の制約と組み合わせた動画スタイル変換手法を2016年に発表しました。

空間的一貫性は、1つのフレーム内の関係性に関するものです。時間的一貫性は、フレーム間の関係性に関するものです。識別情報の保持はその一要素です。オブジェクトの識別情報が保たれていても、テクスチャがちらつくことがあります。

時間的一貫性損失とトレーニング#

時間的一貫性損失は、異なる時点における対応する予測間の不一致にペナルティを課します。これは正則化として働き、隣接フレームによって裏付けられる情報をモデルが保持するよう促します。動画スタイル変換では、動きに合わせた二乗誤差の損失関数で、可視かつ対応するピクセルを比較しながら、コンテンツや芸術的なスタイルを維持する目的関数も併用します。長期的な比較により、以前は隠れていた領域が再び現れたときにも外観を維持できます。

すでに位置合わせされたピクセル値については、二乗誤差の項をPyTorchの平均二乗誤差演算を使って次のように表せます。

import torch
import torch.nn.functional as F

previous_aligned = torch.tensor([[0.2, 0.4], [0.6, 0.8]])
current = torch.tensor([[0.3, 0.5], [0.7, 0.1]])
visible = torch.tensor([[True, True], [True, False]])

# Compare only corresponding pixels visible in both frames.
pixel_errors = F.mse_loss(current, previous_aligned, reduction="none")
temporal_loss = pixel_errors[visible].mean()
print(f"Temporal consistency loss: {temporal_loss.item():.4f}")

出力は 0.0100 です。可視で対応する3組の間の不一致を二乗し、その平均を求めます。マスクされた位置は損失に寄与しません。

ほかの仕組みでは、リカレントニューラルネットワークを通じて情報を保持したり、時間的なアテンションによって情報を伝播させたりします。これらの手法は、処理中にフレーム間でコンテキストを引き継ぎます。Wei-Sheng Laiらが2018年に発表した動画の時間的一貫性を実現するブラインド・リカレントネットワークもその一例です。

動画AIにおける応用#

時間的一貫性は、動画の解釈と画像の合成の両方に影響します。

• 動画編集： フレームごとに独立して行うニューラルスタイル変換では、再生時にちらついて見える、変化するテクスチャが生じます。動きに基づく制約を適用すると、オブジェクトの移動中もスタイル変換後の外観が安定します。
• 動画セグメンテーション： 一貫したマスクは、時間の経過に伴ってオブジェクトの境界を追跡します。DAVISベンチマークは、動きやオクルージョンを含む状況でセグメンテーションを評価するための、密にアノテーションされた動画シーケンスを提供します。
• 動画生成： 時間的コヒーレンスには、被写体と背景の安定性、ちらつきの低減、滑らかな動きが含まれます。これらの特性はVBenchで個別に評価されます。

複数オブジェクト追跡では、検出結果を持続的な識別情報に関連付けることが一貫性の中心となります。Ultralytics YOLOのtrackモードは、ByteTrackなどのトラッカーを適用して、フレーム間でYOLO26の検出結果を関連付けます。2段階目の関連付けでは、信頼度の低い検出結果を使って、部分的なオクルージョンを通じてトラックを復元します。

時間的一貫性の測定#

評価方法は出力の種類によって異なります。処理済み動画では、動き補償ワーピング誤差により、位置合わせされた出力間の不一致を測定します。誤差が小さいほど、局所的な一致度が高いことを示します。追跡では、識別情報の切り替わり回数によって、オブジェクトに割り当てられたIDの変化を数えます。HOTAは検出精度と関連付け精度を組み合わせ、シーケンス全体で識別情報の関連付けを評価します。

生成動画の評価では、外観の安定性と動きを分けて評価します。VBenchでは、被写体の一貫性、背景の一貫性、時間的なちらつき、動きの滑らかさ、動きの度合いを測定します。安定性と合わせて動きを測定することで、一貫した動きとほぼ静止したシーケンスを区別できます。動きの滑らかさのスコアにはフレーム補間モデルを使用し、動きの度合いにはオプティカルフローを使って動きの大きさを推定します。