Temporal Consistency

La coherencia temporal es la concordancia entre las salidas de un sistema de IA a lo largo del tiempo, mientras cambia la escena subyacente. En vídeo, significa que los objetos mantienen identidades, aspectos y propiedades predichas coherentes entre fotogramas, mientras su movimiento sigue siendo fiel a la escena. Una secuencia temporalmente coherente conserva tanto la continuidad como los cambios reales. El término coherencia temporal se usa habitualmente como sinónimo en visión artificial.

Fuera de la IA, la coherencia temporal también describe la concordancia entre registros de bases de datos dependientes del tiempo o la estabilidad de mediciones psicológicas repetidas.

Cómo funciona la coherencia temporal#

Un fotograma de vídeo captura un instante; los fotogramas adyacentes aportan indicios sobre cómo evoluciona la misma escena. Procesar los fotogramas de forma independiente puede generar colores que parpadean, estimaciones de profundidad inestables o límites de segmentación cambiantes. El método Blind Video Temporal Consistency de Nicolas Bonneel y sus colaboradores, publicado en 2015, estabiliza el vídeo procesado mediante información temporal de la secuencia original, con aplicaciones como la mejora, la estilización y la predicción de profundidad.

Establecer correspondencias —determinar qué ubicaciones representan el mismo contenido de la escena— es fundamental para lograr coherencia. El flujo óptico estima el movimiento de los píxeles entre fotogramas. La deformación traslada una predicción anterior a las coordenadas del fotograma actual, lo que permite compararla en ubicaciones correspondientes. Las máscaras de oclusión identifican las regiones ocultas por otra superficie, donde no se dispone de correspondencia directa. Manuel Ruder, Alexey Dosovitskiy y Thomas Brox combinaron estos mecanismos con restricciones a corto y largo plazo en su método de transferencia de estilo de vídeo de 2016.

La coherencia espacial se refiere a las relaciones dentro de un mismo fotograma. La coherencia temporal se refiere a las relaciones entre fotogramas. La preservación de la identidad es uno de sus componentes: un objeto puede conservar su identidad aunque su textura siga parpadeando.

Pérdida de coherencia temporal y entrenamiento#

Una pérdida de coherencia temporal penaliza las discrepancias entre predicciones correspondientes en distintos momentos. Actúa como regularización y anima al modelo a conservar la información respaldada por los fotogramas adyacentes. En la estilización de vídeo, una función de pérdida de error cuadrático alineada con el movimiento compara los píxeles visibles correspondientes, junto con objetivos que preservan el contenido y el estilo artístico. Las comparaciones a largo plazo ayudan a mantener el aspecto cuando vuelven a aparecer regiones que antes estaban ocultas.

Para valores de píxeles ya alineados, el componente de error cuadrático puede expresarse mediante la operación de error cuadrático medio de PyTorch:

import torch
import torch.nn.functional as F

previous_aligned = torch.tensor([[0.2, 0.4], [0.6, 0.8]])
current = torch.tensor([[0.3, 0.5], [0.7, 0.1]])
visible = torch.tensor([[True, True], [True, False]])

# Compare only corresponding pixels visible in both frames.
pixel_errors = F.mse_loss(current, previous_aligned, reduction="none")
temporal_loss = pixel_errors[visible].mean()
print(f"Temporal consistency loss: {temporal_loss.item():.4f}")

La salida es 0.0100: la discrepancia cuadrática media entre tres correspondencias visibles. La ubicación enmascarada no contribuye a la pérdida.

Otros mecanismos conservan la información mediante una red neuronal recurrente o la propagan mediante la atención temporal. Estos enfoques mantienen el contexto entre fotogramas durante el procesamiento, como en la red recurrente para la coherencia temporal de vídeo sin referencia de Wei-Sheng Lai y sus colaboradores, publicada en 2018.

Aplicaciones en la IA de vídeo#

La coherencia temporal afecta tanto a la interpretación como a la síntesis de vídeo:

• Edición de vídeo: La transferencia neuronal de estilo independiente de cada fotograma produce texturas cambiantes que se perciben como parpadeo durante la reproducción. Las restricciones guiadas por el movimiento estabilizan el aspecto estilizado a medida que se mueven los objetos.
• Segmentación de vídeo: Las máscaras coherentes siguen los límites de los objetos a lo largo del tiempo. La referencia DAVIS proporciona secuencias de vídeo densamente anotadas para evaluar la segmentación durante el movimiento y las oclusiones.
• Generación de vídeo: La coherencia temporal incluye sujetos y fondos estables, menos parpadeo y un movimiento fluido. Estas propiedades se evalúan por separado en VBench.

En el seguimiento de múltiples objetos, la coherencia se centra en asociar las detecciones a identidades persistentes. El modo de seguimiento de Ultralytics YOLO aplica rastreadores como ByteTrack para asociar las detecciones de YOLO26 entre fotogramas; su segunda fase de asociación utiliza detecciones de menor confianza para recuperar las trayectorias cuando hay oclusiones parciales.

Medición de la coherencia temporal#

La evaluación depende del tipo de salida. Para el vídeo procesado, el error de deformación compensado por movimiento mide la discrepancia entre salidas alineadas; un error menor indica una mayor concordancia local. En el seguimiento, los cambios de identidad cuentan las veces que cambia el ID asignado a un objeto. HOTA combina la precisión de detección y de asociación, y evalúa las asociaciones de identidad a lo largo de la secuencia.

La evaluación del vídeo generado separa la estabilidad del aspecto del movimiento. VBench mide la coherencia del sujeto, la coherencia del fondo, el parpadeo temporal, la fluidez del movimiento y el grado de dinamismo. Medir el movimiento junto con la estabilidad permite distinguir un movimiento coherente de una secuencia casi estática: su puntuación de fluidez del movimiento utiliza un modelo de interpolación de fotogramas, mientras que el grado de dinamismo utiliza el flujo óptico para estimar cuánto movimiento se produce.