Temporal Consistency

La cohérence temporelle désigne l’accord entre les sorties d’un système d’IA au fil du temps, tandis que la scène sous-jacente évolue. En vidéo, cela signifie que les objets conservent une identité, une apparence et des propriétés prédites cohérentes d’une image à l’autre, tandis que leur mouvement reste fidèle à la scène. Une séquence temporellement cohérente préserve à la fois la continuité et les changements réels. Le terme cohérence temporelle est couramment employé comme synonyme en vision par ordinateur.

En dehors de l’IA, la cohérence temporelle désigne également la concordance entre des enregistrements de bases de données dépendant du temps ou la stabilité de mesures psychologiques répétées.

Fonctionnement de la cohérence temporelle#

Une image vidéo capture un instant ; les images voisines renseignent sur l’évolution de la même scène. Le traitement indépendant des images peut produire des couleurs vacillantes, des estimations de profondeur instables ou des contours de segmentation changeants. Publiée en 2015, l’étude Blind Video Temporal Consistency de Nicolas Bonneel et de ses collègues stabilise les vidéos traitées en utilisant les informations temporelles de la séquence originale, notamment pour l’amélioration, la stylisation et la prédiction de profondeur.

L’établissement de correspondances — déterminer quels emplacements représentent le même contenu de scène — est essentiel à la cohérence. Le flot optique estime le mouvement des pixels entre les images. Le recalage déplace une prédiction antérieure vers les coordonnées de l’image actuelle, ce qui permet de comparer les emplacements correspondants. Les masques d’occlusion identifient les régions cachées par une autre surface, où aucune correspondance directe n’est disponible. Manuel Ruder, Alexey Dosovitskiy et Thomas Brox ont combiné ces mécanismes à des contraintes à court et à long terme dans leur méthode de transfert de style vidéo publiée en 2016.

La cohérence spatiale concerne les relations au sein d’une même image. La cohérence temporelle concerne les relations entre les images. La préservation de l’identité en est un aspect : un objet peut conserver son identité alors que sa texture vacille.

Perte de cohérence temporelle et entraînement#

Une perte de cohérence temporelle pénalise les divergences entre des prédictions correspondantes à différents instants. Elle agit comme une régularisation qui incite un modèle à préserver les informations étayées par les images voisines. Dans la stylisation vidéo, une fonction de perte d’erreur quadratique alignée sur le mouvement compare les pixels visibles correspondants, en complément d’objectifs qui préservent le contenu et le style artistique. Les comparaisons à long terme aident à maintenir l’apparence lorsque des régions auparavant cachées réapparaissent.

Pour des valeurs de pixels déjà alignées, la composante d’erreur quadratique peut s’exprimer à l’aide de l’opération d’erreur quadratique moyenne de PyTorch :

import torch
import torch.nn.functional as F

previous_aligned = torch.tensor([[0.2, 0.4], [0.6, 0.8]])
current = torch.tensor([[0.3, 0.5], [0.7, 0.1]])
visible = torch.tensor([[True, True], [True, False]])

# Compare only corresponding pixels visible in both frames.
pixel_errors = F.mse_loss(current, previous_aligned, reduction="none")
temporal_loss = pixel_errors[visible].mean()
print(f"Temporal consistency loss: {temporal_loss.item():.4f}")

La sortie est 0.0100 : la moyenne des divergences quadratiques entre trois correspondances visibles. L’emplacement masqué ne contribue pas à la perte.

D’autres mécanismes conservent les informations au moyen d’un réseau neuronal récurrent ou les propagent par l’attention temporelle. Ces approches transmettent le contexte d’une image à l’autre pendant le traitement, comme dans le réseau récurrent pour la cohérence temporelle vidéo sans référence de Wei-Sheng Lai et de ses collègues, publié en 2018.

Applications à l’IA vidéo#

La cohérence temporelle influe à la fois sur l’interprétation vidéo et sur la synthèse d’images :

• Montage vidéo : Le transfert de style neuronal indépendant de chaque image produit des textures changeantes qui semblent vaciller à la lecture. Des contraintes guidées par le mouvement stabilisent l’apparence stylisée lorsque les objets se déplacent.
• Segmentation vidéo : Des masques cohérents suivent les contours des objets au fil du temps. Le benchmark DAVIS fournit des séquences vidéo densément annotées pour évaluer la segmentation en présence de mouvement et d’occlusion.
• Génération vidéo : La cohérence temporelle comprend la stabilité des sujets et des arrière-plans, la réduction du scintillement et la fluidité du mouvement. Ces propriétés sont évaluées séparément dans VBench.

Dans le suivi multi-objets, la cohérence repose sur l’association des détections à des identités persistantes. Le mode suivi de YOLO d’Ultralytics applique des algorithmes de suivi comme ByteTrack pour associer les détections de YOLO26 d’une image à l’autre ; sa deuxième étape d’association utilise les détections à plus faible confiance pour retrouver les pistes après une occlusion partielle.

Mesurer la cohérence temporelle#

L’évaluation dépend du type de sortie. Pour les vidéos traitées, l’erreur de recalage compensée par le mouvement mesure la divergence entre des sorties alignées ; une erreur plus faible indique un accord local plus marqué. Pour le suivi, les changements d’identité comptent les changements d’identifiant attribué à un objet. HOTA combine la précision de détection et celle de l’association, et évalue les associations d’identités sur l’ensemble de la séquence.

L’évaluation des vidéos générées distingue la stabilité de l’apparence du mouvement. VBench mesure la cohérence des sujets, la cohérence des arrière-plans, le scintillement temporel, la fluidité du mouvement et le degré de dynamisme. Mesurer le mouvement en plus de la stabilité permet de distinguer un mouvement cohérent d’une séquence presque statique : le score de fluidité du mouvement utilise un modèle d’interpolation d’images, tandis que le degré de dynamisme s’appuie sur le flot optique pour estimer l’ampleur du mouvement.