Temporal Consistency

Zeitliche Konsistenz bezeichnet die Übereinstimmung der Ausgaben eines KI-Systems im Zeitverlauf, während sich die zugrunde liegende Szene verändert. Bei Videos bedeutet das, dass Objekte über die einzelnen Bilder hinweg eine konsistente Identität, ein konsistentes Erscheinungsbild und konsistente vorhergesagte Eigenschaften behalten, während ihre Bewegung der Szene treu bleibt. Eine zeitlich konsistente Sequenz bewahrt sowohl Kontinuität als auch tatsächliche Veränderungen. Der Begriff zeitliche Kohärenz wird häufig synonym in der Computervision verwendet.

Außerhalb der KI beschreibt zeitliche Konsistenz auch die Übereinstimmung zeitabhängiger Datenbankeinträge oder die Stabilität wiederholter psychologischer Messungen.

So funktioniert zeitliche Konsistenz#

Ein Videobild hält einen einzelnen Moment fest; benachbarte Bilder liefern Hinweise darauf, wie sich dieselbe Szene entwickelt. Werden Bilder unabhängig voneinander verarbeitet, können flackernde Farben, instabile Tiefenschätzungen oder sich verändernde Segmentierungsgrenzen entstehen. Nicolas Bonneel und seine Kolleginnen und Kollegen stabilisierten 2015 mit ihrer veröffentlichten Arbeit Blind Video Temporal Consistency verarbeitete Videos mithilfe zeitlicher Informationen aus der Originalsequenz. Zu den Anwendungen zählen Verbesserung, Stilisierung und Tiefenvorhersage.

Die Herstellung von Zuordnungen – also die Bestimmung, welche Bereiche denselben Szeneninhalt zeigen – ist entscheidend für Konsistenz. Optischer Fluss schätzt die Pixelbewegung zwischen Bildern. Beim Warping wird eine frühere Vorhersage in die Koordinaten des aktuellen Bildes verschoben, sodass sich die Werte an entsprechenden Stellen vergleichen lassen. Verdeckungsmasken kennzeichnen Bereiche, die von einer anderen Oberfläche verdeckt werden und für die keine direkte Zuordnung möglich ist. Manuel Ruder, Alexey Dosovitskiy und Thomas Brox kombinierten diese Mechanismen 2016 mit kurz- und langfristigen Einschränkungen in ihrem Verfahren zur Video-Stilübertragung.

Räumliche Konsistenz betrifft Beziehungen innerhalb eines Bildes. Zeitliche Konsistenz betrifft Beziehungen zwischen Bildern. Die Bewahrung der Identität ist ein Bestandteil davon: Ein Objekt kann seine Identität behalten, während seine Textur dennoch flackert.

Zeitliche Konsistenzverluste und Training#

Ein Verlust für zeitliche Konsistenz bestraft Abweichungen zwischen einander entsprechenden Vorhersagen zu unterschiedlichen Zeitpunkten. Er dient der Regularisierung und bringt ein Modell dazu, Informationen beizubehalten, die durch benachbarte Bilder gestützt werden. Bei der Videostilisierung vergleicht eine bewegungskompensierte quadratische Fehler-Verlustfunktion sichtbare, einander entsprechende Pixel. Zusätzlich kommen Zielfunktionen zum Einsatz, die Inhalt und künstlerischen Stil bewahren. Langfristige Vergleiche helfen, das Erscheinungsbild zu erhalten, wenn zuvor verdeckte Bereiche wieder sichtbar werden.

Für bereits ausgerichtete Pixelwerte lässt sich die Komponente des quadratischen Fehlers mit der mittleren quadratischen Fehlerfunktion von PyTorch ausdrücken:

import torch
import torch.nn.functional as F

previous_aligned = torch.tensor([[0.2, 0.4], [0.6, 0.8]])
current = torch.tensor([[0.3, 0.5], [0.7, 0.1]])
visible = torch.tensor([[True, True], [True, False]])

# Compare only corresponding pixels visible in both frames.
pixel_errors = F.mse_loss(current, previous_aligned, reduction="none")
temporal_loss = pixel_errors[visible].mean()
print(f"Temporal consistency loss: {temporal_loss.item():.4f}")

Das Ergebnis ist 0.0100: die durchschnittliche quadratische Abweichung zwischen drei sichtbaren Entsprechungen. Die maskierte Position trägt nichts zum Verlust bei.

Andere Mechanismen bewahren Informationen mithilfe eines rekurrenten neuronalen Netzes oder übertragen sie über zeitliche Aufmerksamkeit. Diese Ansätze übernehmen während der Verarbeitung Kontext aus vorherigen Bildern, wie im 2018 von Wei-Sheng Lai und seinen Kolleginnen und Kollegen vorgestellten rekurrenten Netz für zeitliche Konsistenz in Videos ohne Referenz.

Anwendungen in der Video-KI#

Zeitliche Konsistenz beeinflusst sowohl die Interpretation von Videos als auch die Bildsynthese:

• Videobearbeitung: Eine bildweise unabhängige neuronale Stilübertragung erzeugt wechselnde Texturen, die bei der Wiedergabe als Flackern auffallen. Bewegungsbasierte Einschränkungen stabilisieren das stilisierte Erscheinungsbild, während sich Objekte bewegen.
• Videosegmentierung: Konsistente Masken folgen den Objektgrenzen im Zeitverlauf. Der DAVIS-Benchmark stellt dicht annotierte Videosequenzen bereit, mit denen sich die Segmentierung bei Bewegung und Verdeckung bewerten lässt.
• Videogenerierung: Zeitliche Kohärenz umfasst stabile Motive und Hintergründe, weniger Flackern und flüssige Bewegungen. Diese Eigenschaften werden im VBench jeweils separat bewertet.

Beim Tracking mehrerer Objekte geht es bei der Konsistenz vor allem darum, Erkennungen dauerhaft zuzuordnenden Identitäten zuzuweisen. Der Track-Modus von Ultralytics YOLO nutzt Tracker wie ByteTrack, um Erkennungen von YOLO26 über mehrere Bilder hinweg zuzuordnen. In der zweiten Zuordnungsphase werden Erkennungen mit geringerer Konfidenz verwendet, um Tracks bei teilweiser Verdeckung wiederherzustellen.

Zeitliche Konsistenz messen#

Die Bewertung richtet sich nach der Art der Ausgabe. Bei verarbeiteten Videos misst der bewegungskompensierte Warping-Fehler die Abweichung zwischen ausgerichteten Ausgaben; ein geringerer Fehler bedeutet eine stärkere lokale Übereinstimmung. Beim Tracking zählt die Zahl der Identitätswechsel, also wie oft sich die einem Objekt zugewiesene ID ändert. HOTA kombiniert Erkennungs- und Zuordnungsgenauigkeit und bewertet Identitätszuordnungen über die gesamte Sequenz hinweg.

Bei der Bewertung generierter Videos werden die Stabilität des Erscheinungsbilds und die Bewegung getrennt betrachtet. VBench misst die Konsistenz von Motiven und Hintergründen, zeitliches Flackern, die Flüssigkeit der Bewegung und den Bewegungsgrad. Die Bewegung neben der Stabilität zu messen, unterscheidet kohärente Bewegung von einer fast statischen Sequenz: Der Wert für die Bewegungsflüssigkeit basiert auf einem Modell zur Bildinterpolation, während der Bewegungsgrad mithilfe des optischen Flusses den Umfang der Bewegung schätzt.