Temporal Consistency

Zamansal tutarlılık, temel alınan sahne değişirken bir yapay zekâ sisteminin çıktılarının zaman içindeki uyumudur. Videoda bu, nesnelerin kareler boyunca tutarlı kimliklerini, görünümlerini ve tahmin edilen özelliklerini korurken hareketlerinin de sahneye uygun kalması anlamına gelir. Zamansal açıdan tutarlı bir dizi hem sürekliliği hem de gerçek değişimi korur. Zamansal uyum terimi, bilgisayarlı görü alanında yaygın olarak eş anlamlı kullanılır.

Yapay zekâ dışında zamansal tutarlılık, zamana bağlı veritabanı kayıtları arasındaki uyumu veya tekrarlanan psikolojik ölçümlerin istikrarını da ifade eder.

Zamansal Tutarlılık Nasıl Çalışır#

Bir video karesi tek bir anı yakalar; komşu kareler ise aynı sahnenin nasıl değiştiğine dair kanıt sağlar. Kareleri birbirinden bağımsız işlemek, renklerin titreşmesine, derinlik tahminlerinin kararsızlaşmasına veya segmentasyon sınırlarının değişmesine yol açabilir. Nicolas Bonneel ve çalışma arkadaşlarının 2015'te yayımladığı Kör Video Zamansal Tutarlılığı, iyileştirme, stilizasyon ve derinlik tahmini uygulamaları da dahil olmak üzere, özgün dizideki zamansal bilgileri kullanarak işlenmiş videoyu kararlı hâle getirir.

Eşleştirme kurmak—hangi konumların aynı sahne içeriğini temsil ettiğini belirlemek—tutarlılığın temelidir. Optik akış, kareler arasındaki piksel hareketini tahmin eder. Çarpıtma, önceki tahmini geçerli karenin koordinatlarına taşır ve böylece karşılık gelen konumlarda karşılaştırma yapılmasını sağlar. Örtüşme maskeleri, başka bir yüzeyin arkasında kalan ve doğrudan eşleştirmenin mümkün olmadığı bölgeleri belirler. Manuel Ruder, Alexey Dosovitskiy ve Thomas Brox, bu mekanizmaları kısa ve uzun vadeli kısıtlarla birleştirerek 2016'da video stil aktarımı yöntemlerini geliştirdi.

Uzamsal tutarlılık, tek bir kare içindeki ilişkilerle ilgilidir. Zamansal tutarlılık ise kareler arasındaki ilişkilerle ilgilidir. Kimliğin korunması bunun bir bileşenidir: Bir nesne, dokusu titreşmeye devam etse bile kimliğini koruyabilir.

Zamansal Tutarlılık Kaybı ve Eğitim#

Zamansal tutarlılık kaybı, farklı zamanlardaki karşılık gelen tahminler arasındaki uyumsuzluğu cezalandırır. Bir düzenlileştirme yöntemi olarak, modelin komşu karelerin desteklediği bilgileri korumasını teşvik eder. Video stilizasyonunda, harekete göre hizalanmış kareli hata kayıp fonksiyonu, içeriği ve sanatsal stili koruyan amaçların yanı sıra, görünür ve eşleşen pikselleri karşılaştırır. Uzun vadeli karşılaştırmalar, daha önce gizli olan bölgeler yeniden göründüğünde görünümün korunmasına yardımcı olur.

Zaten hizalanmış piksel değerleri için kareli hata bileşeni, PyTorch'un ortalama kare hata işlemi kullanılarak ifade edilebilir:

import torch
import torch.nn.functional as F

previous_aligned = torch.tensor([[0.2, 0.4], [0.6, 0.8]])
current = torch.tensor([[0.3, 0.5], [0.7, 0.1]])
visible = torch.tensor([[True, True], [True, False]])

# Compare only corresponding pixels visible in both frames.
pixel_errors = F.mse_loss(current, previous_aligned, reduction="none")
temporal_loss = pixel_errors[visible].mean()
print(f"Temporal consistency loss: {temporal_loss.item():.4f}")

Çıktı 0.0100: Görünür üç eşleşmedeki kareli uyumsuzluğun ortalaması. Maskelenmiş konum kayba hiçbir katkıda bulunmaz.

Diğer mekanizmalar bilgiyi bir tekrarlayan sinir ağı aracılığıyla korur veya zamansal dikkat yoluyla taşır. Bu yaklaşımlar, Wei-Sheng Lai ve çalışma arkadaşlarının 2018'de geliştirdiği kör video zamansal tutarlılığı için tekrarlayan ağda olduğu gibi, işleme sırasında bağlamı kareler boyunca aktarır.

Video Yapay Zekâsındaki Uygulamalar#

Zamansal tutarlılık hem video yorumlamayı hem de görüntü sentezini etkiler:

• Video düzenleme: Karelerden bağımsız sinir ağıyla stil aktarımı, oynatma sırasında titreşim gibi görünen değişken dokular üretir. Hareket kılavuzluğundaki kısıtlar, nesneler hareket ederken stilize görünümü kararlı hâle getirir.
• Video segmentasyonu: Tutarlı maskeler, nesne sınırlarını zaman içinde izler. DAVIS kıyaslama veri kümesi, hareket ve örtüşme boyunca segmentasyonu değerlendirmek için yoğun biçimde etiketlenmiş video dizileri sunar.
• Video oluşturma: Zamansal uyum; öznelerin ve arka planların kararlı olmasını, titreşimin azalmasını ve hareketin akıcı olmasını kapsar. Bu özellikler VBench içinde ayrı ayrı değerlendirilir.

Çoklu nesne takibinde tutarlılık, tespitleri kalıcı kimliklerle ilişkilendirmeye odaklanır. Ultralytics YOLO takip modu, kareler boyunca YOLO26 tespitlerini ilişkilendirmek için ByteTrack gibi takip algoritmalarını kullanır; ikinci ilişkilendirme aşaması, kısmi örtüşmeler sırasında izleri kurtarmak için daha düşük güvenli tespitlerden yararlanır.

Zamansal Tutarlılığı Ölçme#

Değerlendirme, çıktı türüne göre değişir. İşlenmiş videoda, hareket telafili çarpıtma hatası hizalanmış çıktılar arasındaki uyumsuzluğu ölçer; daha düşük hata daha güçlü yerel uyuma işaret eder. Takipte kimlik değişimleri, bir nesneye atanan kimliğin kaç kez değiştiğini sayar. HOTA, tespit ve ilişkilendirme doğruluğunu bir araya getirir ve dizi boyunca kimlik eşleştirmelerini değerlendirir.

Oluşturulan videoların değerlendirilmesinde görünüm kararlılığı hareketten ayrı ele alınır. VBench; özne tutarlılığını, arka plan tutarlılığını, zamansal titreşimi, hareket akıcılığını ve dinamiklik derecesini ölçer. Kararlıktan ayrı olarak hareketi de ölçmek, tutarlı hareketi neredeyse sabit bir diziden ayırır: Hareket akıcılığı puanı bir kare enterpolasyonu modeli kullanırken dinamiklik derecesi, ne kadar hareket gerçekleştiğini tahmin etmek için optik akıştan yararlanır.