4D Gaussian Splatting

4D Gaussian splatting (4DGS), gerçek zamanlı olarak, her an yeni bakış açılarından işlenebilmesi için videodan hareketli bir sahneyi yeniden oluşturur. Statik bir sahneyi ekrana yansıtılıp harmanlanan milyonlarca yumuşak 3D elipsoitle temsil eden 3D Gaussian splatting yöntemini genişleterek Gauss bileşenlerinin zaman içinde hareket etmesini, dönmesini, şekil değiştirmesini ve belirmesini ya da kaybolmasını sağlar. Ekim 2023'te yayımlanan iki makale, farklı tasarımlarla bu adı ortaya koydu. Huazhong Bilim ve Teknoloji Üniversitesi ile Huawei'den Guanjun Wu ve çalışma arkadaşlarının Gerçek Zamanlı Dinamik Sahne İşleme için 4D Gaussian Splatting çalışması (CVPR 2024), tek bir 3D Gauss kümesini öğrenilmiş bir deformasyon alanıyla biçim değiştirerek işler. Fudan Üniversitesi'nden Zeyu Yang ve çalışma arkadaşlarının 4D Gaussian Splatting ile Gerçek Zamanlı Fotogerçekçi Dinamik Sahne Temsili ve İşleme çalışması (ICLR 2024) ise uzay ve zaman üzerinde tanımlanmış yerel 4D Gauss bileşenlerini kullanır. Her iki yöntem de dinamik yeni bakış açısı sentezi yöntemidir ve bu sentez sıklıkla serbest bakış açılı video olarak adlandırılır.

4D Gauss Splatting Nasıl Çalışır#

En uygun girdi, sahneyi çevreleyen kameralardan alınmış eşzamanlı videolardır. Buna örnek olarak, 18 ila 21 kameradan alınan 10 saniyelik, 30 FPS kayıtları ve Structure from Motion ile belirlenen kamera pozlarını içeren Neural 3D Video veri kümesi (Plenoptic Video olarak da bilinir) verilebilir. Tek bir hareketli kamera da işe yarar, ancak derinliği ve hareketi birbirinden ayırmayı zorlaştırır. Eğitim, 3D yöntemi izler: Sahneyi bir eğitim kamerasından tek bir zaman damgasında oluştur, görüntüyü gerçek video karesiyle karşılaştır ve türevlenebilir işleyici üzerinden gradyan inişi ile her parametreyi güncelle. İki tasarım, belirli bir zaman damgası için Gauss bileşenlerini nasıl ürettikleri bakımından farklılaşır:

• Deformasyon alanı: Wu ve arkadaşları tek bir kanonik 3D Gauss kümesini korur. Her zaman damgası için, HexPlane'deki gibi düzlemlere ayrıştırılan, öğrenilmiş uzamsal ve zamansal özelliklerden oluşan kompakt bir ızgara her Gauss bileşenine özellik sağlar; hafif bir MLP ise bileşenin ne kadar hareket edeceğini, döneceğini ve esneyeceğini tahmin eder. Yöntem, RTX 3090 GPU üzerinde 800×800 çözünürlükte 82 FPS hızında işleme yapar.
• Yerel 4D Gauss bileşenleri: Yang ve arkadaşları her temel bileşene x, y, z ve zaman üzerinde 4D ortalama ve kovaryans verir; 4D dönüş, bir çift kuaterniyondan oluşturulur. Renk, görüntüleme yönüne ve zamana göre 4D sferindirik harmonikler aracılığıyla değişir; bu harmonikler küresel harmonikleri zamandaki bir Fourier serisiyle çarpar. Makale, Neural 3D Video karşılaştırma testinde 114 FPS bildirmiştir; deformasyon alanı yöntemi ise 36 FPS değerine ulaşmıştır.

Yerel bir 4D Gauss bileşenini t zamanında dilimlemek, Gauss koşullamasıdır: t sabitlendiğinde merkezi kaymış ve kovaryansı küçülmüş bir 3D Gauss bileşeni elde edilir; Gauss bileşeninin zaman üzerindeki 1D marjinali ise opaklığını ölçekler. t anındaki zamansal ağırlığı ihmal edilebilir düzeyde olan Gauss bileşenleri rasterleştirmeden önce atlanır. Bu PyTorch kodu, bir 4D Gauss bileşenini üç zaman damgasında dilimler:

import torch

torch.manual_seed(0)
# One 4D Gaussian over (x, y, z, t): a mean and a covariance that couples position with time
mean = torch.tensor([0.0, 0.0, 0.0, 0.5])
factor = torch.randn(4, 4) * 0.3
cov = factor @ factor.T + 0.01 * torch.eye(4)

# Slicing at time t conditions the 4D Gaussian on t, leaving a 3D Gaussian to rasterize
for t in (0.1, 0.5, 0.9):
    center = mean[:3] + cov[:3, 3] / cov[3, 3] * (t - mean[3])
    cov_3d = cov[:3, :3] - torch.outer(cov[:3, 3], cov[3, :3]) / cov[3, 3]
    # The temporal marginal fades the Gaussian in and out around its mean time
    opacity_scale = torch.exp(-0.5 * (t - mean[3]) ** 2 / cov[3, 3])
    print(f"t={t}: center {center.numpy().round(2)}, opacity x{opacity_scale:.2f}, volume {cov_3d.det().sqrt():.4f}")

Çıktıda [0.23 -0.15 0.16] merkezinin t=0.1 zamanında, [0. 0. 0.] merkezinin t=0.5 zamanında ve [-0.23 0.15 -0.16] merkezinin t=0.9 zamanında olduğu görülür. Opaklık katsayısı 0,74'ten 1,00'a yükselip yeniden 0,74'e inerken hacim 0,1030'da sabit kalır. Koşullu kovaryans t'ye bağlı değildir; bu nedenle her 4D Gauss bileşeni, sabit şekilli bir 3D Gauss bileşenine dönüşür. Bu bileşen düz bir çizgi boyunca kayar ve giderek belirip kaybolur; karmaşık hareketler ise çok sayıda kısa ömürlü Gauss bileşeninden ortaya çıkar.

Yeniden oluşturma hatalarının çoğu hareketli nesnelerden kaynaklanır. Bu nedenle birçok işlem hattı statik arka planı dinamik ön plan öğelerinden ayırır; bazıları da her hareketli nesneye kendi Gauss kümesini verir. Ultralytics YOLO26 örnek bölümleme modelleri izleme modunda çalıştırıldığında, her karedeki her kişi ve araç için, video boyunca değişmeyen bir kimlik altında maske üretir. Bu maske hangi piksellerin hangi hareketli nesneye ait olduğunu belirtir.

4D Gaussian Splatting ve İlişkili Yöntemler#

• Kare başına 3D Gaussian splatting: Her kareyi ayrı ayrı yeniden oluşturmak, kare başına tam bir sahne kaydeder ve kareler arasında titremeye yol açar. 4DGS, Gauss bileşenlerini zaman boyunca paylaşır; böylece statik arka plan bir kez kaydedilir ve hareketli parçalar zamansal tutarlılığını korur.
• Dinamik NeRF'ler: D-NeRF, HexPlane ve diğer dinamik nöral ışınım alanları da kanonik bir sahneyi her zaman damgasına eşler. Ancak her kamera ışını boyunca pek çok noktada nöral alanı değerlendirirler; bu da işlemeyi Gauss bileşenlerini rasterleştirmekten çok daha yavaş hâle getirir. Deformasyon alanı tasarımına sahip 4DGS, aynı kanonik sahne artı deformasyon fikrini rasterleştirilmiş Gauss bileşenleriyle uygular.
• Dinamik 3D Gauss bileşenleri: Jonathon Luiten ve çalışma arkadaşları her Gauss bileşeninin rengini, opaklığını ve boyutunu sabit tutup yalnızca konumunun ve dönüşünün değişmesine izin verir; yerel katılık kısıtlarını da uygular. Yeniden oluşturma sonucunda, sahnedeki her öğe için yoğun 6 serbestlik dereceli nokta izleme elde edilir.
• Video üretimi: Üretken video modelleri bir istemden yeni görüntüler oluşturur. 4DGS ise kameraların kaydettiği bir olayı yeniden oluşturur ve yeni bakış açılarından ve zamanlardan tekrar işler.

Gerçek Dünya Uygulamaları#

• VR ve AR için hacimsel video: Kamera düzenekleriyle kaydedilen performanslar, spor anları ve röportajlar; izleyicilerin başlık veya tarayıcı üzerinden çevresinde dolaşabileceği serbest bakış açılı kliplere dönüştürülür.
• Uzaktan iletişim ve avatarlar: Kişilerin çok kameralı çekimleri, uzaktan iletişim ve dijital ikizler için animasyonlu, fotogerçekçi 3D temsiller oluşturur.
• Sürüş simülasyonu: Otonom araç ekipleri, algı sistemlerini test etmek için kaydedilmiş sürüşleri hareketli trafikle yeniden oluşturur ve farklı konumlara kaydırılmış kameralardan tekrar işler. Street Gaussians modelleri, izlenen her aracı optimize edilmiş izleme pozlarıyla hareket eden kendi Gauss kümesi olarak temsil eder; yaklaşık yarım saatte eğitilir ve 1066×1600 çözünürlükte sokak sahnelerini 135 FPS hızında işler.