4D Gaussian Splatting

4D Gauss Splatting, zamansal (zaman) bir boyut ekleyerek açık 3D sahne temsili ilkelerini genişleten, bilgisayarlı görü ve derin öğrenme alanlarında çığır açan bir işleme tekniğidir. Geleneksel 3D modelleme durağan ortamları yakalarken 4D Gauss Splatting, dinamik ve hareketli sahnelerin fotogerçekçi biçimde, gerçek zamanlı işlenmesini sağlar. Nesnelerin ve ortamların zaman içinde nasıl deforme olup yer değiştirdiğini modelleyen bu teknoloji, yüksek kare hızlarında benzersiz görsel doğruluk sunarak durağan görüntü ile gerçekçi video sentezi arasındaki boşluğu kapatır.

İlgili İşleme Tekniklerinden Ayıran Özellikler#

Bu kavramı anlamak için onu yakından ilişkili yeni bakış sentezi yöntemleriyle karşılaştırmak yararlı olur. Standart 3D Gauss Splatting, bir sahneyi milyonlarca durağan, elipsoid biçimli dağılımla temsil eder. 4D sürümü zamana bağlı nitelikler ekleyerek bu elipsoidlerin birden fazla kare boyunca hareket etmesini, dönmesini ve ölçeklenmesini sağlar.

Ayrıca, her pikselin ışığını ve rengini örtük biçimde hesaplamak için derin sinir ağlarına dayanan Sinirsel Işıma Alanlarının (NeRF) aksine, 4B Gaussian Splatting uzay ve zamandaki noktaların konumunu açıkça hesaplar. Bu açık rasterleştirme, normalde bilgisayar grafikleri işlemeyle ilişkili hesaplama yükünü büyük ölçüde azaltarak dinamik sahnelerin çok daha hızlı oluşturulmasını sağlar.

4D Gauss Splatting Nasıl Çalışır#

Mimari, her Gaussian'ın durumunu belirli bir zaman damgasında izlemek için sürekli matematiksel işlevlere dayanır. Optimizasyon sürecinde makine öğrenimi algoritmaları, zamansal deformasyon alanının yanı sıra uzamsal koordinatları (X, Y, Z) ve renk değerlerini günceller. Araştırmacılar genellikle bu modelleri PyTorch veya TensorFlow gibi çerçevelerde kurar; bu çerçeveler zamansal parametreleri eğitmek için gereken geri yayılımı yönetir.

Sistem, işlenmiş çıktı ile gerçek değer video dizisi arasındaki farkı en aza indirir. arXiv gibi akademik arşivlerde ve ACM Dijital Kütüphanesi'nde yayımlanan son buluşlar, durağan arka planı dinamik ön plan öğelerinden ayırmanın eğitim kararlılığını büyük ölçüde artırdığını gösterdi.

Gerçek Dünya AI ve ML Uygulamaları#

• Sürükleyici Sanal Gerçeklik (VR): 4D Gauss Splatting, sanal gerçeklik ve artırılmış gerçeklik için dinamik insan performanslarını yakalamada yaygın biçimde kullanılır. İçerik üreticileri, zahmetli hareket yakalama kıyafetlerine başvurmak yerine bir oyuncuyu birden fazla açıdan kaydedip performansın tamamen gezilebilir, serbest bakış açılı videosunu oluşturabilir.
• Otonom Araçlar ve Robotik: Otonom araçların çevrelerini sağlam biçimde anlaması gerekir. Hareketli yayaları ve trafiği içeren dinamik sokak sahnelerini yeniden oluşturan mühendisler, gerçek dünyada kullanıma sunmadan önce otonom gezinme modellerini güvenle test etmek için son derece gerçekçi simülasyonlar oluşturabilir.

4D Yeniden Yapılandırma için Veri Hazırlama#

Yüksek kaliteli 4D sahneler oluşturmanın kritik adımlarından biri, hareketli nesneleri durağan arka plandan ayırmaktır. Geliştiriciler, Splatting işlemi başlamadan önce dinamik maskeler oluşturmak için genellikle nesne izleme ve örnek segmentasyonu kullanır.

Bir videodaki hareketli nesneleri izleyebilir ve onlar için kare başına maskeler oluşturabilirsin; bunun için bir Ultralytics YOLO26 segmentasyon modeli kullan. Aşağıdaki kod, bu ön işleme adımını gösteriyor:

from ultralytics import YOLO

# YOLO26 örnek segmentasyon modelini yükle
model = YOLO("yolo26n-seg.pt")

# Dinamik bir sahne videosundaki hareketli özneleri izle ve her karede her nesne için bir maske oluştur
results = model.track(source="dynamic_scene.mp4", show=True, save=True)

Ekipler, veri kümelerini yönetmek ve özel modeller eğitmek için kaydedilmiş videolarını ve açıklamalarını Ultralytics Platformu'na yükleyebilir. Model eğitimi ipuçlarını uygulamak, 4B sahne oluşturmadan önce elde edilen maskelerin dinamik öğeleri statik arka plandan daha temiz biçimde ayırmasını sağlar.