Gaussian Splatting

Gaussian Splatting, bilgisayar grafikleri ve computer vision alanında bir dizi 2D görüntüden fotogerçekçi 3D sahneler yeniden oluşturmak için kullanılan modern bir rasterleştirme tekniğidir. Poligon örgülerine dayanan geleneksel 3D modellemenin veya bir sahneyi yaklaşık olarak hesaplamak için sinir ağları kullanan Neural Radiance Fields (NeRF) gibi son dönem yapay zeka gelişmelerinin aksine, Gaussian Splatting bir sahneyi milyonlarca 3D Gaussian dağılımının (elipsoid) bir koleksiyonu olarak temsil eder. Bu yöntem, önceki görünüm sentezi yöntemlerinde bulunan büyük bir performans darboğazını çözerek, olağanüstü görsel doğruluğu korurken yüksek kare hızlarında (genellikle 100 FPS'yi aşan) gerçek zamanlı işlemeye olanak tanır.

Gaussian Splatting Nasıl Çalışır#

Temel fikir, 3D uzayı örtük bir şekilde değil, açık bir şekilde temsil etme etrafında döner. Tipik bir iş akışında süreç, Structure from Motion (SfM) adı verilen bir teknik kullanılarak bir dizi fotoğraftan oluşturulan seyrek bir point cloud ile başlar. Bu buluttaki her nokta daha sonra bir 3D Gaussian olarak başlatılır.

training process sırasında sistem, her bir Gaussian için çeşitli parametreleri optimize eder:

• Konum: Sahnedeki 3D koordinatlar (X, Y, Z).
• Kovaryans: Elipsoidin şeklini ve dönüşünü belirler (örneğin, "splat"in ne kadar gergin veya eğik olduğu).
• Opaklık: Gaussian'ın ne kadar şeffaf veya katı göründüğü (alfa değeri).
• Renk: Rengin izleme açısına bağlı olarak değişmesine izin veren ve gerçekçi yansımaları ve aydınlatma efektlerini yakalayan Spherical Harmonics kullanılarak temsil edilir.

"Splatting" terimi, bu 3D Gaussian'ların bir görüntü oluşturmak üzere 2D kamera düzlemine yansıtıldığı (veya "splat" edildiği) rasterization sürecini ifade eder. Bu projeksiyon tamamen türevlenebilirdir; yani oluşturulan görüntü ile orijinal temel gerçeklik (ground-truth) fotoğrafı arasındaki farkı en aza indirmek için standart gradient descent algoritmaları kullanılabilir.

Gaussian Splatting ve NeRF Karşılaştırması#

Her iki teknik de bir sahnenin yeni görünümlerini üretmeyi amaçlasa da mimari ve performans açısından temelden farklıdır. NeRF (Neural Radiance Fields), bir sahneyi bir neural network ağının ağırlıkları içinde kodlar. Bir NeRF'yi işlemesi, her bir kare için bu ağı milyonlarca kez sorgulamayı gerektirir (ışın yürütme), ki bu hesaplama açısından pahalı ve yavaştır.

Buna karşılık Gaussian Splatting, açık bir temsil (Gaussian listesi) kullanır. Bu, video oyunlarının grafikleri işlemesine benzer şekilde verimli karo tabanlı rasterleştirmeyi kullanmasına olanak tanır. Sonuç olarak Gaussian Splatting, NeRF'lere kıyasla eğitilmesi ve işlenmesi çok daha hızlıdır; bu da onu tüketici uygulamaları ve real-time inference için daha uygun hale getirir.

Gerçek Dünya Uygulamaları#

Gaussian Splatting'in hızı ve kalitesi çeşitli endüstrilerde yeni kapılar açtı:

• Sanal Turizm ve Gayrimenkul: İçerik oluşturucular bir drone veya akıllı telefon kullanarak bir müzeyi, tarihi alanı veya satılık bir evi kaydedebilir. Gaussian Splatting, uzak kullanıcılıkların bu alanları Virtual Reality (VR) içinde 6 serbestlik derecesiyle (6DoF) keşfetmesine olanak tanır ve geleneksel fotogrametrinin kaçırabileceği parke zeminlerdeki yansımalar gibi ince detayları görmelerini sağlar.
• Otomotiv Simülasyonu: autonomous vehicles geliştiren şirketler, algılama algoritmalarını test etmek için çok büyük miktarda veriye ihtiyaç duyar. Gaussian Splatting, sensör verilerinden gerçek dünyadaki şehir bloklarını yeniden oluşturarak fotogerçekçi bir simülasyon ortamı yaratabilir. Bu ortamlarda, Ultralytics YOLO26 gibi vizyon modelleri, karmaşık 3D senaryolarda tehlikeleri doğru bir şekilde tanımladıklarından emin olmak için test edilebilir.

Bilgisayarlı Görü ile Splatting için Ön İşleme#

Gaussian Splatting'in etkili bir şekilde çalışması için eğitim görüntüleri genellikle statik olmalıdır. Kaynak fotoğraflardaki hareketli nesneler (yayalar veya arabalar gibi) "floaters" adı verilen yapaylıklara neden olabilir. Gelişmiş işlem hatları, splat modelini eğitmeden önce bu dinamik unsurları otomatik olarak maskelemek için instance segmentation kullanır.

Ultralytics Platform, ekiplerin veri kümelerini yönetmesine ve bu ön işleme aşamasında yardımcı olabilecek modeller eğitmesine olanak tanır. İşte 3D yeniden oluşturma için hedeflenen bir veri kümesi için maskeler oluşturmak üzere bir segmentasyon modelinin nasıl kullanılabileceği:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image from the scan dataset
# Class 0 is 'person' in COCO - we mask them out to keep the scene static
results = model.predict("scan_frame_001.jpg", classes=[0])

# Save the generated mask to exclude the person from the 3D reconstruction
for result in results:
    result.save_masks("scan_frame_001_mask.png")

Yapay Zekada Önem ve Gelecek Eğilimleri#

Gaussian Splatting, Deep Learning öğrenilebilirliği ile klasik bilgisayar grafiklerinin verimliliğini birleştiren hibrit yöntemlere doğru computer vision alanında bir değişim temsil eder. Bu teknik hızla gelişmekte olup araştırmacılar dosya boyutlarını sıkıştırmanın (büyük olabilirler) yollarını keşfetmekte ve metin komutlarından 3D varlıklar oluşturmak için onu generative AI ile entegre etmektedir. GPUs gibi donanım hızlandırıcıları gelişmeye devam ettikçe, Gaussian Splatting gerçek dünyayı dijital biçimde yakalamak ve işlemek için standart haline gelmesi muhtemeldir.