Gaussian Splatting

Gaussian Splatting, bir dizi 2D görüntüden fotogerçekçi 3D sahneleri yeniden oluşturmak için bilgisayar grafikleri ve bilgisayarla görmede kullanılan modern bir rasterleştirme tekniğidir. Poligon ağlarına dayanan geleneksel 3D modellemenin veya bir sahneyi yaklaşık olarak ifade etmek için sinir ağları kullanan Neural Radiance Fields (NeRF) gibi yeni yapay zekâ gelişmelerinin aksine Gaussian Splatting, bir sahneyi milyonlarca 3D Gaussian dağılımından (elipsoitlerden) oluşan bir koleksiyon olarak temsil eder. Bu yöntem, olağanüstü görsel doğruluğu korurken yüksek kare hızlarında (genellikle 100 FPS'yi aşan) gerçek zamanlı işleme olanağı sağlar ve önceki görünüm sentezi yöntemlerinde görülen önemli bir performans darboğazını çözer.

Gaussian Splatting Nasıl Çalışır#

Temel fikir, 3D uzayı örtük olarak değil, açıkça temsil etmeye dayanır. Tipik bir iş akışında süreç, Structure from Motion (SfM) adı verilen bir teknik kullanılarak bir dizi fotoğraftan oluşturulan seyrek bir nokta bulutuyla başlar. Bu buluttaki her nokta daha sonra bir 3D Gaussian olarak başlatılır.

Eğitim süreci sırasında sistem, her Gaussian için çeşitli parametreleri optimize eder:

• Konum: Sahnedeki 3D koordinatlar (X, Y, Z).
• Kovaryans: Elipsoidin şeklini ve dönüşünü belirler (örneğin, "splat"in ne kadar uzamış veya eğik olduğu).
• Opaklık: Gaussian'ın ne kadar saydam veya katı göründüğü (alfa değeri).
• Renk: Küresel Harmonikler kullanılarak temsil edilir; böylece renk, görüntüleme açısına bağlı olarak değişebilir ve gerçekçi yansımalar ile aydınlatma efektleri yakalanabilir.

"Splatting" terimi, bu 3D Gaussian'ların bir görüntü oluşturmak üzere 2D kamera düzlemine yansıtıldığı veya "splat" edildiği rasterleştirme sürecini ifade eder. Bu izdüşüm tamamen türevlenebilirdir; yani oluşturulan görüntü ile orijinal gerçek referans fotoğraf arasındaki farkı en aza indirmek için standart gradyan inişi algoritmaları kullanılabilir.

Gaussian Splatting ve NeRF Karşılaştırması#

Her iki teknik de bir sahnenin yeni görünümlerini oluşturmayı amaçlasa da mimari ve performans açısından temelden farklıdır. NeRF (Neural Radiance Fields), bir sahneyi bir sinir ağının ağırlıkları içinde kodlar. Bir NeRF'yi işlemek, her bir kare için bu ağa milyonlarca kez sorgu göndermeyi (ışın yürütme) gerektirir; bu da hesaplama açısından maliyetli ve yavaştır.

Buna karşılık Gaussian Splatting, açık bir temsil (Gaussian'ların listesi) kullanır. Bu sayede video oyunlarının grafikleri işleme biçimine benzer verimli döşeme tabanlı rasterleştirmeden yararlanabilir. Sonuç olarak Gaussian Splatting, NeRF'lerden eğitim ve işleme açısından önemli ölçüde daha hızlıdır; bu da onu tüketici uygulamaları ve gerçek zamanlı çıkarım için daha uygulanabilir kılar.

Gerçek Dünya Uygulamaları#

Gaussian Splatting'in hızı ve kalitesi, çeşitli sektörlerde yeni olanaklar ortaya çıkarmıştır:

• Sanal Turizm ve Gayrimenkul: İçerik üreticileri, bir müzeyi, tarihî alanı veya satılık bir evi drone ya da akıllı telefon kullanarak görüntüleyebilir. Gaussian Splatting, uzaktaki kullanıcıların bu alanları Sanal Gerçeklik (VR) içinde 6 serbestlik derecesiyle (6DoF) keşfetmesine olanak tanır; böylece geleneksel fotogrametrinin gözden kaçırabileceği parke zeminlerdeki yansımalar gibi ince ayrıntılar görülebilir.
• Otomotiv Simülasyonu: Otonom araçlar geliştiren şirketlerin algılama algoritmalarını test etmek için büyük miktarda veriye ihtiyacı vardır. Gaussian Splatting, sensör verilerinden gerçek dünyadaki şehir bloklarını yeniden oluşturarak fotogerçekçi bir simülasyon ortamı meydana getirebilir. Bu ortamlar içinde Ultralytics YOLO26 gibi görme modelleri, karmaşık 3D senaryolardaki tehlikeleri doğru şekilde tanımladıklarından emin olmak için test edilebilir.

Bilgisayarla Görme ile Splatting için Ön İşleme#

Gaussian Splatting'in etkili şekilde çalışabilmesi için eğitim görüntülerinin genellikle sabit olması gerekir. Kaynak fotoğraflardaki hareketli nesneler (yayalar veya arabalar gibi) "floaters" adı verilen yapaylıklara neden olabilir. Gelişmiş işlem hatları, splat modelini eğitmeden önce bu dinamik öğeleri otomatik olarak maskelemek için örnek bölütleme kullanır.

Ultralytics Platformu, ekiplerin veri kümelerini yönetmesine ve bu ön işleme aşamasında yardımcı olabilecek modelleri eğitmesine olanak tanır. 3D yeniden yapılandırma için tasarlanmış bir veri kümesine maskeler oluşturmak üzere bir bölütleme modelinin nasıl kullanılabileceğine dair bir örnek aşağıda verilmiştir:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image from the scan dataset
# Class 0 is 'person' in COCO - we mask them out to keep the scene static
results = model.predict("scan_frame_001.jpg", classes=[0])

# Save the generated mask to exclude the person from the 3D reconstruction
for result in results:
    result.save_masks("scan_frame_001_mask.png")

Yapay Zekâdaki Önemi ve Gelecekteki Eğilimler#

Gaussian Splatting, bilgisayarla görmede Derin Öğrenme yöntemlerinin öğrenilebilirliğini klasik bilgisayar grafiklerinin verimliliğiyle birleştiren hibrit yöntemlere doğru bir değişimi temsil eder. Bu teknik hızla gelişmektedir; araştırmacılar büyük olabilen dosya boyutlarını sıkıştırmanın ve metin istemlerinden 3D varlıklar oluşturmak için üretken yapay zekâyla entegre etmenin yollarını araştırmaktadır. GPU'lar gibi donanım hızlandırıcıları gelişmeye devam ettikçe Gaussian Splatting'in gerçek dünyayı dijital biçimde yakalama ve işleme standardı hâline gelmesi muhtemeldir.