Gaussian Splatting

Gaussian Splatting, fotogerçekçi 3D sahneleri 2D görüntü kümesinden yeniden oluşturmak için bilgisayar grafikleri ve bilgisayar görü alanında kullanılan modern bir rasterleştirme tekniğidir. Poligon ağlarına dayanan geleneksel 3D modellemeden veya bir sahneyi tahmin etmek için sinir ağlarını kullanan Neural Radiance Fields (NeRF) gibi yakın zamandaki yapay zeka gelişmelerinden farklı olarak Gaussian Splatting, bir sahneyi milyonlarca 3D Gaussian dağılımı (elipsoid) koleksiyonu olarak temsil eder. Bu yöntem, önceki görünüm sentezi yöntemlerinde bulunan önemli bir performans darboğazını çözerek, yüksek görsel sadakati korurken yüksek kare hızlarında (genellikle 100 FPS'yi aşan) gerçek zamanlı işleme olanağı tanır.

Link to this sectionGaussian Splatting Nasıl Çalışır#

The core idea revolves around representing 3D space explicitly rather than implicitly. In a typical workflow, the process begins with a sparse point cloud generated from a set of photos using a technique called Structure from Motion (SfM). Each point in this cloud is then initialized as a 3D Gaussian.

Eğitim süreci sırasında sistem, her Gaussian için birkaç parametreyi optimize eder:

• Konum: Sahnedeki 3D koordinatlar (X, Y, Z).
• Kovaryans: Elipsoidin şeklini ve dönüşünü belirler (örneğin, "splat"in ne kadar gergin veya eğik olduğu).
• Opaklık: Gaussian'ın ne kadar şeffaf veya katı göründüğü (alfa değeri).
• Renk: Küre Harmonikleri kullanılarak temsil edilir; bu, rengin bakış açısına bağlı olarak değişmesine izin vererek gerçekçi yansımaları ve aydınlatma efektlerini yakalar.

"Splatting" terimi, bu 3D Gaussianların bir görüntü oluşturmak için 2D kamera düzlemine yansıtıldığı—veya "splat" edildiği—rasterleştirme sürecini ifade eder. Bu yansıtma tamamen türevlenebilirdir, yani oluşturulan görüntü ile orijinal gerçek dünya fotoğrafı arasındaki farkı en aza indirmek için standart gradyan inişi algoritmaları kullanılabilir.

Link to this sectionGaussian Splatting ve NeRF Karşılaştırması#

Her iki teknik de bir sahnenin yeni görünümlerini oluşturmayı amaçlasa da mimari ve performans açısından temelden farklıdırlar. NeRF (Neural Radiance Fields), bir sahneyi bir sinir ağının ağırlıkları içinde kodlar. Bir NeRF oluşturmak, her bir kare için bu ağın milyonlarca kez sorgulanmasını (ray marching) gerektirir, bu da hesaplama açısından pahalı ve yavaştır.

Buna karşılık Gaussian Splatting, açık bir temsil (Gaussian listesi) kullanır. Bu, video oyunlarının grafikleri işlemesine benzer şekilde verimli karo tabanlı rasterleştirmeden yararlanmasını sağlar. Sonuç olarak, Gaussian Splatting'in eğitilmesi ve işlenmesi NeRF'lere göre önemli ölçüde daha hızlıdır, bu da onu tüketici uygulamaları ve gerçek zamanlı çıkarım için daha uygun hale getirir.

Link to this sectionGerçek Dünya Uygulamaları#

Gaussian Splatting'in hızı ve kalitesi çeşitli endüstrilerde yeni kapılar açtı:

• Sanal Turizm ve Gayrimenkul: İçerik oluşturucular bir müzeyi, tarihi alanı veya satılık bir evi drone veya akıllı telefon kullanarak çekebilirler. Gaussian Splatting, uzak kullanıcıların bu alanları Sanal Gerçeklikte (VR) 6 serbestlik derecesi (6DoF) ile keşfetmelerine, geleneksel fotogrametrinin gözden kaçırabileceği parke zeminlerdeki yansımalar gibi ince detayları görmelerine olanak tanır.
• Otomotiv Simülasyonu: Otonom araçlar geliştiren şirketlerin algı algoritmalarını test etmek için büyük miktarda veriye ihtiyaçları vardır. Gaussian Splatting, sensör verilerinden gerçek dünya şehir bloklarını yeniden oluşturarak fotogerçekçi bir simülasyon ortamı yaratabilir. Bu ortamlarda, Ultralytics YOLO26 gibi görü modelleri, karmaşık 3D senaryolardaki tehlikeleri doğru bir şekilde tanımladıklarından emin olmak için test edilebilir.

Link to this sectionBilgisayarlı Görü ile Splatting için Ön İşleme#

Gaussian Splatting'in etkili bir şekilde çalışması için eğitim görüntülerinin genellikle statik olması gerekir. Kaynak fotoğraflardaki hareketli nesneler (yayalar veya arabalar gibi), "floaters" adı verilen yapaylıklara neden olabilir. Gelişmiş işlem hatları, splat modelini eğitmeden önce bu dinamik unsurları otomatik olarak maskelemek için örnek bölütleme kullanır.

Ultralytics Platform, ekiplerin veri kümelerini yönetmelerine ve bu ön işleme aşamasında yardımcı olabilecek modelleri eğitmelerine olanak tanır. İşte 3D yeniden oluşturma için tasarlanmış bir veri kümesi için maskeler oluşturmak amacıyla bir bölütleme modelinin nasıl kullanılabileceği:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image from the scan dataset
# Class 0 is 'person' in COCO - we mask them out to keep the scene static
results = model.predict("scan_frame_001.jpg", classes=[0])

# Save the generated mask to exclude the person from the 3D reconstruction
for result in results:
    result.save_masks("scan_frame_001_mask.png")

Link to this sectionYapay Zekada Önem ve Gelecek Eğilimleri#

Gaussian Splatting, bilgisayarlı görü alanında Derin Öğrenmenin öğrenilebilirliğini klasik bilgisayar grafiklerinin verimliliğiyle birleştiren hibrit yöntemlere doğru bir değişimi temsil eder. Bu teknik hızla gelişiyor; araştırmacılar dosya boyutlarını (büyük olabilir) sıkıştırmanın yollarını keşfediyor ve metin istemlerinden 3D varlıklar oluşturmak için onu üretken yapay zeka ile entegre ediyor. GPU'lar gibi donanım hızlandırıcıları gelişmeye devam ettikçe, Gaussian Splatting gerçek dünyayı dijital biçimde yakalamak ve işlemek için standart haline gelecektir.