Gauss Dağılımı

Gauss Splatting, bilgisayar grafikleri ve bilgisayar görüşünde bir dizi 2D görüntüden fotogerçekçi 3D sahneleri yeniden oluşturmak için kullanılan modern bir rasterleştirme tekniğidir. Poligon ağlarına dayanan geleneksel 3D modellemeden veya sahneyi yaklaşık olarak modellemek için sinir ağlarını kullanan Neural Radiance Fields (NeRF) gibi son zamanlarda AI alanında kaydedilen ilerlemelerden farklı olarak, Gauss Splatting bir sahneyi milyonlarca 3D Gauss dağılımının (elipsoid) bir koleksiyonu olarak temsil eder. Bu yöntem, olağanüstü görsel kaliteyi korurken yüksek kare hızlarında (genellikle 100 FPS'yi aşan) gerçek zamanlı renderlemeyi mümkün kılar ve önceki görüntü sentezleme yöntemlerinde görülen önemli bir performans darboğazını ortadan kaldırır.

Gauss Dağılmasının Çalışma Prensibi

Temel fikir, 3D uzayı örtük olarak değil, açık bir şekilde temsil etmektir. Tipik bir iş akışında, süreç, Structure from Motion (SfM) adı verilen bir teknik kullanılarak bir dizi fotoğraftan oluşturulan seyrek bir nokta bulutu ile başlar. Bu buluttaki her nokta daha sonra 3D Gauss olarak başlatılır. Bu, her bir noktanın bir 3D Gauss dağılımının merkez noktası olduğu anlamına gelir.

Eğitim süreci boyunca sistem, her Gauss dağılımı için birkaç parametreyi optimize eder:

• Konum: Sahnedeki 3B koordinatlar (X, Y, Z).
• Ortogonal: Bu, elipsoidin şeklini ve dönüşünü belirler (örneğin, "sıçrama"nın ne kadar gergin veya eğik olduğunu ).
• Opaklık: Gauss dağılımının ne kadar şeffaf veya katı göründüğü (alfa değeri).
• Renk: Küresel Harmonikler kullanılarak temsil edilir, bu sayede renk izleme açısına göre değişebilir ve gerçekçi yansımalar ve ışık efektleri yakalanabilir.

"Splatting" terimi, bu 3D Gauss dağılımlarının bir görüntü oluşturmak için 2D kamera düzlemine yansıtıldığı veya "splatted" edildiği rasterleştirme işlemini ifade eder. Bu yansıtma tamamen farklılaştırılabilir, yani standart gradyan iniş algoritmaları, işlenen görüntü ile orijinal gerçek fotoğraf arasındaki farkı en aza indirmek için kullanılabilir.

Gauss Splatting ve NeRF

Her iki teknik de bir sahnenin yeni görünümlerini oluşturmayı amaçlasa da, mimari ve performans açısından temel farklılıklar gösterir. NeRF (Neural Radiance Fields), bir sahneyi sinir ağının ağırlıkları içinde kodlar. Bir NeRF'yi render etmek, her bir kare için bu ağa milyonlarca kez sorgu göndermek (ray marching) gerektirir, bu da hesaplama açısından pahalı ve yavaş bir işlemdir.

Buna karşılık, Gauss Splatting açık bir temsil (Gauss listesi) kullanır. Bu, video oyunlarının grafikleri işleme biçimine benzer şekilde verimli döşeme tabanlı rasterleştirme kullanmasına olanak tanır. Sonuç olarak, Gauss Splatting NeRF'lerden önemli ölçüde daha hızlı eğitilebilir ve işlenebilir, bu da onu tüketici uygulamaları ve gerçek zamanlı çıkarım için daha uygun hale getirir.

Gerçek Dünya Uygulamaları

Gauss Splatting'in hızı ve kalitesi, çeşitli endüstrilerde yeni kapılar açmıştır:

• Sanal Turizm ve Emlak: Yaratıcılar, bir müzeyi, tarihi bir yeri veya satılık bir evi drone veya akıllı telefon kullanarak görüntüleyebilir. Gauss Splatting, uzak kullanıcıların bu alanları 6 serbestlik derecesine (6DoF) sahip Sanal Gerçeklik (VR) ile keşfetmelerine olanak tanır ve geleneksel fotogrametri ile kaçırılabilecek parke zeminlerdeki yansımalar gibi ince ayrıntıları görmelerini sağlar.
• Otomotiv Simülasyonu: Otonom araçlar geliştiren şirketler, algılama algoritmalarını test etmek için büyük miktarda veriye ihtiyaç duyar. Gaussian Splatting, sensör verilerinden gerçek dünyadaki şehir bloklarını yeniden oluşturabilir ve fotogerçekçi bir simülasyon ortamı yaratabilir. Bu ortamlarda, Ultralytics gibi görme modelleri, karmaşık 3D senaryolarda tehlikeleri doğru bir şekilde tespit edip etmediklerini test etmek için kullanılabilir.

Bilgisayar Görme ile Splatting için Ön İşleme

Gauss Splatting'in etkili bir şekilde çalışması için, eğitim görüntüleri genellikle statik olmalıdır. Kaynak fotoğraflardaki hareketli nesneler ( yayalar veya arabalar gibi) "floater" adı verilen artefaktlara neden olabilir. Gelişmiş boru hatları, splat modelini eğitmeden önce bu dinamik öğeleri otomatik olarak maskelemek için örnek segmentasyonu kullanır.

Ultralytics , ekiplerin veri kümelerini yönetmelerine ve bu ön işleme aşamasında yardımcı olabilecek modeller eğitmelerine olanak tanır. 3D rekonstrüksiyon amaçlı bir veri kümesi için maskeler oluşturmak üzere bir segmentasyon modelinin nasıl kullanılabileceği aşağıda açıklanmaktadır: :

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image from the scan dataset
# Class 0 is 'person' in COCO - we mask them out to keep the scene static
results = model.predict("scan_frame_001.jpg", classes=[0])

# Save the generated mask to exclude the person from the 3D reconstruction
for result in results:
    result.save_masks("scan_frame_001_mask.png")

Yapay Zeka ve Gelecek Trendlerinde Önemi

Gauss Splatting, bilgisayar görüşünde, derin öğrenmenin öğrenilebilirliğini klasik bilgisayar grafiklerinin verimliliği ile birleştiren hibrit yöntemlere doğru bir kaymayı temsil eder. Bu teknik hızla gelişmekte olup, araştırmacılar dosya boyutlarını (büyük olabilen) sıkıştırmanın ve bunu üretken yapay zeka ile entegre ederek metin komutlarından 3D varlıklar oluşturmanın yollarını araştırmaktadır. GPU gibi donanım hızlandırıcıları gelişmeye devam ettikçe, Gauss Splatting gerçek dünyayı dijital formda yakalama ve işleme için standart hale gelebilir. GPU gibi donanım hızlandırıcıları gelişmeye devam ettikçe, Gauss Splatting'in gerçek dünyayı dijital formda yakalamak ve işlemek için standart hale gelmesi muhtemeldir.