Gaussian Splatting

Gaussian Splatting ist eine moderne Rasterisierungstechnik in der Computergrafik und im Bereich des computer vision, um fotorealistische 3D-Szenen aus einer Reihe von 2D-Bildern zu rekonstruieren. Im Gegensatz zur traditionellen 3D-Modellierung, die auf Polygonnetzen basiert, oder neueren KI-Fortschritten wie Neural Radiance Fields (NeRF), die neuronale Netze zur Annäherung an eine Szene verwenden, repräsentiert Gaussian Splatting eine Szene als eine Sammlung von Millionen von 3D-Gauß-Verteilungen (Ellipsoiden). Diese Methode ermöglicht ein Echtzeit-Rendering mit hohen Bildraten (die oft 100 FPS überschreiten) bei gleichzeitiger Beibehaltung einer außergewöhnlichen visuellen Genauigkeit, wodurch ein großes Leistungsengpassproblem früherer Ansichtssynthesemethoden gelöst wird.

So funktioniert Gaussian Splatting#

Die Kernidee dreht sich darum, den 3D-Raum explizit statt implizit darzustellen. In einem typischen Workflow beginnt der Prozess mit einer spärlichen point cloud, die aus einer Reihe von Fotos mithilfe einer Technik namens Structure from Motion (SfM) generiert wurde. Jeder Punkt in dieser Wolke wird dann als 3D-Gauß-Verteilung initialisiert.

Während des training process optimiert das System mehrere Parameter für jede Gauß-Verteilung:

• Position: Die 3D-Koordinaten (X, Y, Z) in der Szene.
• Kovarianz: Dies bestimmt die Form und Rotation des Ellipsoids (z. B. wie gestreckt oder geneigt der "Splat" ist).
• Opazität: Wie transparent oder solide die Gauß-Verteilung erscheint (Alpha-Wert).
• Farbe: Dargestellt unter Verwendung von Spherical Harmonics, wodurch sich die Farbe je nach Blickwinkel ändern kann und realistische Reflexionen sowie Lichteffekte eingefangen werden.

Der Begriff "Splatting" bezieht sich auf den rasterization-Prozess, bei dem diese 3D-Gauß-Verteilungen auf die 2D-Kameraebene projiziert – oder „gesplattet“ – werden, um ein Bild zu bilden. Diese Projektion ist vollständig differenzierbar, was bedeutet, dass Standardalgorithmen des gradient descent verwendet werden können, um den Unterschied zwischen dem gerenderten Bild und dem originalen Ground-Truth-Foto zu minimieren.

Gaussian Splatting vs. NeRF#

Obwohl beide Techniken darauf abzielen, neuartige Ansichten einer Szene zu erzeugen, unterscheiden sie sich grundlegend in Architektur und Leistung. NeRF (Neural Radiance Fields) kodiert eine Szene in den Gewichten eines neural network. Das Rendern eines NeRF erfordert das Abfragen dieses Netzwerks für jeden einzelnen Frame (Ray Marching) Millionen von Malen, was rechenintensiv und langsam ist.

Im Gegensatz dazu verwendet Gaussian Splatting eine explizite Repräsentation (die Liste der Gauß-Verteilungen). Dies ermöglicht die Nutzung einer effizienten kachelrieten Rasterisierung, ähnlich wie Videospiele Grafiken rendern. Folglich ist Gaussian Splatting beim Training und Rendern deutlich schneller als NeRFs, wodurch es für Verbraucheranwendungen und real-time inference besser geeignet ist.

Praxisanwendungen#

Die Geschwindigkeit und Qualität von Gaussian Splatting haben neue Möglichkeiten in verschiedenen Branchen eröffnet:

• Virtueller Tourismus und Immobilien: Ersteller können ein Museum, eine historische Stätte oder ein Haus zum Verkauf mit einer Drohne oder einem Smartphone erfassen. Gaussian Splatting ermöglicht es Remote-Benutzern, diese Räume in Virtual Reality (VR) mit 6 Freiheitsgraden (6DoF) zu erkunden und feine Details wie Reflexionen auf Hartholzböden zu sehen, die die traditionelle Photogrammetrie möglicherweise übersieht.
• Automobilsimulation: Unternehmen, die autonomous vehicles entwickeln, benötigen riesige Mengen an Daten, um ihre Wahrnehmungsalgorithmen zu testen. Gaussian Splatting kann reale Stadtblöcke aus Sensordaten rekonstruieren und eine fotorealistische Simulationsumgebung schaffen. Innerhalb dieser Umgebungen können Visionsmodelle wie Ultralytics YOLO26 getestet werden, um sicherzustellen, dass sie Gefahren in komplexen 3D-Szenarien korrekt erkennen.

Vorverarbeitung für Splatting mit Computer Vision#

Damit Gaussian Splatting effektiv funktioniert, müssen die Trainingsbilder in der Regel statisch sein. Sich bewegende Objekte (wie Fußgänger oder Autos) auf den Quellfotos können Artefakte verursachen, die als "Floater" bezeichnet werden. Fortgeschrittene Pipelines verwenden instance segmentation, um diese dynamischen Elemente vor dem Training des Splat-Modells automatisch auszublenden.

Die Ultralytics Platform ermöglicht es Teams, Datensätze zu verwalten und Modelle zu trainieren, die bei dieser Vorverarbeitungsphase helfen können. Hier ist, wie man ein Segmentierungsmodell verwenden könnte, um Masken für einen für die 3D-Rekonstruktion bestimmten Datensatz zu erstellen:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image from the scan dataset
# Class 0 is 'person' in COCO - we mask them out to keep the scene static
results = model.predict("scan_frame_001.jpg", classes=[0])

# Save the generated mask to exclude the person from the 3D reconstruction
for result in results:
    result.save_masks("scan_frame_001_mask.png")

Bedeutung in der KI und zukünftige Trends#

Gaussian Splatting stellt eine Verlagerung im Bereich computer vision hin zu hybriden Methoden dar, die die Lernfähigkeit von Deep Learning mit der Effizienz klassischer Computergrafik kombinieren. Diese Technik entwickelt sich rasant weiter, wobei Forscher Wege untersuchen, Dateigrößen (die groß sein können) zu komprimieren und sie mit generative AI zu integrieren, um 3D-Assets aus Textanweisungen zu erstellen. Da Hardwarebeschleuniger wie GPUs sich weiter verbessern, wird Gaussian Splatting wahrscheinlich zum Standard für die Erfassung und das Rendern der realen Welt in digitaler Form.