Gaussian Splatting

Il Gaussian Splatting è una moderna tecnica di rasterizzazione utilizzata nella computer grafica e nella computer vision per ricostruire scene 3D fotorealistiche da un insieme di immagini 2D. A differenza della modellazione 3D tradizionale che si basa su mesh poligonali, o dei recenti progressi dell'IA come Neural Radiance Fields (NeRF) che usano reti neurali per approssimare una scena, il Gaussian Splatting rappresenta una scena come un insieme di milioni di distribuzioni gaussiane 3D (ellissoidi). Questo metodo consente il rendering in tempo reale a frame rate elevati (superiori spesso a 100 FPS) mantenendo un'eccezionale fedeltà visiva, risolvendo un importante collo di bottiglia delle prestazioni riscontrato nei precedenti metodi di sintesi delle viste.

Come funziona il Gaussian Splatting#

L'idea di fondo ruota attorno alla rappresentazione esplicita anziché implicita dello spazio 3D. In un flusso di lavoro tipico, il processo inizia con una point cloud sparsa generata da un insieme di foto utilizzando una tecnica chiamata Structure from Motion (SfM). Ogni punto di questa nuvola viene quindi inizializzato come una gaussiana 3D.

Durante il training process, il sistema ottimizza diversi parametri per ciascuna gaussiana:

• Posizione: Le coordinate 3D (X, Y, Z) nella scena.
• Covarianza: Determina la forma e la rotazione dell'ellissoide (ad esempio, quanto è allungato o inclinato lo "splat").
• Opacità: Quanto la gaussiana appare trasparente o solida (valore alfa).
• Colore: Rappresentato tramite Spherical Harmonics, che consente al colore di cambiare a seconda dell'angolo di visuale, catturando riflessi realistici ed effetti di luce.

Il termine "splatting" si riferisce al processo di rasterizzazione in cui queste gaussiane 3D vengono proiettate, o "splattate", sul piano della telecamera 2D per formare un'immagine. Questa proiezione è completamente differenziabile, il che significa che è possibile utilizzare algoritmi standard di gradient descent per ridurre al minimo la differenza tra l'immagine renderizzata e la foto di riferimento originale (ground truth).

Gaussian Splatting vs. NeRF#

Sebbene entrambe le tecniche mirino a generare nuove viste di una scena, differiscono fondamentalmente in termini di architettura e prestazioni. NeRF (Neural Radiance Fields) codifica una scena all'interno dei pesi di una neural network. Il rendering di un NeRF richiede di interrogare questa rete milioni di volte per ogni singolo fotogramma (ray marching), operazione computazionalmente costosa e lenta.

Al contrario, il Gaussian Splatting utilizza una rappresentazione esplicita (l'elenco delle gaussiane). Ciò gli consente di sfruttare un'efficiente rasterizzazione basata su tile, simile al modo in cui i videogiochi eseguono il rendering della grafica. Di conseguenza, il Gaussian Splatting è significativamente più veloce da addestrare e renderizzare rispetto ai NeRF, rendendolo più adatto per applicazioni consumer e real-time inference.

Applicazioni nel mondo reale#

La velocità e la qualità del Gaussian Splatting hanno aperto nuove porte in diversi settori:

• Turismo virtuale e immobiliare: I creatori possono catturare un museo, un sito storico o una casa in vendita utilizzando un drone o uno smartphone. Il Gaussian Splatting consente agli utenti remoti di esplorare questi spazi in Virtual Reality (VR) con 6 gradi di libertà (6DoF), vedendo dettagli fini come i riflessi sui pavimenti in legno che la fotogrammetria tradizionale potrebbe perdere.
• Simulazione automobilistica: Le aziende che sviluppano autonomous vehicles hanno bisogno di enormi quantità di dati per testare i loro algoritmi di percezione. Il Gaussian Splatting può ricostruire isolati urbani del mondo reale dai dati dei sensori, creando un ambiente di simulazione fotorealistico. All'interno di questi ambienti, i modelli di visione come Ultralytics YOLO26 possono essere testati per assicurarsi che identifichino correttamente i pericoli in scenari 3D complessi.

Preprocessing per lo Splatting con la computer vision#

Affinché il Gaussian Splatting funzioni in modo efficace, le immagini di training devono solitamente essere statiche. Gli oggetti in movimento (come pedoni o auto) nelle foto di origine possono causare artefatti chiamati "floaters". Pipeline avanzate utilizzano l'instance segmentation per escludere automaticamente questi elementi dinamici prima di addestrare il modello di splat.

La Ultralytics Platform consente ai team di gestire dataset e addestrare modelli che possono aiutare in questa fase di pre-elaborazione. Ecco come si potrebbe usare un modello di segmentazione per creare maschere per un dataset destinato alla ricostruzione 3D:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image from the scan dataset
# Class 0 is 'person' in COCO - we mask them out to keep the scene static
results = model.predict("scan_frame_001.jpg", classes=[0])

# Save the generated mask to exclude the person from the 3D reconstruction
for result in results:
    result.save_masks("scan_frame_001_mask.png")

Significato nell'IA e tendenze future#

Il Gaussian Splatting rappresenta un cambiamento nella computer vision verso metodi ibridi che combinano la capacità di apprendimento del Deep Learning con l'efficienza della computer grafica classica. Questa tecnica si sta evolvendo rapidamente, con ricercatori che esplorano modi per comprimere le dimensioni dei file (che possono essere grandi) e integrarla con l'generative AI per creare asset 3D da prompt di testo. Man mano che gli acceleratori hardware come le GPUs continuano a migliorare, è probabile che il Gaussian Splatting diventi lo standard per catturare e renderizzare il mondo reale in forma digitale.