Gaussian Splatting

Le splatting gaussien est une technique moderne de rastérisation utilisée en infographie et en vision par ordinateur pour reconstruire des scènes 3D photoréalistes à partir d'un ensemble d'images 2D. Contrairement à la modélisation 3D traditionnelle, qui repose sur des maillages polygonaux, ou aux avancées récentes de l'IA comme les champs de rayonnement neuronaux (NeRF), qui utilisent des réseaux neuronaux pour approximer une scène, le splatting gaussien représente une scène sous la forme d'un ensemble de millions de distributions gaussiennes 3D (ellipsoïdes). Cette méthode permet un rendu en temps réel à des fréquences d'images élevées (dépassant souvent 100 FPS) tout en maintenant une fidélité visuelle exceptionnelle, résolvant ainsi un important goulot d'étranglement en matière de performances présent dans les méthodes précédentes de synthèse de vues.

Fonctionnement du splatting gaussien#

L'idée centrale consiste à représenter explicitement l'espace 3D plutôt qu'implicitement. Dans un flux de travail classique, le processus commence par un nuage de points clairsemé généré à partir d'un ensemble de photos à l'aide d'une technique appelée structure à partir du mouvement (SfM). Chaque point de ce nuage est ensuite initialisé comme un gaussien 3D.

Au cours du processus d'entraînement, le système optimise plusieurs paramètres pour chaque gaussien :

• Position : Les coordonnées 3D (X, Y, Z) dans la scène.
• Covariance : Elle détermine la forme et la rotation de l'ellipsoïde (par exemple, le degré d'étirement ou d'inclinaison du « splat »).
• Opacité : Le degré de transparence ou de solidité du gaussien (valeur alpha).
• Couleur : Représentée à l'aide des harmoniques sphériques, ce qui permet à la couleur de varier en fonction de l'angle de vue et de capturer des réflexions et des effets d'éclairage réalistes.

Le terme « splatting » désigne le processus de rastérisation au cours duquel ces gaussiens 3D sont projetés — ou « splattés » — sur le plan de la caméra 2D afin de former une image. Cette projection est entièrement différentiable, ce qui signifie que des algorithmes standard de descente de gradient peuvent être utilisés pour réduire la différence entre l'image rendue et la photo originale de vérité terrain.

Splatting gaussien et NeRF#

Bien que les deux techniques visent à générer de nouvelles vues d'une scène, elles diffèrent fondamentalement par leur architecture et leurs performances. NeRF (champs de rayonnement neuronaux) encode une scène dans les poids d'un réseau neuronal. Le rendu d'un NeRF nécessite d'interroger ce réseau des millions de fois pour chaque image (ray marching), ce qui est coûteux en calcul et lent.

En revanche, le splatting gaussien utilise une représentation explicite (la liste des gaussiens). Il peut ainsi exploiter une rastérisation efficace fondée sur des tuiles, similaire à celle utilisée par les jeux vidéo pour effectuer le rendu des graphismes. Par conséquent, le splatting gaussien est nettement plus rapide à entraîner et à rendre que les NeRF, ce qui le rend plus viable pour les applications grand public et l'inférence en temps réel.

Applications concrètes#

La vitesse et la qualité du splatting gaussien ont ouvert de nouvelles possibilités dans divers secteurs :

• Tourisme virtuel et immobilier : Les créateurs peuvent numériser un musée, un site historique ou une maison à vendre à l'aide d'un drone ou d'un smartphone. Le splatting gaussien permet aux utilisateurs distants d'explorer ces espaces en réalité virtuelle (VR) avec 6 degrés de liberté (6DoF), en observant des détails fins comme les reflets sur les parquets en bois que la photogrammétrie traditionnelle pourrait ne pas restituer.
• Simulation automobile : Les entreprises qui développent des véhicules autonomes ont besoin de grandes quantités de données pour tester leurs algorithmes de perception. Le splatting gaussien peut reconstruire des pâtés de maisons réels à partir de données de capteurs, créant ainsi un environnement de simulation photoréaliste. Dans ces environnements, des modèles de vision comme Ultralytics YOLO26 peuvent être testés afin de vérifier qu'ils identifient correctement les dangers dans des scénarios 3D complexes.

Prétraitement pour le splatting avec la vision par ordinateur#

Pour que le splatting gaussien fonctionne efficacement, les images d'entraînement doivent généralement être statiques. Les objets en mouvement (comme les piétons ou les voitures) présents sur les photos sources peuvent provoquer des artefacts appelés « floaters ». Les pipelines avancés utilisent la segmentation d'instances pour masquer automatiquement ces éléments dynamiques avant l'entraînement du modèle de splatting.

La plateforme Ultralytics permet aux équipes de gérer des jeux de données et d'entraîner des modèles qui peuvent contribuer à cette phase de prétraitement. Voici comment utiliser un modèle de segmentation pour créer des masques pour un jeu de données destiné à la reconstruction 3D :

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image from the scan dataset
# Class 0 is 'person' in COCO - we mask them out to keep the scene static
results = model.predict("scan_frame_001.jpg", classes=[0])

# Save the generated mask to exclude the person from the 3D reconstruction
for result in results:
    result.save_masks("scan_frame_001_mask.png")

Importance dans l'IA et tendances futures#

Le splatting gaussien marque une évolution de la vision par ordinateur vers des méthodes hybrides qui combinent la capacité d'apprentissage du Deep Learning avec l'efficacité de l'infographie classique. Cette technique évolue rapidement, les chercheurs explorant des moyens de compresser la taille des fichiers (qui peut être importante) et de l'intégrer à l'IA générative pour créer des ressources 3D à partir d'invites textuelles. À mesure que les accélérateurs matériels comme les GPUs continuent de progresser, le splatting gaussien devrait devenir la norme pour capturer et restituer le monde réel sous forme numérique.