Gaussian Splatting

Le Gaussian Splatting est une technique de rastérisation moderne utilisée en infographie et en vision par ordinateur pour reconstruire des scènes 3D photoréalistes à partir d'un ensemble d'images 2D. Contrairement à la modélisation 3D traditionnelle qui repose sur des maillages polygonaux, ou aux avancées récentes en IA comme les Neural Radiance Fields (NeRF) qui utilisent des réseaux neuronaux pour approximer une scène, le Gaussian Splatting représente une scène comme une collection de millions de distributions gaussiennes 3D (ellipsoïdes). Cette méthode permet un rendu en temps réel à des taux de rafraîchissement élevés (dépassant souvent 100 FPS) tout en conservant une fidélité visuelle exceptionnelle, résolvant ainsi un goulot d'étranglement majeur des performances rencontré dans les méthodes de synthèse de vue précédentes.

Link to this sectionComment fonctionne le Gaussian Splatting#

L'idée fondamentale repose sur la représentation explicite plutôt qu'implicite de l'espace 3D. Dans un flux de travail typique, le processus commence par un nuage de points épars généré à partir d'un ensemble de photos en utilisant une technique appelée Structure from Motion (SfM). Chaque point de ce nuage est ensuite initialisé sous forme de gaussienne 3D.

Pendant le processus d'entraînement, le système optimise plusieurs paramètres pour chaque gaussienne :

• Position : Les coordonnées 3D (X, Y, Z) dans la scène.
• Covariance : Ceci détermine la forme et la rotation de l'ellipsoïde (par exemple, à quel point le « splat » est étiré ou incliné).
• Opacité : À quel point la gaussienne apparaît transparente ou solide (valeur alpha).
• Couleur : Représentée en utilisant des harmoniques sphériques, permettant à la couleur de changer selon l'angle de vue, capturant ainsi des reflets et des effets d'éclairage réalistes.

Le terme « splatting » fait référence au processus de rastérisation où ces gaussiennes 3D sont projetées — ou « splattées » — sur le plan de la caméra 2D pour former une image. Cette projection est entièrement différentiable, ce qui signifie que des algorithmes de descente de gradient standards peuvent être utilisés pour minimiser la différence entre l'image rendue et la photo de référence originale.

Link to this sectionGaussian Splatting vs. NeRF#

Bien que les deux techniques visent à générer de nouvelles vues d'une scène, elles diffèrent fondamentalement en architecture et en performance. NeRF (Neural Radiance Fields) encode une scène dans les poids d'un réseau neuronal. Le rendu d'un NeRF nécessite d'interroger ce réseau des millions de fois pour chaque image (ray marching), ce qui est coûteux en calcul et lent.

En revanche, le Gaussian Splatting utilise une représentation explicite (la liste des gaussiennes). Cela lui permet d'utiliser une rastérisation efficace basée sur des tuiles, similaire à la façon dont les jeux vidéo rendent les graphismes. Par conséquent, le Gaussian Splatting est nettement plus rapide à entraîner et à rendre que les NeRF, ce qui le rend plus viable pour les applications grand public et l'inférence en temps réel.

Link to this sectionApplications concrètes#

La vitesse et la qualité du Gaussian Splatting ont ouvert de nouvelles portes dans diverses industries :

• Tourisme virtuel et immobilier : Les créateurs peuvent capturer un musée, un site historique ou une maison à vendre à l'aide d'un drone ou d'un smartphone. Le Gaussian Splatting permet aux utilisateurs distants d'explorer ces espaces en réalité virtuelle (VR) avec 6 degrés de liberté (6DoF), en voyant des détails fins comme les reflets sur des parquets que la photogrammétrie traditionnelle pourrait manquer.
• Simulation automobile : Les entreprises développant des véhicules autonomes ont besoin de vastes quantités de données pour tester leurs algorithmes de perception. Le Gaussian Splatting peut reconstruire des blocs urbains du monde réel à partir de données de capteurs, créant ainsi un environnement de simulation photoréaliste. Dans ces environnements, des modèles de vision comme Ultralytics YOLO26 peuvent être testés pour garantir qu'ils identifient correctement les dangers dans des scénarios 3D complexes.

Link to this sectionPrétraitement pour le splatting avec la vision par ordinateur#

Pour que le Gaussian Splatting fonctionne efficacement, les images d'entraînement doivent généralement être statiques. Les objets en mouvement (comme les piétons ou les voitures) dans les photos sources peuvent provoquer des artefacts appelés « floaters ». Les pipelines avancés utilisent la segmentation d'instance pour masquer automatiquement ces éléments dynamiques avant d'entraîner le modèle de splat.

La plateforme Ultralytics permet aux équipes de gérer des jeux de données et d'entraîner des modèles pouvant aider dans cette phase de prétraitement. Voici comment on pourrait utiliser un modèle de segmentation pour créer des masques pour un jeu de données destiné à la reconstruction 3D :

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image from the scan dataset
# Class 0 is 'person' in COCO - we mask them out to keep the scene static
results = model.predict("scan_frame_001.jpg", classes=[0])

# Save the generated mask to exclude the person from the 3D reconstruction
for result in results:
    result.save_masks("scan_frame_001_mask.png")

Link to this sectionSignification dans l'IA et tendances futures#

Le Gaussian Splatting représente un changement dans la vision par ordinateur vers des méthodes hybrides qui combinent la capacité d'apprentissage de l'apprentissage profond avec l'efficacité de l'infographie classique. Cette technique évolue rapidement, les chercheurs explorant des moyens de compresser les tailles de fichiers (qui peuvent être volumineux) et de l'intégrer à l'IA générative pour créer des actifs 3D à partir d'invites textuelles. À mesure que les accélérateurs matériels comme les GPU continuent de s'améliorer, le Gaussian Splatting est susceptible de devenir la norme pour capturer et rendre le monde réel sous forme numérique.