3D Reconstruction
La reconstruction 3D retrouve la forme des objets et des scènes à partir de photos, de vidéos, de caméras de profondeur ou de LiDAR, sous forme de nuages de points, de maillages ou de champs de radiance.
La reconstruction 3D consiste à retrouver la forme tridimensionnelle d’un objet ou d’une scène à partir de mesures comme des photographies, des vidéos, des images de caméras de profondeur ou des balayages LiDAR. Le résultat décrit l’emplacement des surfaces dans l’espace, sous la forme d’un nuage de points échantillonnés à la surface, d’un maillage polygonal, d’une grille de voxels ou d’une fonction apprise comme un champ de radiance, souvent enrichis de couleurs ou de textures. La reconstruction à partir d’images, aussi appelée photogrammétrie, est l’opération inverse de la vision par ordinateur : une caméra projette un monde 3D sur des pixels 2D, et la reconstruction utilise plusieurs vues des mêmes surfaces pour inverser cette projection.
Fonctionnement de la reconstruction à partir d’images#
Le pipeline classique commence par détecter des caractéristiques distinctives, comme les points-clés SIFT dans chaque image, puis par les mettre en correspondance entre les photos qui se chevauchent. Il ne conserve que les correspondances conformes à la géométrie épipolaire. La méthode de la structure à partir du mouvement retrouve ensuite la position et l’orientation de chaque caméra ainsi qu’un ensemble clairsemé de points 3D. Elle affine l’ensemble par ajustement de faisceaux, qui minimise l’erreur de reprojection de chaque point dans chaque image. La stéréo multi-vues utilise les caméras connues pour calculer une carte de profondeur dense par image ; ces cartes sont fusionnées en un nuage de points, puis une reconstruction de surface, comme le maillage de Poisson, transforme les points en un maillage fermé qui peut être texturé à partir des photos. COLMAP, développé par Johannes Schönberger et ses collègues, est l’implémentation libre de ce pipeline largement utilisée. Les caméras de profondeur et le LiDAR ignorent l’étape de mise en correspondance et alignent directement les balayages qui se chevauchent, généralement avec l’algorithme du point le plus proche itératif.
Chaque point 3D provient d’une triangulation : étant donné deux caméras calibrées, il s’agit du point dont les projections correspondent le mieux au pixel où chaque caméra l’a observé. Cet exemple triangule des points sur un mur vu par deux caméras distantes de 0.3 m, avec un bruit d’un demi-pixel dans chaque observation :
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]]) # camera intrinsics in pixels
# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])
for z in [2.0, 10.0]:
# 200 points on a wall z meters away, observed in both images with half-pixel noise
points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
X = np.vstack([points.T, np.ones(200)])
x1, x2 = P1 @ X, P2 @ X
x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))
# Triangulate: find the 3D point whose projections best match both observations
Xh = cv2.triangulatePoints(P1, P2, x1, x2)
error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")Le résultat affiche une erreur médiane de 0.8 cm pour le mur situé à 2 m et de 18.4 cm à 10 m. Une distance multipliée par cinq entraîne une erreur environ 23 fois plus grande, ce qui est proche de la croissance quadratique prédite par la géométrie à deux vues. C’est pourquoi la photogrammétrie capture les surfaces éloignées depuis de nombreux points de vue bien espacés.
La reconstruction suppose une scène statique : les personnes et les véhicules qui se déplacent pendant la capture créent donc des artefacts fantômes et des caractéristiques mal appariées. COLMAP ignore l’extraction des caractéristiques là où le masque par image est noir. Des masques de personnes et de voitures issus d’un modèle de segmentation d’instances Ultralytics YOLO26 permettent ainsi d’exclure ces objets mobiles d’une reconstruction statique.
Représentations et reconstruction par apprentissage#
Les nuages de points sont faciles à produire, mais n’ont aucune connectivité ; les maillages fournissent des surfaces continues utiles aux mesures, aux moteurs de jeu et aux jumeaux numériques ; les grilles de voxels divisent l’espace en cellules. KinectFusion, présenté par Richard Newcombe et ses collègues en 2011, fusionnait en temps réel des images issues d’une caméra de profondeur pour créer un volume de distance signée tronquée, une méthode de fusion volumique encore implémentée par des bibliothèques comme Open3D. Les représentations neuronales implicites représentent une surface par un réseau qui associe des coordonnées à une occupation ou une distance signée. Les champs de radiance neuronaux et le splatting gaussien modélisent l’apparence sous toutes les directions pour la synthèse de nouvelles vues, avec une géométrie moins directement mesurable qu’un maillage. Les réseaux à propagation avant se passent désormais entièrement d’optimisation : VGGT, issu du Visual Geometry Group d’Oxford et de Meta AI, prédit en une seule passe les poses des caméras, les cartes de profondeur et les points 3D pour une à plusieurs centaines d’images, et a remporté le prix du meilleur article de CVPR 2025.
Les tâches connexes se distinguent par leurs résultats. L’estimation de profondeur prédit la distance de chaque pixel dans une seule vue, soit une surface partielle. La vision stéréoscopique reconstruit la scène à partir de deux caméras synchronisées. Le SLAM visuel suit une caméra mobile et construit une carte en temps réel pour la navigation, au prix d’une moindre exhaustivité. La détection d’objets 3D place des boîtes autour des objets au lieu d’en retrouver les surfaces.
Applications concrètes#
- Réalité augmentée : ARKit d’Apple crée un maillage en temps réel d’une pièce sur les iPhone et iPad équipés du LiDAR, afin que les objets virtuels reposent sur le sol et soient masqués par les meubles.
- Inspection industrielle : Les balayages des pièces finies sont comparés à leurs modèles CAO pour mesurer les écarts, et ces mêmes balayages permettent de maintenir à jour le jumeau numérique d’une ligne de production.
- Robotique : Les robots reconstruisent les objets qu’ils doivent saisir et les espaces qu’ils parcourent à partir des caméras de profondeur embarquées.
- Patrimoine culturel et cartographie : La photogrammétrie numérise les bâtiments, les sites de fouilles et des villes entières. Le projet Building Rome in a Day de 2009 a reconstruit les monuments de Rome à partir de 150 000 photos Flickr en 21 heures sur un cluster de 496 cœurs de processeur.










