3D Reconstruction

La reconstruction 3D est le processus qui consiste à créer une représentation numérique tridimensionnelle d'un objet ou d'un environnement à partir de mesures visuelles ou de profondeur. En computer vision, elle convertit des observations telles que des photographies, des images vidéo, des images stéréo ou des balayages LiDAR en une géométrie décrivant l'emplacement des surfaces dans l'espace 3D. Le résultat peut être un ensemble épars de points de repère, un nuage de points dense, un maillage polygonal ou un modèle texturé qui peut être mesuré, rendu et analysé.

Comment fonctionne la reconstruction 3D#

Un pipeline de reconstruction typique associe géométrie, traitement d'image et apprentissage automatique :

1. Capture : Des caméras ou des capteurs de profondeur observent le sujet depuis un ou plusieurs points de vue. Plusieurs images doivent se chevaucher afin que les mêmes surfaces apparaissent dans plusieurs cadres.
2. Calibration : Le système estime les paramètres intrinsèques de la caméra, tels que la distance focale et le centre optique, et corrige la distorsion de l'objectif. Le tutoriel officiel de calibration de caméra OpenCV explique ces paramètres.
3. Mise en correspondance : Des pixels distincts ou des caractéristiques apprises sont mis en correspondance entre les images. Une mise en correspondance indique que deux pixels représentent le même point physique.
4. Estimation de la pose de la caméra : La position relative et l'orientation de chaque caméra sont récupérées.
5. Récupération de la profondeur : Avec une géométrie de caméra connue, les observations mises en correspondance peuvent être triangulées en coordonnées 3D. Les outils basés sur l'image utilisent couramment le workflow de structure par mouvement et stéréo multi-vue, tandis que les systèmes RGB-D obtiennent la profondeur directement ou l'estiment.
6. Enregistrement et fusion : Des nuages de points partiels sont transformés en un système de coordonnées partagé. L'enregistrement de nuages de points Open3D démontre comment des balayages qui se chevauchent peuvent être alignés.
7. Création de surface : Les points peuvent être connectés ou ajustés dans un maillage triangulaire à l'aide d'un processus de reconstruction de surface, suivi du placage de texture et du nettoyage. (docs.opencv.org)

Représentations et concepts associés#

Un nuage de points stocke des points 3D individuels, souvent avec des valeurs de couleur ou de confiance. Un maillage relie des sommets par des arêtes et des faces triangulaires, produisant des surfaces continues. Une grille de voxels divise l'espace en petites cellules 3D, tandis qu'une représentation implicite encode la géométrie au sein d'une fonction apprise.

La reconstruction 3D chevauche plusieurs concepts apparentés mais poursuit un objectif différent :

• L'estimation de la profondeur prédit la distance par rapport à la caméra pour les pixels de l'image. Une carte de profondeur constitue souvent une entrée pour la reconstruction, mais une seule carte ne fournit pas automatiquement un modèle complet des surfaces cachées.
• La vision stéréo déduit la profondeur à partir de deux caméras présentant une séparation connue. La reconstruction peut utiliser la profondeur stéréo mais peut aussi employer de nombreuses caméras, la vidéo ou des capteurs actifs.
• Le SLAM visuel estime le mouvement de la caméra tout en construisant une carte, généralement pour la navigation en temps réel. La reconstruction privilégie généralement la qualité et l'exhaustivité de la géométrie obtenue.
• Les champs de radiance neuronaux et le Gaussian splatting représentent des scènes pour un rendu photoréaliste et de nouveaux points de vue. Leur sortie n'est pas nécessairement un maillage explicite prêt pour la mesure.
• La détection d'objets 3D localise et classe des objets dans l'espace 3D plutôt que de recréer toutes les surfaces visibles.

Applications concrètes#

• Inspection robotique et fabrication : Un robot peut reconstruire un composant à partir d'images RGB-D, comparer sa géométrie avec la conception attendue et identifier des bosses, un manque de matière ou un assemblage incorrect. Le modèle résultant peut également mettre à jour un jumeau numérique de fabrication, prenant en charge la mesure, la simulation, la planification de la maintenance et le contrôle qualité.

• Réalité augmentée et cartographie intérieure : Un appareil mobile peut reconstruire des murs, des sols, des meubles et d'autres surfaces afin que le contenu virtuel interagisse correctement avec la pièce physique. Par exemple, la reconstruction de scène ARKit crée des maillages polygonaux qui prennent en charge l'occlusion réaliste, les collisions et le placement d'objets. Les modèles peuvent ensuite être livrés dans des formats tels que le format d'actif 3D glTF standardisé. (nist.gov)

Estimation de la profondeur avec Ultralytics YOLO#

L'estimation de la profondeur Ultralytics YOLO26 peut fournir une carte de profondeur métrique dense à partir d'une seule image RGB. Il s'agit d'un composant utile pour la cartographie RGB-D, la géométrie des obstacles et la génération de nuages de points lorsqu'aucun capteur de profondeur dédié n'est disponible.

from ultralytics import YOLO

# Load a pretrained monocular depth model.
model = YOLO("yolo26n-depth.pt")

# Estimate per-pixel depth from one RGB image.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Save the depth visualization.
result.save(filename="depth_result.jpg")

Ce workflow produit une profondeur alignée avec l'image ; il ne reconstruit pas indépendamment une scène 3D complète. Un pipeline complet nécessite également des paramètres de caméra calibrés et, pour de multiples images, des poses de caméra fiables. Le workflow d'image RGB-D Open3D montre comment des couleurs, des profondeurs et des paramètres intrinsèques de caméra alignés peuvent générer un nuage de points. Les équipes développant des composants de vision personnalisés peuvent utiliser la plateforme Ultralytics pour annoter des jeux de données, entraîner des modèles, les déployer et surveiller l'inférence en production.

Défis pratiques et conseils#

La qualité de la reconstruction dépend fortement des conditions de capture. Utilise des vues à fort chevauchement, déplace-toi autour du sujet au lieu de faire uniquement pivoter la caméra et maintiens un éclairage raisonnablement cohérent. Des murs sans texture, des objets transparents ou réfléchissants, le flou de mouvement, l'occlusion et un éclairage changeant peuvent perturber la mise en correspondance des caractéristiques ou produire des trous et des surfaces dupliquées.

Les erreurs de calibration faussent l'échelle et la forme, tandis que des poses de caméra imprécises font dériver les balayages. Les entrées monoculaires présentent également une ambiguïté inhérente d'échelle et de surface cachée : une seule image ne peut pas révéler l'arrière d'un objet sans hypothèses apprises. Valide les reconstructions en utilisant des dimensions connues, l'erreur de reprojection, le chevauchement des balayages et des tolérances spécifiques à l'application plutôt que de juger uniquement sur l'apparence.