3D Reconstruction

La reconstruction 3D consiste à créer une représentation numérique tridimensionnelle d’un objet ou d’un environnement à partir de mesures visuelles ou de profondeur. En vision par ordinateur, elle transforme des observations telles que des photographies, des images vidéo, des images stéréo ou des scans LiDAR en une géométrie qui décrit la position des surfaces dans l’espace 3D. Le résultat peut être un ensemble clairsemé de points de repère, un nuage de points dense, un maillage polygonal ou un modèle texturé pouvant être mesuré, rendu et analysé.

Fonctionnement de la reconstruction 3D#

Un processus de reconstruction classique combine géométrie, traitement d’image et apprentissage automatique :

1. Capture : des caméras ou des capteurs de profondeur observent le sujet depuis un ou plusieurs points de vue. Les images doivent se chevaucher afin que les mêmes surfaces apparaissent dans plusieurs images.
2. Calibration : le système estime les paramètres intrinsèques de la caméra, comme la distance focale et le centre optique, et corrige la distorsion de l’objectif. Le tutoriel officiel d’OpenCV sur la calibration des caméras explique ces paramètres.
3. Mise en correspondance : des pixels distinctifs ou des caractéristiques apprises sont mis en correspondance entre les images. Une correspondance indique que deux pixels représentent le même point physique.
4. Estimation de la pose de la caméra : la position et l’orientation relatives de chaque caméra sont déterminées.
5. Récupération de la profondeur : lorsque la géométrie des caméras est connue, les observations mises en correspondance peuvent être triangulées pour obtenir des coordonnées 3D. Les outils basés sur l’image utilisent couramment le processus de structure à partir du mouvement et de stéréo multi-vues, tandis que les systèmes RGB-D obtiennent directement la profondeur ou l’estiment.
6. Recalage et fusion : les nuages de points partiels sont transformés dans un système de coordonnées commun. Le recalage de nuages de points avec Open3D montre comment aligner des scans qui se chevauchent.
7. Création de surface : les points peuvent être reliés ou ajustés pour former un maillage triangulaire au moyen d’un processus de reconstruction de surface, suivi du placage de textures et du nettoyage. (docs.opencv.org)

Représentations et concepts associés#

Un nuage de points stocke des points 3D individuels, souvent accompagnés de valeurs de couleur ou de confiance. Un maillage relie des sommets par des arêtes et des faces triangulaires pour former des surfaces continues. Une grille de voxels divise l’espace en petites cellules 3D, tandis qu’une représentation implicite encode la géométrie dans une fonction apprise.

La reconstruction 3D recoupe plusieurs concepts associés, mais son objectif est différent :

• L’estimation de profondeur prédit la distance à la caméra pour les pixels de l’image. Une carte de profondeur sert souvent d’entrée à la reconstruction, mais une carte unique ne fournit pas automatiquement un modèle complet des surfaces cachées.
• La vision stéréo déduit la profondeur à partir de deux caméras séparées par une distance connue. La reconstruction peut utiliser la profondeur stéréo, mais aussi de nombreuses caméras, une vidéo ou des capteurs actifs.
• Le SLAM visuel estime le mouvement de la caméra tout en construisant une carte, généralement pour la navigation en temps réel. La reconstruction privilégie en général la qualité et l’exhaustivité de la géométrie obtenue.
• Les champs de radiance neuronaux et le Gaussian splatting représentent des scènes pour le rendu photoréaliste et la synthèse de nouveaux points de vue. Leur sortie ne constitue pas nécessairement un maillage explicite prêt à être mesuré.
• La détection d’objets 3D localise et classe les objets dans l’espace 3D au lieu de recréer toutes les surfaces visibles.

Applications concrètes#

• Inspection robotisée et fabrication : un robot peut reconstruire un composant à partir d’images RGB-D, comparer sa géométrie à la conception attendue et repérer des bosses, des pertes de matière ou un assemblage incorrect. Le modèle obtenu peut également mettre à jour un jumeau numérique de fabrication, afin de faciliter les mesures, la simulation, la planification de la maintenance et le contrôle qualité.

• Réalité augmentée et cartographie intérieure : un appareil mobile peut reconstruire les murs, les sols, les meubles et les autres surfaces afin que le contenu virtuel interagisse correctement avec la pièce réelle. Par exemple, la reconstruction de scène d’ARKit crée des maillages polygonaux qui permettent une occlusion, des collisions et un placement d’objets réalistes. Les modèles peuvent ensuite être fournis dans des formats tels que le format normalisé glTF pour les ressources 3D. (nist.gov)

Estimation de profondeur avec Ultralytics YOLO#

L’estimation de profondeur d’Ultralytics YOLO26 peut produire une carte dense de profondeur métrique à partir d’une seule image RGB. C’est un composant utile pour la cartographie RGB-D, la géométrie des obstacles et la génération de nuages de points lorsqu’aucun capteur de profondeur dédié n’est disponible.

from ultralytics import YOLO

# Charger un modèle de profondeur monoculaire préentraîné.
model = YOLO("yolo26n-depth.pt")

# Estimer la profondeur de chaque pixel à partir d’une seule image RGB.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Enregistrer la visualisation de la profondeur.
result.save(filename="depth_result.jpg")

Ce processus produit une profondeur alignée sur l’image ; il ne reconstruit pas à lui seul une scène 3D complète. Un processus complet nécessite également des paramètres de caméra calibrés et, pour plusieurs images, des poses de caméra fiables. Le processus d’image RGB-D d’Open3D montre comment des données de couleur et de profondeur alignées, ainsi que les paramètres intrinsèques de la caméra, peuvent générer un nuage de points. Les équipes qui développent des composants de vision personnalisés peuvent utiliser Ultralytics Platform pour annoter des jeux de données, entraîner et déployer des modèles, puis surveiller l’inférence en production.

Défis pratiques et recommandations#

La qualité de la reconstruction dépend fortement des conditions de capture. Utilise des points de vue qui se chevauchent largement, déplace-toi autour du sujet au lieu de faire simplement pivoter la caméra et veille à maintenir un éclairage relativement constant. Les murs sans texture, les objets transparents ou réfléchissants, le flou de mouvement, l’occultation et les variations d’éclairage peuvent perturber la mise en correspondance des caractéristiques ou créer des trous et des surfaces dupliquées.

Les erreurs de calibration déforment l’échelle et la forme, tandis que des poses de caméra imprécises entraînent une dérive des scans. Les entrées monoculaires présentent également une ambiguïté inhérente concernant l’échelle et les surfaces cachées : sans hypothèses apprises, une seule image ne peut pas révéler l’arrière d’un objet. Valide les reconstructions à l’aide de dimensions connues, de l’erreur de reprojection, du chevauchement des scans et des tolérances propres à l’application, plutôt que de juger uniquement leur apparence.