3D Object Detection

La détection d’objets 3D repère les objets d’une scène et place autour de chacun une boîte englobante 3D, ou cuboïde, indiquant sa position, sa taille et son orientation en unités réelles. La détection d’objets 2D standard fournit une boîte englobante en pixels de l’image. Un détecteur 3D indique à quelle distance se trouve une voiture en mètres, sa longueur et sa largeur, ainsi que son orientation : autant d’informations nécessaires aux voitures autonomes, aux robots de livraison et aux bras robotisés d’entrepôt pour planifier leurs mouvements et éviter les collisions.

Description d’une boîte 3D#

La plupart des détecteurs 3D produisent sept nombres par objet, ainsi qu’une classe et un score de confiance : le centre de la boîte (x, y, z), sa longueur, sa largeur et sa hauteur, et son orientation, ou angle de lacet, autour de l’axe vertical. Le roulis et le tangage sont supposés nuls, car les voitures, les personnes et la plupart des objets d’intérieur sont verticaux. Les benchmarks de conduite tels que nuScenes demandent aussi la vitesse de chaque objet. La première étape pour dessiner une boîte sur une image ou calculer son chevauchement avec une autre consiste à convertir les sept nombres en huit points d’angle.

import numpy as np

# Une boîte 3D : centre (m), dimensions (m) et orientation autour de l’axe vertical z (rad)
center = np.array([12.0, -3.0, 0.9])
length, width, height = 4.5, 1.9, 1.6
yaw = np.pi / 6

# Huit coins de la boîte avant rotation, par rapport à son centre
signs = np.array([[sx, sy, sz] for sx in (1, -1) for sy in (1, -1) for sz in (1, -1)])
corners = signs * [length / 2, width / 2, height / 2]

# Faire pivoter selon l’orientation, puis déplacer la boîte jusqu’à son centre
c, s = np.cos(yaw), np.sin(yaw)
rotation = np.array([[c, -s, 0], [s, c, 0], [0, 0, 1]])
corners = corners @ rotation.T + center
print(corners.round(2))

Les huit lignes affichées représentent les coins d’une boîte de la taille d’une voiture, centrée à 12 mètres sur l’axe x et orientée à 30 degrés : quatre se trouvent à z = 1,7 m pour le toit et quatre à z = 0,1 m pour le sol.

Capteurs et méthodes#

La détection 3D nécessite la profondeur, obtenue par trois types d’entrées. Les scanners lidar mesurent directement la distance avec des impulsions laser et renvoient un nuage de points de la scène. Les détecteurs lidar divisent l’espace en voxels 3D, regroupent les points en colonnes verticales, comme le fait PointPillars, puis les traitent sous forme d’image en vue aérienne avec des convolutions 2D rapides, ou travaillent directement sur les points bruts.

Les méthodes basées sur des caméras estiment la profondeur à partir des images. Avec une seule caméra, la profondeur reste ambiguë : un petit objet proche et un grand objet éloigné peuvent avoir la même apparence. Les détecteurs monoculaires apprennent donc à estimer la profondeur à partir de la taille des objets et du contexte de la scène. Les systèmes multicaméras tels que BEVFormer projettent les caractéristiques de plusieurs vues environnantes dans une même grille en vue aérienne. Les pipelines caméra peuvent aussi associer les boîtes 2D de YOLO26 à un modèle de profondeur YOLO26, qui prédit une carte de profondeur en mètres pour chaque pixel à partir d’une seule image RGB, afin d’estimer la distance de chaque objet détecté.

La fusion de capteurs combine la géométrie précise du lidar avec les couleurs et les textures des images de caméra. BEVFusion fusionne les caractéristiques des deux capteurs dans un espace partagé en vue aérienne.

Détection 3D et tâches apparentées#

• Estimation de profondeur : prédit une distance pour chaque pixel, sans séparer la scène en objets ou en classes.
• Boîtes englobantes orientées : boîtes 2D pivotées dans le plan de l’image, souvent utilisées pour les images aériennes, où elles ressemblent à l’empreinte au sol d’une boîte 3D vue de dessus.
• Reconstruction 3D : reconstitue la géométrie complète d’une scène, par exemple sous forme de maillage ou de nuage de points, sans étiqueter les objets individuellement.

Applications et défis#

Les véhicules autonomes utilisent la détection 3D pour localiser les voitures, les piétons et les cyclistes autour d’eux et prévoir leurs trajectoires. Les robots d’entrepôt et de logistique s’en servent pour repérer la position et l’orientation des boîtes avant de les saisir. Les cas difficiles comprennent les objets petits et éloignés, qui génèrent peu de points lidar, les objets partiellement occultés, les erreurs d’estimation de la profondeur monoculaire, qui augmentent avec la distance, et le coût de l’annotation, car chaque cuboïde d’entraînement doit être ajusté en 3D par une personne chargée de l’annotation.

Évaluation des détecteurs 3D#

L’évaluation étend l’intersection sur union (IoU) et la précision moyenne (mAP) à trois dimensions. Le benchmark 3D de KITTI exige un IoU de boîte 3D de 0,7 pour les voitures et de 0,5 pour les piétons et les cyclistes. Depuis 2019, il calcule la moyenne de la précision à 40 niveaux de rappel plutôt qu’à 11. Le benchmark nuScenes associe les prédictions aux annotations en fonction de la distance entre leurs centres sur le plan du sol, puis calcule la moyenne de la précision moyenne à des seuils de 0,5, 1, 2 et 4 mètres. Son score de détection nuScenes (NDS) combine cette mAP, avec un poids de 5, et cinq scores calculés à partir des erreurs de translation, d’échelle, d’orientation, de vitesse et d’attribut, chacun pondéré à 1.