Semantic Mapping

La cartographie sémantique est le processus qui consiste à construire une représentation spatiale d'un environnement et à associer des étiquettes de classes significatives — telles que route, mur, porte, personne, étagère ou végétation — à des emplacements précis. En IA et en robotique, une carte sémantique répond à la fois aux questions « Où se trouve quelque chose ? » et « Qu'est-ce que c'est ? ». Plutôt que de représenter une scène uniquement comme un espace occupé ou libre, elle fournit des informations contextuelles qui facilitent la navigation, la planification, l'interaction et la compréhension de la scène.

Comment fonctionne la cartographie sémantique#

Un système de cartographie sémantique combine généralement la perception, la géométrie, la localisation et la fusion temporelle. Tout d'abord, un modèle de segmentation sémantique classe chaque pixel d'une image. Tous les pixels étiquetés « route », par exemple, forment une région routière, tandis que les pixels étiquetés « voiture » identifient les régions de véhicules. L'introduction de NVIDIA à la segmentation d'images en robotique illustre la manière dont ces étiquettes par pixel soutiennent la perception du robot.

Les étiquettes de pixels restent liées à une image de caméra bidimensionnelle. Le système a besoin de géométrie, souvent obtenue via LiDAR, caméras stéréo ou estimation de la profondeur, pour associer les pixels à des positions physiques. Le flux de travail d'image RVB-D Open3D démontre comment des images de couleur et de profondeur enregistrées peuvent produire un nuage de points 3D.

Une projection précise dépend également des paramètres intrinsèques et extrinsèques de la caméra. La documentation d'étalonnage de caméra OpenCV explique les paramètres utilisés pour relier les pixels de l'image aux points 3D, tandis que la définition du message CameraInfo de ROS standardise ces informations d'étalonnage dans les systèmes robotiques.

Enfin, la fusion capteurs combine les observations au fil du temps. Les poses du robot et les transformations de coordonnées placent chaque observation étiquetée dans un repère cartographique partagé. Les transformations de coordonnées tf2 de ROS fournissent un mécanisme courant pour maintenir ces relations.

Concepts associés et différences clés#

La cartographie sémantique chevauche plusieurs concepts de vision par ordinateur et de robotique, mais ceux-ci résolvent des problèmes différents :

• SLAM visuel estime la position d'une caméra ou d'un robot tout en construisant une carte géométrique. La cartographie sémantique ajoute une signification de classe à cette géométrie. Un système peut donc utiliser le SLAM pour l'estimation de pose et la perception sémantique pour l'étiquetage.
• La cartographie d'occupation indique si les cellules sont libres, occupées ou inconnues. Le guide de cartographie et de localisation Nav2 explique comment les grilles d'occupation soutiennent la planification de trajectoire. Une carte sémantique peut en outre distinguer un mur d'une personne ou une route carrossable d'un trottoir.
• La segmentation d'instances sépare des objets individuels, tels que deux voitures différentes. La segmentation sémantique regroupe les deux voitures sous une seule classe de pixels. Les cartes sémantiques peuvent utiliser l'une ou l'autre représentation selon qu'il est nécessaire de préserver l'identité des objets.
• La recherche sémantique organise l'information par similarité conceptuelle, tandis que la cartographie sémantique en robotique associe des significations à des emplacements physiques.

Applications concrètes#

Navigation autonome : Un robot de livraison peut étiqueter les sols comme praticables, les murs et les bordures comme des obstacles, et les personnes comme des dangers dynamiques. Ces étiquettes peuvent être traduites en coûts de navigation afin que le planificateur privilégie les surfaces sûres plutôt que de traiter chaque région visible de manière identique. Le tutoriel de navigation par segmentation sémantique Nav2 montre comment les masques de classes et les nuages de points enregistrés peuvent actualiser la carte des coûts d'un robot.

Conduite urbaine : Un véhicule autonome peut projeter des prédictions concernant la route, le trottoir, les bâtiments, la végétation, les piétons et les véhicules dans une carte du monde persistante. Cela aide le système à comprendre les limites des voies, à reconnaître les zones non carrossables et à anticiper l'endroit où des usagers de la route vulnérables peuvent apparaître. Le jeu de données de scènes urbaines Cityscapes officiel fournit des images de rue densément étiquetées pour développer ce type de compréhension de scène.

Perception sémantique avec Ultralytics YOLO#

Le flux de travail de segmentation sémantique Ultralytics suivant produit une carte de classes dense en utilisant YOLO26. Cette sortie peut ensuite être projetée dans une grille 2D ou un système de coordonnées mondiales 3D par un pipeline de cartographie.

from ultralytics import YOLO

# Load a pretrained semantic segmentation model
model = YOLO("yolo26n-sem.pt")

# Predict a per-pixel class map
results = model("https://ultralytics.com/images/bus.jpg")

# Select the first result and inspect its map dimensions
result = results[0]
class_map = result.semantic_mask.data
print(class_map.shape)

result.save(filename="semantic_scene.jpg")

Le semantic_mask contient un ID de classe par pixel d'image. Il fournit la couche de perception sémantique, tandis que la profondeur, l'étalonnage, la localisation et la fusion temporelle restent nécessaires pour construire une carte spatiale persistante. Des jeux de données personnalisés au niveau des pixel peuvent être étiquetés et gérés avec les outils d'annotation de la plateforme Ultralytics.

Considérations pratiques de conception#

Des cartes sémantiques fiables nécessitent des définitions de classes cohérentes, un étalonnage précis des capteurs, des horodatages synchronisés et des données d'entraînement représentatives. La dérive de pose peut placer des étiquettes correctes dans des emplacements incorrects, tandis que des erreurs de segmentation peuvent marquer des obstacles comme des espaces praticables. Les objets dynamiques nécessitent également des règles d'expiration ou de suivi afin qu'un véhicule stationné ou un piéton ne reste pas définitivement intégré dans la carte.

Les équipes doivent valider à la fois la précision de la perception et la cohérence spatiale, tester les limites difficiles et les petites structures, conserver la confiance des prédictions lorsque c'est possible et définir la manière dont les observations contradictoires sont mises à jour. Pour la navigation critique en matière de sécurité, les informations sémantiques doivent compléter — et non remplacer automatiquement — la détection d'obstacles géométriques et les contrôles de collision.