Semantic Mapping

La cartographie sémantique consiste à construire une carte spatiale d’un environnement où chaque emplacement possède une signification, une étiquette de classe comme route, trottoir, mur, porte, chaise ou personne, en plus de sa géométrie. Une carte géométrique indique à un robot où se trouvent les surfaces ; une carte sémantique lui indique aussi ce qu’elles sont. Il peut ainsi suivre une consigne comme « va à la table de la cuisine », éviter la pelouse ou s’attendre à voir des piétons près d’un passage piéton. Les cartes sémantiques associent la segmentation sémantique ou la détection d’objets à la détection de profondeur et à la localisation. Elles sont essentielles à la perception en robotique, pour les véhicules autonomes et dans l’informatique spatiale.

Fonctionnement de la cartographie sémantique#

Chaque nouvelle image de caméra passe par trois étapes. Un modèle de segmentation attribue une classe à chaque pixel. La profondeur, obtenue par LiDAR, par une caméra stéréo ou RGB-D, ou par estimation monoculaire de la profondeur, convertit les pixels étiquetés en points 3D. La pose du robot, estimée par SLAM visuel ou par odométrie, place ces points dans les cellules d’une carte partagée. Enfin, la fusion de capteurs au fil du temps combine les nouvelles étiquettes avec tout ce que chaque cellule a accumulé jusque-là. Les objets en mouvement sont traités séparément afin qu’une personne qui passe ne devienne pas un mur permanent.

Les modèles de segmentation sémantique Ultralytics YOLO26 préentraînés sur Cityscapes attribuent à chaque pixel l’une des 19 classes urbaines, notamment la route, le trottoir, le bâtiment, la végétation, la personne et la voiture, fournissant les données d’entrée de chaque image qu’une carte sémantique au niveau de la rue fusionne.

La fusion transforme les prédictions bruitées de chaque image en une carte fiable. En 2017, SemanticFusion, mis au point par John McCormac et ses collègues de l’Imperial College London, conservait une distribution de probabilités sur les classes pour chaque élément de surface et y intégrait chaque nouvelle prédiction du réseau au moyen d’une mise à jour bayésienne récursive. Cette simulation applique la même mise à jour à une carte de 1 000 cellules observées par un modèle de segmentation correct dans 70 % des cas :

import numpy as np

rng = np.random.default_rng(0)
num_cells, num_classes = 1000, 4  # map cells; classes such as road, sidewalk, building, vegetation
truth = rng.integers(0, num_classes, num_cells)

# Sensor model: segmentation labels a cell correctly 70% of the time, otherwise picks another class
likelihood = np.full((num_classes, num_classes), 0.1)
np.fill_diagonal(likelihood, 0.7)
log_belief = np.zeros((num_cells, num_classes))  # uniform prior in every cell

for frame in range(1, 11):
    # A new frame observes every cell from a new viewpoint, with independent errors
    wrong = rng.random(num_cells) > 0.7
    labels = np.where(wrong, (truth + rng.integers(1, num_classes, num_cells)) % num_classes, truth)

    # Recursive Bayesian update: add the log-likelihood of this observation to each cell's belief
    log_belief += np.log(likelihood[labels])
    if frame in (1, 3, 10):
        print(f"Frame {frame:>2}: {(log_belief.argmax(axis=1) == truth).mean():.1%} of cells correct")

La carte est correcte à 69,6 % après une image, à 80,6 % après trois et à 98,2 % après dix. Le gain dépend de la variation des erreurs entre les observations. La fusion est donc plus utile lorsque le robot voit chaque endroit sous des angles variés, tandis qu’une erreur répétée par le modèle sous tous les angles reste inscrite sur la carte. SemanticFusion a rapporté la même tendance, avec une amélioration plus importante par rapport aux étiquettes d’une seule image dans un jeu de données présentant davantage de variations de points de vue.

Représentations cartographiques et concepts apparentés#

Les cartes sémantiques vont des grilles 2D, où chaque cellule d’une carte d’occupation stocke également une classe, aux nuages de points 3D étiquetés, aux voxels et aux maillages. Le projet Kimera du MIT construit en temps réel un maillage 3D métrique et sémantique, tandis que les graphes de scènes 3D organisent les mêmes informations en objets, pièces et bâtiments reliés par des relations. Les cartes à vocabulaire ouvert stockent des plongements CLIP au lieu de classes fixes, afin qu’un robot puisse chercher dans sa carte n’importe quelle requête textuelle, comme « extincteur ».

La cartographie sémantique s’appuie sur plusieurs tâches apparentées. Le SLAM visuel fournit les poses de caméra et la carte géométrique. La cartographie d’occupation indique seulement si l’espace est libre, occupé ou inconnu. La segmentation d’instances et la segmentation panoptique distinguent les objets individuels, ce dont les cartes à l’échelle des objets ont besoin pour compter les chaises ou suivre les voitures garées. La recherche sémantique est une technique de récupération sans rapport, qui n’a que le mot en commun.

Applications concrètes#

• Conduite autonome : les cartes haute définition enregistrent les voies, les passages piétons, les feux de circulation et les bordures avec une précision centimétrique. La cartographie sémantique en ligne construit une vue à vol d’oiseau de ces mêmes éléments à partir des propres capteurs de la voiture.
• Robots mobiles : la pile de navigation ROS 2, Nav2, propose une couche de carte de coûts fondée sur la segmentation sémantique qui attribue un coût de traversée à chaque classe, afin qu’un robot planifie ses trajectoires sur les surfaces privilégiées.
• Agriculture : les robots agricoles et les drones cartographient les cultures et les mauvaises herbes rangée par rangée, pour permettre la pulvérisation ciblée et l’estimation des rendements.
• Réalité augmentée : ARKit d’Apple classe chaque face du maillage de pièce reconstruit comme mur, sol, plafond, table, siège, fenêtre, porte ou aucun de ces éléments.