Semantic Mapping

Semantische Kartierung ist der Prozess, eine räumliche Karte einer Umgebung zu erstellen, in der jeder Ort neben seinen geometrischen Eigenschaften auch eine Bedeutung trägt – eine Klassenbezeichnung wie Straße, Gehweg, Wand, Tür, Stuhl oder Person. Eine geometrische Karte zeigt einem Roboter, wo sich Oberflächen befinden; eine semantische Karte zeigt ihm zusätzlich, was sie sind. So kann er einer Aufforderung wie „Geh zum Küchentisch“ folgen, den Rasen meiden oder in der Nähe eines Zebrastreifens mit Fußgängern rechnen. Semantische Karten kombinieren semantische Segmentierung oder Objekterkennung mit Tiefenerfassung und Lokalisierung. Sie sind ein zentraler Bestandteil der Wahrnehmung in der Robotik, bei autonomen Fahrzeugen und im Spatial Computing.

So funktioniert semantische Kartierung#

Jedes neue Kamerabild wird in drei Schritten verarbeitet. Ein Segmentierungsmodell weist jedem Pixel eine Klasse zu. Die Tiefe aus LiDAR, einer Stereo- oder RGB-D-Kamera oder der monokularen Tiefenschätzung wandelt die beschrifteten Pixel in 3D-Punkte um. Die mithilfe von visuellem SLAM oder Odometrie geschätzte Pose des Roboters ordnet diese Punkte den Zellen einer gemeinsamen Karte zu. Schließlich führt die Sensorfusion im Zeitverlauf die neuen Bezeichnungen mit allem zusammen, was die jeweilige Zelle bisher erfasst hat. Bewegliche Objekte werden gesondert behandelt, damit eine vorbeigehende Person nicht zu einer dauerhaften Wand wird.

Auf Cityscapes vortrainierte semantische Segmentierungsmodelle von Ultralytics YOLO26 weisen jedem Pixel eine von 19 Stadtkategorien zu, darunter Straße, Gehweg, Gebäude, Vegetation, Person und Auto. Diese Eingabe für jedes Einzelbild wird in eine semantische Karte aus der Straßenperspektive eingebunden.

Durch Fusion werden verrauschte Vorhersagen einzelner Bilder zu einer zuverlässigen Karte. SemanticFusion von John McCormac und Kollegen am Imperial College London verfolgte 2017 für jedes Oberflächenelement eine Wahrscheinlichkeitsverteilung über Klassen und bezog jede neue Netzvorhersage in eine rekursive bayessche Aktualisierung ein. Diese Simulation wendet dieselbe Aktualisierung auf eine Karte mit 1.000 Zellen an, die von einem Segmentierungsmodell beobachtet werden, das in 70 % der Fälle richtig liegt:

import numpy as np

rng = np.random.default_rng(0)
num_cells, num_classes = 1000, 4  # map cells; classes such as road, sidewalk, building, vegetation
truth = rng.integers(0, num_classes, num_cells)

# Sensor model: segmentation labels a cell correctly 70% of the time, otherwise picks another class
likelihood = np.full((num_classes, num_classes), 0.1)
np.fill_diagonal(likelihood, 0.7)
log_belief = np.zeros((num_cells, num_classes))  # uniform prior in every cell

for frame in range(1, 11):
    # A new frame observes every cell from a new viewpoint, with independent errors
    wrong = rng.random(num_cells) > 0.7
    labels = np.where(wrong, (truth + rng.integers(1, num_classes, num_cells)) % num_classes, truth)

    # Recursive Bayesian update: add the log-likelihood of this observation to each cell's belief
    log_belief += np.log(likelihood[labels])
    if frame in (1, 3, 10):
        print(f"Frame {frame:>2}: {(log_belief.argmax(axis=1) == truth).mean():.1%} of cells correct")

Die Karte ist nach einem Einzelbild zu 69.6 %, nach drei zu 80.6 % und nach zehn zu 98.2 % korrekt. Der Zugewinn hängt davon ab, dass sich Fehler zwischen Beobachtungen ändern. Fusion hilft deshalb am meisten, wenn der Roboter jeden Ort aus unterschiedlichen Blickwinkeln sieht; einen Fehler, den das Modell aus jedem Winkel wiederholt, behält die Karte dagegen bei. SemanticFusion zeigte dasselbe Muster und erreichte bei einem Datensatz mit stärker variierenden Blickwinkeln eine größere Verbesserung gegenüber den Bezeichnungen einzelner Bilder.

Kartendarstellungen und verwandte Konzepte#

Semantische Karten reichen von 2D-Rastern, in denen jede Zelle einer Belegungskarte zusätzlich eine Klasse speichert, bis hin zu beschrifteten 3D-Punktwolken, Voxeln und Netzen. MITs Kimera erstellt in Echtzeit ein metrisch-semantisches 3D-Netz. 3D-Szenengraphen strukturieren dieselben Informationen nach Objekten, Räumen und Gebäuden, die durch Beziehungen miteinander verknüpft sind. Karten mit offenem Wortschatz speichern CLIP-Einbettungen statt festgelegter Klassen. So kann ein Roboter seine Karte mit jeder beliebigen Textanfrage durchsuchen, etwa nach „Feuerlöscher“.

Semantische Kartierung baut auf mehreren verwandten Aufgaben auf. Visuelles SLAM liefert die Kameraposen und die geometrische Karte. Belegungskartierung erfasst nur, ob ein Bereich frei, belegt oder unbekannt ist. Instanzsegmentierung und panoptische Segmentierung trennen einzelne Objekte voneinander. Objektbasierte Karten benötigen diese Informationen, um Stühle zu zählen oder geparkte Autos zu verfolgen. Semantische Suche ist ein davon unabhängiges Abrufverfahren, das nur das Wort gemeinsam hat.

Anwendungen in der Praxis#

• Autonomes Fahren: Hochauflösende Karten erfassen Fahrspuren, Zebrastreifen, Ampeln und Bordsteine mit einer Genauigkeit im Zentimeterbereich. Die semantische Online-Kartierung erstellt mithilfe der fahrzeugeigenen Sensoren eine Draufsicht derselben Elemente.
• Mobile Roboter: Der ROS-2-Navigationsstapel Nav2 bietet eine Kostenkartenebene für semantische Segmentierung, die jeder Klasse einen Bewegungskostenwert zuweist. So plant ein Roboter Wege über bevorzugte Oberflächen.
• Landwirtschaft: Feldroboter und Drohnen kartieren Pflanzen und Unkraut zeilenweise, um gezielt zu spritzen und Erträge abzuschätzen.
• Erweiterte Realität: Apples ARKit klassifiziert jede Fläche des rekonstruierten Raumnetzes als Wand, Boden, Decke, Tisch, Sitzgelegenheit, Fenster, Tür oder keines davon.