Semantic Mapping

Semantisches Mapping ist der Prozess des Aufbaus einer räumlichen Repräsentation einer Umgebung und der Zuordnung von aussagekräftigen Klassenlabels – wie Straße, Wand, Tür, Person, Regal oder Vegetation – zu Standorten darin. In KI und Robotik beantwortet eine semantische Karte sowohl „Wo ist etwas?“ als auch „Was ist es?“. Anstatt eine Szene nur als belegten und freien Raum darzustellen, liefert sie kontextbezogene Informationen, die Navigation, Planung, Interaktion und Szenenverständnis unterstützen.

Wie semantisches Mapping funktioniert#

Ein System für semantisches Mapping kombiniert typischerweise Wahrnehmung, Geometrie, Lokalisierung und temporale Fusion. Zuerst klassifiziert ein semantic segmentation model jedes Bildpixel. Alle als „Straße“ gelabelten Pixel bilden beispielsweise eine Straßenregion, während als „Auto“ gelabelte Pixel Fahrzeugregionen identifizieren. Die NVIDIA introduction to image segmentation in robotics veranschaulicht, wie diese Pixel-Labels die Roboterwahrnehmung unterstützen.

Pixel-Labels allein bleiben an ein zweidimensionales Kamerabild gebunden. Das System benötigt Geometrie, oft von LiDAR, Stereokameras oder depth estimation, um Pixel physischen Positionen zuzuordnen. Der Open3D RGB-D image workflow demonstriert, wie registrierte Farb- und Tiefenbilder eine 3D-Punktwolke erzeugen können.

Eine genaue Projektion hängt auch von Kamera-Intrinsiken und -Extrinsiken ab. Die OpenCV camera calibration documentation erklärt die Parameter, die verwendet werden, um Bildpixel mit 3D-Punkten in Beziehung zu setzen, während die ROS CameraInfo message definition diese Kalibrierungsinformationen in robotischen Systemen standardisiert.

Schließlich kombiniert sensor fusion Beobachtungen über die Zeit. Roboterposen und Koordinatentransformationen platzieren jede gelabelte Beobachtung in einen gemeinsamen Kartenrahmen. ROS tf2 coordinate transforms bieten einen gängigen Mechanismus zur Aufrechterhaltung dieser Beziehungen.

Verwandte Konzepte und Hauptunterschiede#

Semantisches Mapping überschneidet sich mit mehreren Konzepten der Computer Vision und Robotik, aber sie lösen unterschiedliche Probleme:

• Visual SLAM schätzt die Position einer Kamera oder eines Roboters, während eine geometrische Karte erstellt wird. Semantisches Mapping fügt dieser Geometrie Klassensinne hinzu. Ein System kann daher SLAM zur Posenschätzung und semantische Wahrnehmung zur Beschriftung verwenden.
• Occupancy mapping beschreibt, ob Zellen frei, belegt oder unbekannt sind. Der Nav2 mapping and localization guide erklärt, wie Belegungsgitter die Pfadplanung unterstützen. Eine semantische Karte kann zusätzlich eine Wand von einer Person oder eine befahrbare Straße von einem Bürgersteig unterscheiden.
• Instance segmentation trennt einzelne Objekte, wie zum Beispiel zwei verschiedene Autos. Semantische Segmentierung fasst beide Autos unter einer Pixelklasse zusammen. Semantische Karten können je nachdem, ob die Objektidentität erhalten bleiben muss, jede Repräsentation verwenden.
• Semantische Suche organisiert Informationen nach konzeptueller Ähnlichkeit, während semantisches Mapping in der Robotik Bedeutungen mit physischen Standorten verknüpft.

Praxisanwendungen#

Autonome Navigation: Ein Lieferroboter kann Böden als befahrbar, Wände und Bordsteine als Hindernisse und Personen als dynamische Gefahren kennzeichnen. Diese Labels können in Navigationskosten übersetzt werden, sodass der Planer sichere Oberflächen bevorzugt, anstatt jede sichtbare Region gleich zu behandeln. Das Nav2 semantic segmentation navigation tutorial zeigt, wie Klassenmasken und registrierte Punktwolken die Kostenkarte eines Roboters aktualisieren können.

Städtisches Fahren: Ein autonomes Fahrzeug kann Vorhersagen zu Straßen, Gehweg, Gebäude, Vegetation, Fußgänger und Fahrzeug in eine persistente Weltkarte projizieren. Dies hilft dem System, Fahrbahnbegrenzungen zu verstehen, nicht befahrbare Bereiche zu erkennen und darüber nachzudenken, wo gefährdete Verkehrsteilnehmer auftauchen könnten. Der offizielle Cityscapes urban-scene dataset liefert dicht gelabelte Straßenbilder zur Entwicklung dieser Art von Szenenverständnis.

Semantische Wahrnehmung mit Ultralytics YOLO#

Der folgende Ultralytics semantic segmentation workflow erzeugt eine dichte Klassenkarte unter Verwendung von YOLO26. Diese Ausgabe kann später von einer Mapping-Pipeline in ein 2D-Gitter oder ein 3D-Weltkoordinatensystem projiziert werden.

from ultralytics import YOLO

# Load a pretrained semantic segmentation model
model = YOLO("yolo26n-sem.pt")

# Predict a per-pixel class map
results = model("https://ultralytics.com/images/bus.jpg")

# Select the first result and inspect its map dimensions
result = results[0]
class_map = result.semantic_mask.data
print(class_map.shape)

result.save(filename="semantic_scene.jpg")

Der semantic_mask enthält eine Klassen-ID pro Bildpixel. Er stellt die semantische Wahrnehmungsschicht bereit, während Tiefe, Kalibrierung, Lokalisierung und temporale Fusion weiterhin erforderlich sind, um eine persistente räumliche Karte zu erstellen. Benutzerdefinierte Pixel-Level-Datensätze können mit den Ultralytics Platform annotation tools gelabelt und verwaltet werden.

Praktische Überlegungen zum Design#

Zuverlässige semantische Karten erfordern konsistente Klassendefinitionen, eine genaue Sensorkalibrierung, synchronisierte Zeitstempel und representative Trainingsdaten. Posen-Drift kann korrekte Labels an falschen Positionen platzieren, während Segmentierungsfehler Hindernisse als befahrbaren Raum markieren können. Dynamische Objekte erfordern außerdem Ablauf- oder Verfolgungsregeln, damit ein geparktes Fahrzeug oder Fußgänger nicht dauerhaft in der Karte eingebettet bleibt.

Teams sollten sowohl die Wahrnehmungsgenauigkeit als auch die räumliche Konsistenz validieren, schwierige Grenzen und kleine Strukturen testen, die Vorhersagekonfidenz nach Möglichkeit beibehalten und definieren, wie widersprüchliche Beobachtungen aktualisiert werden. Für sicherheitskritische Navigation sollten semantische Informationen die geometrische Hinderniserkennung und Kollisionsprüfung ergänzen – nicht automatisch ersetzen.