Semantic Mapping

Semantische Kartierung ist der Prozess, eine räumliche Darstellung einer Umgebung zu erstellen und Orten darin aussagekräftige Klassenbezeichnungen – etwa Straße, Wand, Türöffnung, Person, Regal oder Vegetation – zuzuweisen. In der KI und Robotik beantwortet eine semantische Karte sowohl die Frage „Wo befindet sich etwas?“ als auch „Was ist es?“. Anstatt eine Szene nur als belegten und freien Raum darzustellen, liefert sie Kontextinformationen, die Navigation, Planung, Interaktion und Szenenverständnis unterstützen.

So funktioniert semantische Kartierung#

Ein System zur semantischen Kartierung kombiniert typischerweise Wahrnehmung, Geometrie, Lokalisierung und zeitliche Zusammenführung. Zunächst klassifiziert ein Modell zur semantischen Segmentierung jedes Bildpixel. Alle beispielsweise als „Straße“ gekennzeichneten Pixel bilden eine Straßenregion, während als „Auto“ gekennzeichnete Pixel Fahrzeugregionen identifizieren. Die Einführung von NVIDIA in die Bildsegmentierung in der Robotik veranschaulicht, wie diese pixelweisen Bezeichnungen die Wahrnehmung durch Roboter unterstützen.

Pixelbezeichnungen allein bleiben an ein zweidimensionales Kamerabild gebunden. Das System benötigt Geometrie, häufig aus LiDAR, Stereokameras oder Tiefenschätzung, um Pixel physischen Positionen zuzuordnen. Der Open3D-Workflow für RGB-D-Bilder zeigt, wie registrierte Farb- und Tiefenbilder eine 3D-Punktwolke erzeugen können.

Eine genaue Projektion hängt außerdem von den intrinsischen und extrinsischen Parametern der Kamera ab. Die Dokumentation zur Kamerakalibrierung von OpenCV erläutert die Parameter, mit denen Bildpixel 3D-Punkten zugeordnet werden, während die ROS-Definition der CameraInfo-Nachricht diese Kalibrierungsinformationen in Robotersystemen standardisiert.

Schließlich führt Sensorfusion Beobachtungen über die Zeit zusammen. Roboterposen und Koordinatentransformationen platzieren jede gekennzeichnete Beobachtung in einem gemeinsamen Kartenkoordinatensystem. ROS-Koordinatentransformationen mit tf2 bieten einen gängigen Mechanismus zur Verwaltung dieser Beziehungen.

Verwandte Konzepte und wichtige Unterschiede#

Semantische Kartierung überschneidet sich mit mehreren Konzepten aus Computer Vision und Robotik, doch diese lösen unterschiedliche Probleme:

• Visuelles SLAM schätzt die Position einer Kamera oder eines Roboters, während eine geometrische Karte erstellt wird. Semantische Kartierung ergänzt diese Geometrie um Klassenbedeutungen. Ein System kann daher SLAM zur Posenschätzung und semantische Wahrnehmung zur Kennzeichnung verwenden.
• Belegungskartierung beschreibt, ob Zellen frei, belegt oder unbekannt sind. Der Leitfaden zur Kartierung und Lokalisierung mit Nav2 erklärt, wie Belegungsraster die Pfadplanung unterstützen. Eine semantische Karte kann zusätzlich zwischen einer Wand und einer Person oder zwischen einer befahrbaren Straße und einem Gehweg unterscheiden.
• Instanzsegmentierung trennt einzelne Objekte, etwa zwei verschiedene Autos. Die semantische Segmentierung fasst beide Autos unter einer Pixelklasse zusammen. Semantische Karten können je nach Bedarf beide Darstellungen verwenden, abhängig davon, ob die Identität von Objekten erhalten bleiben muss.
• Semantische Suche organisiert Informationen nach konzeptioneller Ähnlichkeit, während semantische Kartierung in der Robotik Bedeutungen mit physischen Orten verknüpft.

Anwendungen in der Praxis#

Autonome Navigation: Ein Lieferroboter kann Böden als befahrbar, Wände und Bordsteine als Hindernisse sowie Personen als dynamische Gefahren kennzeichnen. Diese Bezeichnungen können in Navigationskosten umgewandelt werden, sodass der Planer sichere Flächen bevorzugt, anstatt jede sichtbare Region gleich zu behandeln. Das Tutorial zur Navigation mit semantischer Segmentierung in Nav2 zeigt, wie Klassenmasken und registrierte Punktwolken die Kostenkarte eines Roboters aktualisieren können.

Fahren im Stadtverkehr: Ein autonomes Fahrzeug kann Vorhersagen für Straße, Gehweg, Gebäude, Vegetation, Fußgänger und Fahrzeuge in eine dauerhafte Weltkarte projizieren. Dies hilft dem System, Fahrspurgrenzen zu verstehen, nicht befahrbare Bereiche zu erkennen und zu bestimmen, wo gefährdete Verkehrsteilnehmer auftauchen können. Der offizielle Cityscapes-Datensatz für städtische Szenen stellt dicht annotierte Straßenbilder für die Entwicklung eines solchen Szenenverständnisses bereit.

Semantische Wahrnehmung mit Ultralytics YOLO#

Der folgende Workflow zur semantischen Segmentierung von Ultralytics erzeugt mit YOLO26 eine dichte Klassenkarte. Diese Ausgabe kann später durch eine Kartierungspipeline in ein 2D-Raster oder ein 3D-Weltkoordinatensystem projiziert werden.

from ultralytics import YOLO

# Load a pretrained semantic segmentation model
model = YOLO("yolo26n-sem.pt")

# Predict a per-pixel class map
results = model("https://ultralytics.com/images/bus.jpg")

# Select the first result and inspect its map dimensions
result = results[0]
class_map = result.semantic_mask.data
print(class_map.shape)

result.save(filename="semantic_scene.jpg")

semantic_mask enthält eine Klassen-ID für jedes Bildpixel. Es stellt die Ebene der semantischen Wahrnehmung bereit, während Tiefe, Kalibrierung, Lokalisierung und zeitliche Zusammenführung weiterhin erforderlich sind, um eine dauerhafte räumliche Karte zu erstellen. Benutzerdefinierte Datensätze auf Pixelebene können mit den Annotationstools der Ultralytics Platform annotiert und verwaltet werden.

Praktische Überlegungen zum Design#

Zuverlässige semantische Karten erfordern konsistente Klassendefinitionen, eine genaue Sensorkalibrierung, synchronisierte Zeitstempel und repräsentative Trainingsdaten. Posendrift kann korrekte Bezeichnungen an falschen Orten platzieren, während Segmentierungsfehler Hindernisse als befahrbaren Raum markieren können. Für dynamische Objekte sind außerdem Ablauf- oder Verfolgungsregeln erforderlich, damit ein geparktes Fahrzeug oder ein Fußgänger nicht dauerhaft in der Karte gespeichert bleibt.

Teams sollten sowohl die Genauigkeit der Wahrnehmung als auch die räumliche Konsistenz validieren, schwierige Grenzen und kleine Strukturen testen, die Vorhersagekonfidenz nach Möglichkeit beibehalten und festlegen, wie widersprüchliche Beobachtungen aktualisiert werden. Bei sicherheitskritischer Navigation sollten semantische Informationen die geometrische Hinderniserkennung und Kollisionsprüfungen ergänzen – sie jedoch nicht automatisch ersetzen.