YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Visual SLAM (Simultaneous Localization and Mapping)

Visuelles SLAM erstellt eine Karte eines unbekannten Raums und verfolgt anhand von Bildern gleichzeitig die Pose der Kamera darin. Behandelt werden Tracking, Loop Closure, Maßstab und Deep SLAM.

Visuelles SLAM (simultane Lokalisierung und Kartierung) bezeichnet die Aufgabe, mithilfe von Bildern als primärem Sensor eine Karte einer unbekannten Umgebung zu erstellen und gleichzeitig Position und Ausrichtung der Kamera darin zu verfolgen. Die beiden Teile hängen voneinander ab: Um die Kamera zu lokalisieren, braucht man eine Karte, und zum Erstellen der Karte muss man wissen, wo sich die Kamera befand. Visuelle SLAM-Systeme verwenden eine einzelne (monokulare) Kamera, ein Stereopaar oder eine RGB-D-Kamera, die zusätzlich die Tiefe misst. Viele kombinieren das System auch mit einer inertialen Messeinheit (IMU); dies wird visuell-inertiales SLAM oder, ohne dauerhafte Karte, visuell-inertiale Odometrie genannt. Smartphones und Headsets nutzen das Verfahren, um Inhalte der erweiterten Realität zu verankern. Apples ARKit tut dies, indem es Kameramerkmale mit Bewegungsdaten von Sensoren kombiniert. Roboter und Drohnen nutzen das Verfahren zur Navigation, wenn kein GPS verfügbar ist.

So funktioniert Visual SLAM#

Ein typisches System führt Verfolgung, Kartierung und Schleifenschluss als parallele Prozesse aus. PTAM, ein Augmented-Reality-System aus dem Jahr 2007, trennte die Verfolgung auf diese Weise von der Kartierung. ORB-SLAM3 und die meisten späteren merkmalsbasierten Systeme folgen demselben Aufbau:

  • Verfolgung: In jedem Frame erkennt das Frontend Merkmale wie ORB-Ecken, ordnet sie der Karte oder dem vorherigen Frame zu und schätzt die Pose der Kamera mit sechs Freiheitsgraden. Für sich allein genommen ist diese Schätzung von Frame zu Frame eine visuelle Odometrie. Direkte Verfahren wie DSO überspringen Merkmale und gleichen stattdessen die Pixelintensitäten ab.
  • Lokale Kartierung: Ausgewählte Keyframes fügen durch Triangulation zugeordneter Merkmale neue 3D-Punkte hinzu. Die Bündeladjustierung verfeinert gemeinsam nahe beieinanderliegende Kameraposen und Punkte, um den Reprojektionsfehler zu minimieren.
  • Schleifenschluss: Kleine Fehler summieren sich zu einem Drift. Erkennt das System einen bereits besuchten Ort wieder, meist durch den Vergleich kompakter Erscheinungsbeschreibungen von Keyframes, fügt es eine Verknüpfung zwischen den beiden Besuchen hinzu und optimiert die gesamte Trajektorie, damit die Karte wieder übereinstimmt.

Bewegung aus zwei Ansichten und das Skalenproblem#

Im Kern der Verfolgung steht die Geometrie zweier Ansichten auf Grundlage der Epipolargeometrie: Anhand von Merkmalen, die zwei Frames gemeinsam haben, beschreibt die essenzielle Matrix die Drehung der Kamera und die Richtung ihrer Verschiebung. Dieses OpenCV-Beispiel projiziert verrauschte synthetische 3D-Landmarken in zwei Frames und ermittelt daraus die Bewegung:

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]])  # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3))  # static 3D landmarks 3-6 m ahead

# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])


def project(X, R, t):
    """Project 3D points to pixels and add 0.5 px of feature-detection noise."""
    x = (K @ (X @ R.T + t).T).T
    return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))


pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)

# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")

Das Verfahren ermittelt eine Drehung von 5,72 Grad statt der tatsächlichen 5,00 Grad und eine Verschiebungsrichtung von [-1.0, -0.09, 0.02] statt der tatsächlichen [-1, 0, 0]. Die Länge der Verschiebung beträgt jedoch immer 1. Eine einzelne Kamera kann nicht unterscheiden, ob sie sich 0,3 m an nahen Objekten oder 3 m an Objekten vorbeibewegt, die zehnmal weiter entfernt sind. Monokulares SLAM legt daher beim Start einen willkürlichen Maßstab fest, der sich mit der Zeit verschiebt. Eine Stereo-Basislinie, ein Tiefensensor oder eine IMU liefert den Maßstab in metrischen Einheiten.

Dynamische Szenen und semantisches SLAM#

Die meisten SLAM-Pipelines gehen von einer statischen Welt aus. Merkmale auf gehenden Menschen und vorbeifahrenden Autos bringen die Pose-Schätzung daher vom Kurs ab. Semantische SLAM-Systeme nutzen Segmentierung, um bewegliche Objekte zu finden und Merkmale auf ihnen zu ignorieren. DynaSLAM ergänzte ORB-SLAM2 2018 zu diesem Zweck um Masken von Mask R-CNN. Ein Ultralytics-YOLO26-Segmentierungsmodell erledigt dieselbe Aufgabe mit Bildraten in Echtzeit. Es erzeugt eine Maske, die die Merkmalsextraktion auf die statische Szene beschränkt:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7])  # people and vehicles
result = results[0]

# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
    cv2.fillPoly(static, [polygon.astype(np.int32)], 0)

orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")

# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))

Der ausgegebene Anteil gibt an, wie viele Merkmale ansonsten von beweglichen Objekten stammen würden. static_features.jpg zeigt die für die Verfolgung verbleibenden Merkmale. Markierte Masken ermöglichen es außerdem, dass die semantische Kartierung Objektklassen direkt der Karte zuordnet.

  • LiDAR-SLAM: Misst Entfernungen direkt mit Laserpulsen, verfügt daher über einen metrischen Maßstab und funktioniert im Dunkeln, ist aber mit höheren Sensor- und Energieanforderungen verbunden. Visuelles SLAM nutzt kostengünstige Kameras und erfasst das Erscheinungsbild, wodurch bereits besuchte Orte leichter zu erkennen sind. Probleme bereiten jedoch schlechte Lichtverhältnisse, Bewegungsunschärfe und texturarme Szenen wie leere Wände.
  • Visuelle Odometrie: Nur das Frontend zur Verfolgung, das Bewegungen schätzt, aber keine globale Karte führt und einen Drift nicht durch Schleifenschluss korrigieren kann.
  • Bewegungsrekonstruktion aus Bildern (SfM): Rekonstruiert offline eine Szene aus einer ungeordneten Fotosammlung. SLAM verarbeitet Frames dagegen in der Reihenfolge ihres Eintreffens.
  • Objektverfolgung: Verfolgt einzelne Objekte über Videoframes hinweg. SLAM verfolgt die Kamera selbst relativ zur statischen Welt.

Klassische und lernbasierte Ansätze#

Merkmalsbasierte Systeme wie ORB-SLAM3, das monokulare, Stereo-, RGB-D- und visuell-inertiale Konfigurationen unterstützt, sind wegen ihrer Schnelligkeit und Genauigkeit in strukturierten Szenen weiterhin weit verbreitet. Lernbasierte Systeme ersetzen von Hand entwickelte Komponenten durch neuronale Netze: DROID-SLAM (2021) führt iterative, dichte Aktualisierungen des optischen Flusses durch eine differenzierbare Bündeladjustierungsschicht. Andere neuere Systeme speichern die Karte als Gaußsche Splats oder neuronale Strahlungsfelder. So entstehen fotorealistische Karten, die sich aus neuen Blickwinkeln rendern lassen. MASt3R-SLAM, ein Highlight der CVPR 2025, baut auf MASt3R auf, einem lernbasierten Modell zur 3D-Rekonstruktion aus zwei Ansichten. Es führt dichtes monokulares SLAM mit 15 FPS aus, ohne ein festes parametrisches Kameramodell vorauszusetzen.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens