YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Stereo Vision

Stereosehen misst die Tiefe, indem es jeden Punkt in zwei versetzten Kameras einander zuordnet und die Verschiebung zwischen den Ansichten trianguliert, wie bei Robotern, Autos und Rovern.

Stereoskopisches Sehen ist eine Technik des Computersehens, mit der sich die Tiefe aus zwei Bildern derselben Szene rekonstruieren lässt, die von Kameras mit bekanntem Abstand aufgenommen wurden. Ein Punkt auf einem nahen Objekt erscheint im linken und rechten Bild deutlich versetzt, während ein weit entfernter Punkt in nahezu derselben Position liegt. Dieser horizontale Versatz, die sogenannte Disparität, lässt sich durch Triangulation direkt in eine Entfernung umrechnen. Das menschliche binokulare Sehen funktioniert genauso: Die Augen liegen etwa 6 cm auseinander. Stereokameras liefern Robotik-Systemen, Autos, Drohnen und Planetenerkundungsfahrzeugen eine dichte Tiefenschätzung anhand gewöhnlicher passiver Kameras.

So funktioniert stereoskopisches Sehen#

Ein Stereosystem benötigt zunächst eine Kamerakalibrierung: die Brennweite und Linsenverzeichnung jeder Kamera sowie die Drehung und Verschiebung zwischen den beiden Kameras. Bei der Rektifizierung werden anschließend beide Bilder so verzerrt, dass die Epipolargeometrie ihre einfachste Form annimmt: Der passende Punkt zu jedem Bildpunkt liegt dann auf derselben Zeile des anderen Bildes. So wird aus dem Zuordnungsproblem – denselben Szenenpunkt in beiden Ansichten zu finden – eine eindimensionale Suche entlang einer Zeile. Für ein zugeordnetes Pixel mit der Disparität d ergibt sich die Tiefe aus Z = f × B / d, wobei f die Brennweite in Pixeln und B die Basislinie, also den Abstand zwischen den Kameras, bezeichnet.

Dieses Beispiel führt den Semi-Global-Matcher von OpenCV auf einem rektifizierten Bildpaar aus dem Stereobenchmark Middlebury 2014 aus. Der Benchmark ist zusammen mit scikit-image verfügbar und enthält subpixelgenaue Disparitätsreferenzwerte, die mit strukturiertem Licht gemessen wurden:

import cv2
import numpy as np
from skimage import data

# Rectified Middlebury stereo pair with ground-truth disparity (focal length 995 px, baseline 0.193 m)
left, right, true_disp = data.stereo_motorcycle()
left, right = cv2.cvtColor(left, cv2.COLOR_RGB2GRAY), cv2.cvtColor(right, cv2.COLOR_RGB2GRAY)

# Semi-global matching searches each pixel's row in the other image; OpenCV returns 1/16-pixel units
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=80, blockSize=5, P1=200, P2=800, uniquenessRatio=10)
disp = sgbm.compute(left, right).astype(np.float32) / 16

# Score the pixels that have ground truth and a confident match
valid = np.isfinite(true_disp) & (disp > 0)
good = np.abs(disp - true_disp)[valid] < 1
print(f"Matched {valid.mean():.0%} of pixels, {good.mean():.1%} of them within 1 px of ground truth")

# Triangulate depth: Z = focal * baseline / (disparity + offset between the two principal points)
depth, true_depth = (994.978 * 0.193 / (d + 31.086) for d in (disp, true_disp))
print(f"Depth at the image center: {depth[250, 370]:.2f} m (ground truth {true_depth[250, 370]:.2f} m)")

Die Ausgabe lautet Matched 79% of pixels, 91.0% of them within 1 px of ground truth; in der Bildmitte beträgt die Tiefe 2.40 m und stimmt damit mit dem Referenzwert überein. Die meisten nicht zugeordneten Pixel liegen in einem 80 Pixel breiten Streifen am linken Rand, wo die Suche über 80 Disparitätswerte über den Rand des rechten Bildes hinausgehen würde.

Zuordnungsalgorithmen und Genauigkeit#

Der Vergleich kleiner Pixelbereiche scheitert, wenn ein Bereich keine Textur enthält, ein Muster wiederholt oder eine Objektkante überlappt. Das 2005 von Heiko Hirschmüller eingeführte Semi-Global Matching, das OpenCV in abgewandelter Form als StereoSGBM implementiert, bestraft große Sprünge der Disparität und aggregiert diese Strafe entlang mehrerer eindimensionaler Pfade durch das Bild. Dadurch werden schwach strukturierte Bereiche ausgefüllt, während Objektkanten scharf bleiben. Methoden des Deep Learning ersetzen handgefertigte Kostenfunktionen durch gelernte Feature-Maps und ein Kostenvolumen über mögliche Disparitäten. RAFT-Stereo verfeinert ein Disparitätsfeld durch wiederkehrende Aktualisierungen nach dem Vorbild von Netzwerken für den optischen Fluss. Die Methoden werden anhand des Stereobenchmarks Middlebury, den Daniel Scharstein und Richard Szeliski 2002 ins Leben riefen, sowie anhand von KITTI-Fahrszenen mit LiDAR-Referenzdaten verglichen.

Die Genauigkeit nimmt mit der Entfernung schnell ab. Die Ableitung der Tiefenformel ergibt pro Pixel Disparitätsfehler einen Tiefenfehler von etwa Z² / (f × B). Bei einer über der Szene positionierten Kamera bedeutet ein Fehler von einem Pixel daher 3 cm bei 2,4 m und 52 cm bei 10 m. Eine größere Basislinie oder längere Brennweite erweitert den nutzbaren Bereich, allerdings auf Kosten einer größeren Mindestentfernung und mehr Bereichen, die nur von einer Kamera erfasst werden. Aktive Stereokameras wie die Intel RealSense D400-Serie projizieren ein Infrarot-Punktmuster auf die Szene. Dadurch erhalten glatte Wände die Textur, die für den Abgleich benötigt wird.

Stereo-Vision im Vergleich zu monokularer Tiefenschätzung und aktiven Sensoren#

Die monokulare Tiefenschätzung sagt die Tiefe anhand eines einzelnen Bildes und erlernter Hinweise wie Perspektive, Objektgröße und Verdeckung voraus. Ihre Skalierung stammt daher aus den Trainingsdaten, während Stereo die Skalierung geometrisch anhand der Basislinie ermittelt. Tiefenschätzungsmodelle von Ultralytics YOLO26 verfolgen den monokularen Ansatz und sagen aus einem RGB-Bild eine Tiefenkarte in Metern voraus. model.calibrate() passt ihre metrische Skalierung anhand einer kleinen Bildmenge mit gemessener Tiefe an eine bestimmte Kamera an. LiDAR- und Laufzeitkameras messen Entfernungen aktiv, indem sie die Laufzeit ausgesandten Lichts erfassen. Viele Fahrzeuge kombinieren sie mithilfe von Sensorfusion mit Stereo. Stereotiefe dient außerdem der 3D-Objekterkennung, der 3D-Rekonstruktion und visuellem SLAM. Mit der Zeit kommt Szenenfluss hinzu, also die 3D-Bewegung jedes Punkts.

Anwendungen in der Praxis#

  • Fahrassistenz: Subarus EyeSight-System verwendet zwei Kameras in der Nähe des Rückspiegels, um den Abstand zu vorausfahrenden Fahrzeugen und Fußgängern für die adaptive Geschwindigkeitsregelung und die automatische Notbremsung zu messen.
  • Robotergestützte Kommissionierung: Stereotiefenkameras an Roboterarmen lokalisieren Teile in Behältern und auf Förderbändern und liefern die 3D-Position und -Ausrichtung, die ein Greifer benötigt.
  • Drohnen: Verbraucherdrohnen wie die Mavic-Serie von DJI erkennen Hindernisse mithilfe von binokularen Bildsensoren, die in mehrere Richtungen zeigen.
  • Planetenrover: Der Perseverance-Rover der NASA fährt selbstständig über den Mars, indem er an Bord mit seinen Stereo-Navigationskameras 3D-Geländekarten erstellt.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens