Stereo Vision
Stereosehen misst die Tiefe, indem es jeden Punkt in zwei versetzten Kameras einander zuordnet und die Verschiebung zwischen den Ansichten trianguliert, wie bei Robotern, Autos und Rovern.
Stereoskopisches Sehen ist eine Technik des Computersehens, mit der sich die Tiefe aus zwei Bildern derselben Szene rekonstruieren lässt, die von Kameras mit bekanntem Abstand aufgenommen wurden. Ein Punkt auf einem nahen Objekt erscheint im linken und rechten Bild deutlich versetzt, während ein weit entfernter Punkt in nahezu derselben Position liegt. Dieser horizontale Versatz, die sogenannte Disparität, lässt sich durch Triangulation direkt in eine Entfernung umrechnen. Das menschliche binokulare Sehen funktioniert genauso: Die Augen liegen etwa 6 cm auseinander. Stereokameras liefern Robotik-Systemen, Autos, Drohnen und Planetenerkundungsfahrzeugen eine dichte Tiefenschätzung anhand gewöhnlicher passiver Kameras.
So funktioniert stereoskopisches Sehen#
Ein Stereosystem benötigt zunächst eine Kamerakalibrierung: die Brennweite und Linsenverzeichnung jeder Kamera sowie die Drehung und Verschiebung zwischen den beiden Kameras. Bei der Rektifizierung werden anschließend beide Bilder so verzerrt, dass die Epipolargeometrie ihre einfachste Form annimmt: Der passende Punkt zu jedem Bildpunkt liegt dann auf derselben Zeile des anderen Bildes. So wird aus dem Zuordnungsproblem – denselben Szenenpunkt in beiden Ansichten zu finden – eine eindimensionale Suche entlang einer Zeile. Für ein zugeordnetes Pixel mit der Disparität d ergibt sich die Tiefe aus Z = f × B / d, wobei f die Brennweite in Pixeln und B die Basislinie, also den Abstand zwischen den Kameras, bezeichnet.
Dieses Beispiel führt den Semi-Global-Matcher von OpenCV auf einem rektifizierten Bildpaar aus dem Stereobenchmark Middlebury 2014 aus. Der Benchmark ist zusammen mit scikit-image verfügbar und enthält subpixelgenaue Disparitätsreferenzwerte, die mit strukturiertem Licht gemessen wurden:
import cv2
import numpy as np
from skimage import data
# Rectified Middlebury stereo pair with ground-truth disparity (focal length 995 px, baseline 0.193 m)
left, right, true_disp = data.stereo_motorcycle()
left, right = cv2.cvtColor(left, cv2.COLOR_RGB2GRAY), cv2.cvtColor(right, cv2.COLOR_RGB2GRAY)
# Semi-global matching searches each pixel's row in the other image; OpenCV returns 1/16-pixel units
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=80, blockSize=5, P1=200, P2=800, uniquenessRatio=10)
disp = sgbm.compute(left, right).astype(np.float32) / 16
# Score the pixels that have ground truth and a confident match
valid = np.isfinite(true_disp) & (disp > 0)
good = np.abs(disp - true_disp)[valid] < 1
print(f"Matched {valid.mean():.0%} of pixels, {good.mean():.1%} of them within 1 px of ground truth")
# Triangulate depth: Z = focal * baseline / (disparity + offset between the two principal points)
depth, true_depth = (994.978 * 0.193 / (d + 31.086) for d in (disp, true_disp))
print(f"Depth at the image center: {depth[250, 370]:.2f} m (ground truth {true_depth[250, 370]:.2f} m)")Die Ausgabe lautet Matched 79% of pixels, 91.0% of them within 1 px of ground truth; in der Bildmitte beträgt die Tiefe 2.40 m und stimmt damit mit dem Referenzwert überein. Die meisten nicht zugeordneten Pixel liegen in einem 80 Pixel breiten Streifen am linken Rand, wo die Suche über 80 Disparitätswerte über den Rand des rechten Bildes hinausgehen würde.
Zuordnungsalgorithmen und Genauigkeit#
Der Vergleich kleiner Pixelbereiche scheitert, wenn ein Bereich keine Textur enthält, ein Muster wiederholt oder eine Objektkante überlappt. Das 2005 von Heiko Hirschmüller eingeführte Semi-Global Matching, das OpenCV in abgewandelter Form als StereoSGBM implementiert, bestraft große Sprünge der Disparität und aggregiert diese Strafe entlang mehrerer eindimensionaler Pfade durch das Bild. Dadurch werden schwach strukturierte Bereiche ausgefüllt, während Objektkanten scharf bleiben. Methoden des Deep Learning ersetzen handgefertigte Kostenfunktionen durch gelernte Feature-Maps und ein Kostenvolumen über mögliche Disparitäten. RAFT-Stereo verfeinert ein Disparitätsfeld durch wiederkehrende Aktualisierungen nach dem Vorbild von Netzwerken für den optischen Fluss. Die Methoden werden anhand des Stereobenchmarks Middlebury, den Daniel Scharstein und Richard Szeliski 2002 ins Leben riefen, sowie anhand von KITTI-Fahrszenen mit LiDAR-Referenzdaten verglichen.
Die Genauigkeit nimmt mit der Entfernung schnell ab. Die Ableitung der Tiefenformel ergibt pro Pixel Disparitätsfehler einen Tiefenfehler von etwa Z² / (f × B). Bei einer über der Szene positionierten Kamera bedeutet ein Fehler von einem Pixel daher 3 cm bei 2,4 m und 52 cm bei 10 m. Eine größere Basislinie oder längere Brennweite erweitert den nutzbaren Bereich, allerdings auf Kosten einer größeren Mindestentfernung und mehr Bereichen, die nur von einer Kamera erfasst werden. Aktive Stereokameras wie die Intel RealSense D400-Serie projizieren ein Infrarot-Punktmuster auf die Szene. Dadurch erhalten glatte Wände die Textur, die für den Abgleich benötigt wird.
Stereo-Vision im Vergleich zu monokularer Tiefenschätzung und aktiven Sensoren#
Die monokulare Tiefenschätzung sagt die Tiefe anhand eines einzelnen Bildes und erlernter Hinweise wie Perspektive, Objektgröße und Verdeckung voraus. Ihre Skalierung stammt daher aus den Trainingsdaten, während Stereo die Skalierung geometrisch anhand der Basislinie ermittelt. Tiefenschätzungsmodelle von Ultralytics YOLO26 verfolgen den monokularen Ansatz und sagen aus einem RGB-Bild eine Tiefenkarte in Metern voraus. model.calibrate() passt ihre metrische Skalierung anhand einer kleinen Bildmenge mit gemessener Tiefe an eine bestimmte Kamera an. LiDAR- und Laufzeitkameras messen Entfernungen aktiv, indem sie die Laufzeit ausgesandten Lichts erfassen. Viele Fahrzeuge kombinieren sie mithilfe von Sensorfusion mit Stereo. Stereotiefe dient außerdem der 3D-Objekterkennung, der 3D-Rekonstruktion und visuellem SLAM. Mit der Zeit kommt Szenenfluss hinzu, also die 3D-Bewegung jedes Punkts.
Anwendungen in der Praxis#
- Fahrassistenz: Subarus EyeSight-System verwendet zwei Kameras in der Nähe des Rückspiegels, um den Abstand zu vorausfahrenden Fahrzeugen und Fußgängern für die adaptive Geschwindigkeitsregelung und die automatische Notbremsung zu messen.
- Robotergestützte Kommissionierung: Stereotiefenkameras an Roboterarmen lokalisieren Teile in Behältern und auf Förderbändern und liefern die 3D-Position und -Ausrichtung, die ein Greifer benötigt.
- Drohnen: Verbraucherdrohnen wie die Mavic-Serie von DJI erkennen Hindernisse mithilfe von binokularen Bildsensoren, die in mehrere Richtungen zeigen.
- Planetenrover: Der Perseverance-Rover der NASA fährt selbstständig über den Mars, indem er an Bord mit seinen Stereo-Navigationskameras 3D-Geländekarten erstellt.










