Depth Estimation

Tiefenschätzung ist die Aufgabe des maschinellen Sehens, für jedes Pixel eines Bildes die Entfernung zwischen der Kamera und der dargestellten Oberfläche vorherzusagen. Das Ergebnis ist eine Tiefenkarte, ein rasterförmiges Bild mit Entfernungswerten, das einem flachen Foto die fehlende dritte Dimension hinzufügt. So erhalten Roboter, Fahrzeuge und Geräte für erweiterte Realität mithilfe gewöhnlicher Kameras ein dreidimensionales Abbild einer Szene.

Möglichkeiten zur Tiefenbestimmung#

• Stereosicht: Zwei kalibrierte Kameras mit bekanntem Abstand sehen jeden Punkt an leicht unterschiedlichen horizontalen Positionen. Diese Verschiebung, die Disparität, ergibt die Tiefe als Brennweite × Basisabstand ÷ Disparität. Daher lassen sich weit entfernte Objekte mit geringer Disparität weniger genau vermessen, und strukturlose Oberflächen wie weiße Wände sind zwischen den beiden Bildern schwer abzugleichen.
• LiDAR und andere aktive Sensoren: LiDAR misst die Laufzeit von Laserpulsen und liefert auf große Entfernungen genaue, aber spärliche Punkte. Laufzeitsensoren und Kameras mit strukturiertem Licht liefern auf kurze Distanzen, meist in Innenräumen, dichte Tiefendaten. Diese Sensoren erzeugen außerdem die Referenzwerte, mit denen lernende Modelle trainiert werden.
• Monokulare Tiefenschätzung: Ein neuronales Netz sagt die Tiefe anhand eines einzelnen Bildes voraus und nutzt dazu Merkmale wie Perspektive, die bekannte Größe vertrauter Objekte, Texturverläufe und Verdeckungen. Das Problem ist nicht eindeutig lösbar, da ein Spielzeugauto aus der Nähe und ein echtes Auto in großer Entfernung dasselbe Bild erzeugen können. Daher stützt sich das Modell auf sein gelerntes Wissen über typische Szenen.
• Visuelles SLAM und andere Mehransichtsverfahren: Structure from Motion und visuelles SLAM ermitteln die Tiefe, indem sie Punkte aus Einzelbildern triangulieren, die von verschiedenen Positionen aus aufgenommen wurden.

Monokulare Tiefenschätzung mit Deep Learning#

Gelernte Tiefenmodelle gibt es in zwei Arten. Modelle für relative Tiefe sagen die Reihenfolge und Form von Oberflächen bis auf eine unbekannte Skalierung und Verschiebung voraus. Das genügt für Effekte wie Hintergrundunschärfe und dafür, Objekte nach ihrer Nähe zu ordnen. MiDaS machte diesen Ansatz über sehr unterschiedliche Szenen hinweg nutzbar, indem das Modell mit einem gegenüber Skalierung und Verschiebung invarianten Verlust auf einer Mischung aus Datensätzen trainiert wurde, darunter 3D-Filme. Depth Anything V2 trainiert Modelle mit 25 Millionen bis 1,3 Milliarden Parametern anhand von synthetischen Labels und großen Mengen realer Bilder mit Pseudolabels. Modelle für metrische Tiefe sagen Entfernungen in Metern voraus, die Roboter und Messwerkzeuge benötigen: Apples Depth Pro erstellt in 0,3 Sekunden eine metrische Tiefenkarte mit 2,25 Megapixeln auf einer handelsüblichen GPU, ohne interne Kameraparameter.

Die Tiefenmodelle von Ultralytics YOLO26 sagen anhand eines einzelnen Bildes die metrische Tiefe voraus. Ihr Kopf für logarithmische Tiefenwerte deckt einen Bereich von etwa 0,02 bis 150 Metern ab. Dasselbe Modell erfasst somit Räume mit wenigen Metern Tiefe ebenso wie Fahrszenen bis zu 80 Metern. Ein Modell zu laden, eine Vorhersage zu erstellen und das Ergebnis zu speichern, erfordert nur wenige Zeilen:

from ultralytics import YOLO

# Load a YOLO26 monocular depth model
model = YOLO("yolo26n-depth.pt")

# Predict a depth map for one image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-pixel depth in meters, at the original image's resolution
depth = result.depth.data
print(f"Nearest {depth.min():.1f} m, farthest {depth.max():.1f} m")

# Save a colorized depth map blended over the photo
result.save(filename="depth_result.jpg")

Der ausgegebene Bereich zeigt die nächstgelegenen und am weitesten entfernten Oberflächen, die das Modell in der Straßenszene erkennt. Das gespeicherte Bild färbt jedes Pixel entsprechend der vorhergesagten Entfernung ein.

Genauigkeit messen#

Tiefenmodelle werden Pixel für Pixel anhand von Sensorreferenzdaten bewertet. Der mittlere absolute relative Fehler (AbsRel) gibt den Fehler als Anteil der tatsächlichen Tiefe an, der mittlere quadratische Fehler (RMSE) den Fehler in Metern und δ₁ den Anteil der Pixel, deren Vorhersage höchstens um den Faktor 1,25 vom tatsächlichen Wert abweicht. Zu den gängigen Benchmarks zählen NYU Depth V2, Innenraumszenen, die mit einem Kinect-Sensor aufgenommen wurden, sowie KITTI, Fahrszenen mit LiDAR-Referenzdaten, die üblicherweise bis zu einer Entfernung von 80 Metern bewertet werden. Vor der Bewertung werden Vorhersagen zur relativen Tiefe an die Referenzwerte angepasst, sodass Skalierung und Verschiebung übereinstimmen. Ihre Werte messen daher nur die Form. Mittelwerte über alle Pixel verbergen außerdem Tiefenunschärfe, bei der sich die vorhergesagte Tiefe über Objektgrenzen hinweg ausbreitet. Deshalb führte Depth Pro spezielle Metriken zur Bewertung der Grenzgenauigkeit ein.

Tiefenschätzung im Vergleich zu verwandten Aufgaben#

• 3D-Objekterkennung: Sagt für jedes Objekt eine 3D-Box mit Position, Größe und Ausrichtung voraus und nutzt dabei häufig die Tiefe als Eingabe.
• Semantische Segmentierung: Weist jedem Pixel eine Klassenbezeichnung zu. In Kombination mit einer Tiefenkarte teilt sie einem Roboter mit, was jede Oberfläche ist und wie weit sie entfernt ist.
• 3D-Rekonstruktion: Erstellt ein vollständiges Netz oder eine Punktwolke einer Szene, meist durch Zusammenführen von Tiefendaten aus vielen Blickwinkeln.

Anwendungen in der Praxis#

• Fahrerassistenz und autonomes Fahren: Die kamerabasierte Tiefenschätzung ergänzt erkannte Autos und Fußgänger um Entfernungsangaben, zusätzlich zu LiDAR oder an dessen Stelle.
• Robotik: Zum Greifen und Navigieren muss die Entfernung zu jeder Oberfläche bekannt sein. Tiefenschätzung anhand einer einzelnen RGB-Kamera macht zusätzliche Sensoren an kleinen Robotern überflüssig.
• Erweiterte Realität: Tiefenkarten sorgen dafür, dass virtuelle Objekte korrekt hinter realen Objekten verschwinden und auf realen Oberflächen platziert werden.
• Fotografie: Porträtmodi von Smartphones erzeugen Hintergrundunschärfe anhand der Tiefe, die mit zwei Kameras, Dual-Pixel-Sensoren oder einem monokularen Modell ermittelt wird. Die Stärke der Unschärfe richtet sich nach der geschätzten Entfernung jedes Pixels.