Depth Estimation

Tiefenschätzung ist ein entscheidender Prozess in der Computer Vision, der den Abstand von Objekten zu einer Kamera bestimmt und 2D-Bildern effektiv eine dritte Dimension hinzufügt. Indem berechnet wird, wie weit jedes Pixel in einem Bild entfernt ist, erstellt diese Technik eine depth map, eine Darstellung, bei der die Pixelintensität dem Abstand entspricht. Diese Fähigkeit ahmt das menschliche binocular vision nach und ermöglicht es Maschinen, räumliche Beziehungen und Geometrie wahrzunehmen. Sie ist eine Eckpfeilertechnologie, die es autonomen Systemen ermöglicht, sicher zu navigieren, ihre Umgebung zu verstehen und mit physischen Objekten zu interagieren.

Kernmechanismen und Techniken#

Es gibt verschiedene Möglichkeiten, eine Tiefenschätzung zu erreichen, die von hardwarebasierten Lösungen bis hin zu rein softwaregestützten Ansätzen mittels künstlicher Intelligenz reichen.

• Stereo-Vision-Systeme: Ähnlich wie menschliche Augen verwendet stereo vision zwei nebeneinander platzierte Kameras. Algorithmen analysieren die geringfügigen Unterschiede oder Disparitäten zwischen dem linken und rechten Bild, um die Entfernung zu triangulieren. Dies stützt sich stark auf eine genaue feature matching, um dieselben Punkte in beiden Frames zu identifizieren.
• Monokulare Tiefenschätzung: Diese fortschrittliche Methode schätzt die Tiefe aus einem einzigen Bild. Da ein einzelnes 2D-Foto keine inhärenten Tiefendaten enthält, werden deep learning models anhand großer Datensätze trainiert, um visuelle Hinweise wie Perspektive, Objektgröße und Verdeckung zu erkennen. Moderne Architekturen wie convolutional neural networks (CNNs) zeichnen sich bei dieser Aufgabe aus und machen es möglich, eine 3D-Struktur aus Standardkameras abzuleiten.
• LiDAR und Time-of-Flight (ToF): Aktive Sensoren wie LiDAR (Light Detection and Ranging) und Time-of-Flight cameras senden Lichtimpulse aus und messen die Zeit, die sie für die Rückkehr benötigen. Diese Methoden generieren hochpräzise point clouds und werden häufig verwendet, um Ground-Truth-Daten für das Training von Modellen für maschinelles Lernen zu sammeln.

Praxisanwendungen#

Die Fähigkeit, Entfernungen zu messen, ist in vielen Branchen transformativ und treibt Anwendungen voran, die räumliches Bewusstsein erfordern.

• Autonomes Fahren: Selbstfahrende Autos sind auf die Tiefenschätzung angewiesen, um Hindernisse zu erkennen, den Abstand zu anderen Fahrzeugen zu messen und sicher durch komplexe Straßennetze zu navigieren. Sie ist ein wesentlicher Bestandteil der 3D object detection zur Identifizierung von Fußgängern und Radfahrern.
• Robotik und Automatisierung: Roboter nutzen die Tiefenwahrnehmung für Aufgaben wie path planning und die Manipulation von Objekten. Beispielsweise muss ein Lagerroboter genau wissen, wie weit ein Regal entfernt ist, um ein Paket aufzunehmen, ohne damit zu kollidieren.
• Augmented Reality (AR): Um virtuelle Objekte überzeugend in eine reale Szene einzubetten, müssen AR-Geräte die 3D-Geometrie der Umgebung verstehen. Die Tiefenschätzung stellt sicher, dass sich virtuelle Charaktere hinter echten Möbeln verstecken können, ein Konzept, das als Okklusionsbehandlung bekannt ist.

Code-Beispiel: Monokulare Tiefenschätzung#

Während spezialisierte Tiefenmodelle existieren, kannst du räumliche Beziehungen in einfachen Szenarien oft mithilfe von Bounding Boxes der Objekterkennung als Näherungswert für die Entfernung ableiten (größere Boxen bedeuten oft nähere Objekte). Hier erfährst du, wie du ein Modell mit dem Paket ultralytics lädst, um Objekte zu erkennen, was der erste Schritt in vielen tiefenbewussten Pipelines ist.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Process results
for result in results:
    # Get bounding boxes (xyxy format)
    boxes = result.boxes.xyxy

    # Iterate through detections
    for box in boxes:
        print(f"Detected object at: {box}")

Verhältnis zu anderen Computer-Vision-Konzepten#

Es ist wichtig, die Tiefenschätzung von verwandten Begriffen zu unterscheiden. Während object detection identifiziert, was und wo sich ein Objekt im 2D-Raum befindet (mithilfe einer Bounding Box), identifiziert die Tiefenschätzung, wie weit es entfernt ist (Z-Achse). Ähnlich klassifiziert semantic segmentation Pixel in Kategorien (z. B. Straße, Himmel, Auto), während die Tiefenschätzung denselben Pixeln einen Entfernungswert zuweist.

Fortschritte in Spatial AI#

Jüngste Fortschritte in der generative AI überbrücken die Kluft zwischen 2D- und 3D-Vision. Techniken wie Neural Radiance Fields (NeRF) verwenden mehrere 2D-Bilder, um komplexe 3D-Szenen zu rekonstruieren, und stützen sich dabei stark auf zugrunde liegende Tiefenprinzipien. Da sich zudem die Techniken zur model optimization verbessern, wird die Ausführung hochpräziser Tiefenschätzungen auf edge AI devices zunehmend machbar. Dies ermöglicht Echtzeit-Raumdatenverarbeitung auf Hardware, die so klein ist wie Drohnen oder intelligente Brillen, unterstützt durch Plattformen wie die Ultralytics Platform für effizientes Modelltraining und -bereitstellung.