Was ist monokulare Tiefenschätzung? Ein Überblick

Autonome Fahrzeuge sind so konzipiert, dass sie ihre Umgebung verstehen, um sicher fahren zu können. Das bedeutet mehr, als nur Objekte wie Fußgänger oder andere Fahrzeuge zu erkennen.

Sie müssen zudem wissen, wie weit diese Objekte entfernt sind, um korrekt reagieren zu können. Maschinen diesen Sinn für Entfernungen zu vermitteln, ist jedoch nicht einfach. Im Gegensatz zu Menschen nehmen sie Tiefe nicht auf natürliche Weise aus Bildern wahr und müssen explizit lernen, dies zu tun.

Ein Grund dafür ist, dass die meisten Kameras die Welt als flache, zweidimensionale Bilder erfassen. Diese Bilder in etwas umzuwandeln, das die reale Tiefe und 3D-Struktur widerspiegelt, ist schwierig, besonders wenn Systeme unter alltäglichen Bedingungen zuverlässig arbeiten sollen.

Interessanterweise macht computer vision, ein Teilbereich der KI, der sich auf die Interpretation und das Verständnis visueller Daten konzentriert, es Maschinen möglich, die Welt anhand von Bildern besser zu verstehen. So ist beispielsweise die monokulare depth estimation eine computer vision-Technik, die die Entfernung von Objekten nur mithilfe eines einzelnen Kamerabildes schätzt.

Indem diese Modelle visuelle Hinweise wie Objektgröße, Perspektive, Textur und Schattierung erlernen, können sie Tiefe vorhersagen, ohne auf zusätzliche Sensoren wie LiDAR (Light Detection and Ranging) oder Stereokameras angewiesen zu sein. In diesem Artikel untersuchen wir, was monokulare Tiefenschätzung ist, wie sie funktioniert und welche realen Anwendungen sie hat. Fangen wir an!

Link to this sectionEine kurze Einführung in die monokulare Tiefenschätzung#

Die monokulare Tiefenschätzung ermöglicht es einer Maschine, mithilfe nur eines einzigen Bildes zu verstehen, wie weit Objekte von ihr entfernt sind. Da sie nur auf einer camera basiert, bietet dieser Ansatz mehrere Vorteile, darunter geringere Kosten und einfachere Hardwareanforderungen.

Zum Beispiel kann er in erschwinglichen Haushaltsrobotern eingesetzt werden, die mit einer einzigen Kamera arbeiten. Selbst aus einem einzelnen Bild kann das Robotersystem identifizieren, welche Wände näher sind und welche Türen weiter entfernt liegen, und die Gesamttiefe des Raumes ableiten.

Oft enthält ein einzelnes Bild keine Informationen über den korrekten Maßstab, daher konzentriert sich die monokulare Tiefenschätzung im Allgemeinen auf relative Tiefe. Mit anderen Worten: Sie kann bestimmen, welche Objekte näher und welche weiter entfernt sind, auch wenn die exakten Entfernungen nicht bekannt sind.

Wenn ein Modell mit Daten trainiert wird, die über Ground-Truth-Entfernungen oder absolute Tiefe verfügen, wie z. B. Tiefenmessungen von Sensoren wie LiDAR, kann es lernen, Entfernungen in realen Einheiten, wie etwa Metern, vorherzusagen. Ohne diese Art von Referenzdaten kann das Modell zwar immer noch relative Tiefe ableiten, aber keine absoluten Entfernungen zuverlässig schätzen.

Das Ergebnis der monokularen Tiefenschätzung ist normalerweise eine Tiefenkarte, ein Bild, bei dem jedes Pixel darstellt, wie nah oder fern dieser Teil der Szene ist. Eine Tiefenkarte bietet Vision-Systemen ein grundlegendes Verständnis der 3D-Struktur der Umgebung.

Abb. 1. Ein Beispiel für eine vorhergesagte Tiefenkarte, erstellt mit monokularer Tiefenschätzung (Quelle)

Link to this sectionVon Sensoren zu Bildern: Tiefenschätzung#

Die Tiefenschätzung kann je nach verfügbaren Sensoren, Hardwarebeschränkungen und Genauigkeitsanforderungen auf verschiedene Weise angegangen werden. Traditionelle Methoden stützen sich oft auf mehrere Blickwinkel oder spezialisierte Sensoren, um Entfernungen direkt zu messen.

Ein gängiger Ansatz ist die Stereovision, die die Tiefe durch den Vergleich zweier synchronisierter Bilder schätzt, die aus leicht unterschiedlichen Blickwinkeln aufgenommen wurden. Durch Messung des Abstands zwischen entsprechenden Punkten in den beiden Bildern kann das System ableiten, wie weit Objekte von der Kamera entfernt sind.

Ein weiterer Ansatz sind RGB-D-Systeme (Rot, Grün, Blau und Tiefe), die aktive Tiefensensoren verwenden, um die Entfernung an jedem Pixel direkt zu messen. Diese Systeme können in kontrollierten Umgebungen genaue Tiefeninformationen liefern, erfordern jedoch zusätzliche Hardware.

Unterdessen verwenden LiDAR-basierte Methoden Laserimpulse, um präzise dreidimensionale Repräsentationen einer Szene zu generieren. Obwohl sie sehr genau sind, sind LiDAR-Sensoren oft teuer und erhöhen die Hardwarekomplexität erheblich.

Im Gegensatz dazu leitet die monokulare Tiefenschätzung die Tiefe nur mithilfe eines einzelnen RGB-Bildes ab. Da sie nicht von mehreren Kameras oder spezialisierten Sensoren abhängig ist, lässt sie sich leichter skalieren und ist eine gute Option, wenn Kosten und Hardwareressourcen begrenzt sind.

Link to this sectionTiefe aus einem einzigen Bild lernen#

Bei der Schätzung der Tiefe aus einem einzelnen Bild lernen monokulare Tiefenmodelle, visuelle Hinweise zu erkennen, die Menschen instinktiv nutzen, um Entfernungen einzuschätzen. Zu diesen Hinweisen gehören Perspektivlinien, Objektgröße, Texturdichte, Objektüberlappung und Schattierung, die alle Anhaltspunkte dafür liefern, wie weit Objekte von der Kamera entfernt sind.

Diese Hinweise wirken zusammen, um ein Gefühl von Tiefe zu erzeugen. Objekte, die kleiner erscheinen oder teilweise verdeckt sind, sind oft weiter entfernt, während klarere Details und ein größeres visuelles Erscheinungsbild normalerweise darauf hindeuten, dass etwas näher ist.

Um diese Muster zu lernen, werden monokulare Tiefenmodelle mit großen Bilddatensätzen trainiert, die oft mit Tiefeninformationen aus anderen Quellen wie LiDAR oder Stereosystemen gepaart sind. Während des Trainings lernen die Modelle, wie sich visuelle Hinweise auf die Tiefe beziehen, was es ihnen ermöglicht, bei der Inferenz Entfernungen aus einem einzigen Bild abzuleiten.

Mit vielfältigen Trainingsdaten können moderne Vision-Modelle dieses erlernte Verständnis auf eine Vielzahl von Umgebungen verallgemeinern, einschließlich Innen- und Außenaufnahmen, und mit unbekannten Blickwinkeln umgehen.

Link to this sectionEin Blick auf verschiedene Techniken der monokularen Tiefenschätzung#

Als Nächstes erkunden wir die wichtigsten Ansätze zur Tiefenschätzung aus einem einzelnen Bild und wie sich diese Methoden im Laufe der Zeit entwickelt haben.

Link to this sectionKlassische und geometriebasierte Ansätze#

Frühe Tiefenschätzungsmethoden beruhten auf einfachen visuellen Regeln, die mit camera geometry verknüpft waren. Hinweise wie Perspektive, Objektgröße und die Frage, ob ein Objekt ein anderes blockierte, wurden verwendet, um die Entfernung zu schätzen.

Wenn beispielsweise zwei ähnliche Objekte in unterschiedlichen Größen erschienen, wurde angenommen, dass das kleinere weiter entfernt ist. Diese Ansätze funktionierten in kontrollierten Umgebungen recht gut, in denen Faktoren wie Beleuchtung, Kameraposition und Szenenlayout konstant blieben.

In realen Szenen brechen diese Annahmen jedoch oft zusammen. Unterschiede in der Beleuchtung, Änderungen des Blickwinkels und eine höhere Komplexität der Szene können zu unzuverlässigen Tiefenschätzungen führen, was die Effektivität klassischer Methoden in unkontrollierten Umgebungen einschränkt.

Link to this sectionFrühe Ansätze des maschinellen Lernens#

Frühe Methoden des maschinellen Lernens brachten mehr Flexibilität in die Tiefenschätzung, indem sie Muster direkt aus Daten lernten. Anstatt sich nur auf feste geometrische Regeln zu verlassen, versuchten diese Modelle, die Beziehung zwischen visueller Information und Entfernung zu lernen, wobei die Tiefenvorhersage als Regressionsproblem auf der Grundlage von Hinweisen wie Kanten, Texturen und Farbänderungen behandelt wurde.

Die Auswahl dieser Merkmale war ein zentraler Bestandteil des Prozesses. Ingenieure mussten entscheiden, welche visuellen Signale extrahiert und wie diese dargestellt werden sollten, und die Leistung des Modells hing stark von diesen Entscheidungen ab.

Obwohl dieser Ansatz besser funktionierte als frühere Methoden, hatte er dennoch Grenzen. Wenn den ausgewählten Merkmalen der wichtige Kontext fehlte, waren die Tiefenvorhersagen weniger genau. Da Szenen komplexer und vielfältiger wurden, hatten diese Modelle oft Schwierigkeiten, zuverlässige Ergebnisse zu liefern.

Link to this sectionDeep Learning-Algorithmen#

Die meisten modernen Systeme zur monokularen Tiefenschätzung verwenden Deep Learning, was sich auf neuronale Netze mit vielen Schichten bezieht, die komplexe Muster aus Daten lernen können. Diese Modelle lernen, Tiefe direkt aus Bildern vorherzusagen und Tiefenkarten zu erstellen.

Viele Ansätze basieren auf convolutional neural networks (CNNs), einer Art neuronalem Netz, das darauf ausgelegt ist, Bilder durch die Erkennung von Mustern wie Kanten und Formen zu verarbeiten. Diese Modelle verwenden häufig ein Encoder-Decoder-Setup: Der Encoder extrahiert visuelle Merkmale aus dem Bild, und der Decoder wandelt diese Merkmale in eine Tiefenkarte um. Die Verarbeitung des Bildes in verschiedenen Maßstäben hilft dem Modell, das allgemeine Layout der Szene zu erfassen und gleichzeitig klare Objektgrenzen beizubehalten.

Neuere Modelle konzentrieren sich darauf, Beziehungen zwischen verschiedenen Teilen eines Bildes zu verstehen. Transformer-basierte und Vision Transformer (ViT)-Modelle verwenden Aufmerksamkeitsmechanismen, die es dem Modell ermöglichen, zu identifizieren, welche Regionen eines Bildes am relevantesten sind, und weit entfernte Bereiche miteinander in Beziehung zu setzen. Dies hilft dem Modell, ein konsistenteres Verständnis der Tiefe über die gesamte Szene hinweg aufzubauen.

Einige Systeme kombinieren beide Ideen. Hybride CNN-Transformer-Modelle nutzen CNNs, um feine lokale Details zu erfassen, und Transformer, um den globalen Kontext der Szene zu modellieren. Während dies oft die Genauigkeit verbessert, erfordert es in der Regel mehr Rechenressourcen, wie zusätzlichen Arbeitsspeicher und Rechenleistung.

Link to this sectionWarum Tiefenverständnis für Vision-KI-Systeme wichtig ist#

Während du dich über monokulare Tiefenschätzung informierst, fragst du dich vielleicht, warum das Verständnis der Tiefe ein so wichtiger Bestandteil von KI-basierten Vision-Systemen ist.

Wenn ein System schätzen kann, wie weit Objekte und Oberflächen entfernt sind, erhält es ein besseres Verständnis davon, wie eine Szene aufgebaut ist und wie verschiedene Elemente miteinander zusammenhängen. Diese Art von räumlichem Bewusstsein ist unerlässlich, um zuverlässige Entscheidungen zu treffen, insbesondere in realen Anwendungen wie dem autonomen Fahren.

Tiefeninformationen verleihen anderen computer vision-Aufgaben zudem wertvollen Kontext. Zum Beispiel kann Objekterkennung, unterstützt durch Modelle wie Ultralytics YOLO26, einem System sagen, was in einer Szene vorhanden ist, aber Tiefe hilft bei der Antwort auf die Frage, wo sich diese Objekte im Verhältnis zur Kamera und zueinander befinden.

Zusammen ermöglichen diese Fähigkeiten ein breites Spektrum an Vision-KI-Anwendungen, wie das Erstellen von 3D-Karten, die Navigation in komplexen Umgebungen und das Verständnis einer Szene als Ganzes.

Roboter und autonome Fahrzeuge hängen von diesen Informationen ab, um sich sicher zu bewegen, Hindernissen auszuweichen und in Echtzeit auf Veränderungen zu reagieren. Zum Beispiel verlässt sich der Tesla’s vision-only driving-Ansatz auf Kamerabilder in Kombination mit Tiefenschätzung anstelle von LiDAR, um zu verstehen, wie weit Objekte entfernt sind und wie sie auf der Straße positioniert sind.

Link to this sectionWie Modelle zur monokularen Tiefenschätzung funktionieren#

Obwohl die Modellarchitekturen variieren, folgen die meisten Modelle zur monokularen Tiefenschätzung einem ähnlichen Prozess, um ein einzelnes Bild in eine Tiefenkarte zu verwandeln. Hier ist ein kurzer Überblick über die wichtigsten Schritte:

• Eingabe und Vorverarbeitung: Der Arbeitsablauf beginnt mit einem Eingabebild. Bevor es in das Modell gelangt, wird das Originalbild normalerweise skaliert, normalisiert und in einen Tensor umgewandelt, ein Format, das neuronale Netze verwenden, um Bilddaten effizient zu verarbeiten.
• Merkmalsextraktion: Ein Encoder-Netzwerk analysiert das Bild, um aussagekräftige visuelle Merkmale zu extrahieren. Diese Merkmale erfassen Informationen wie Texturen, Objektgrenzen und das allgemeine Layout der Szene. Die meisten Modelle arbeiten mit mehreren Maßstäben, damit sie sowohl feine Details als auch die globale Struktur verstehen können.
• Tiefenüberlegung: Unter Verwendung der extrahierten Merkmale kombiniert das Modell lokale Details mit globalem Kontext, um über räumliche Beziehungen in der Szene nachzudenken. In diesem Stadium lernt es, welche Bereiche des Bildes näher an der Kamera liegen und welche weiter entfernt sind.
• Generierung der Tiefenkarte: Ein Decoder wandelt diese Informationen dann in eine dichte Tiefenkarte um. Jedem Pixel im Bild wird ein Tiefenwert zugewiesen, oft durch Mischen der Vorhersagen aus verschiedenen Maßstäben, um die Genauigkeit und Konsistenz zu verbessern.

Link to this sectionWie Modelle zur monokularen Tiefenschätzung trainiert werden#

Der Prozess, den wir gerade besprochen haben, setzt voraus, dass wir bereits ein trainiertes oder vor-trainiertes Modell haben. Aber wie funktioniert das Training eines Modells zur monokularen Tiefenschätzung eigentlich?

Das Training beginnt mit der Vorbereitung der Bilddaten, damit sie effizient vom Netzwerk verarbeitet werden können. Eingabebilder werden skaliert und auf einen konsistenten Maßstab normalisiert, dann durch das Modell geleitet, um eine vorhergesagte Tiefenkarte zu generieren, die die Entfernung an jedem Pixel schätzt.

Die vorhergesagte Tiefenkarte wird dann mithilfe einer Verlustfunktion mit Referenztiefendaten verglichen, die misst, wie weit die Vorhersage des Modells von der tatsächlichen Tiefe (Ground Truth) entfernt ist. Dieser Verlustwert stellt den aktuellen Fehler des Modells dar und liefert ein Signal zur Verbesserung.

Ein Optimierer verwendet dieses Signal, um das Modell durch Anpassung seiner internen Gewichte zu aktualisieren. Dazu berechnet der Optimierer den Gradienten, der beschreibt, wie sich der Verlust in Bezug auf jeden Modellparameter ändert, und wendet diese Aktualisierungen wiederholt über mehrere Epochen oder vollständige Durchläufe durch den Trainingsdatensatz an.

Dieser iterative Prozess des überwachten Lernens wird durch Hyperparameter gesteuert, wie die Lernrate, die steuert, wie groß jeder Aktualisierungsschritt ist, und die Batch-Größe, die bestimmt, wie viele Bilder gleichzeitig verarbeitet werden. Da das Training eine große Anzahl mathematischer Operationen beinhaltet, wird es normalerweise mithilfe einer Grafikkarte (GPU) beschleunigt, die hervorragend für parallele Berechnungen geeignet ist.

Sobald das Training abgeschlossen ist, wird das Modell mithilfe standardmäßiger Bewertungsmetriken an einem Validierungsdatensatz evaluiert, der aus Bildern besteht, die während des Trainings nicht verwendet wurden. Diese Bewertung hilft dabei zu messen, wie gut das Modell auf neue Daten verallgemeinert.

Das trainierte Modell kann dann wiederverwendet oder für neue Szenarien feinabgestimmt werden. Insgesamt ermöglicht dieser Trainingsprozess den Modellen zur monokularen Tiefenschätzung, konsistente Tiefenschätzungen zu erstellen, die für nachgelagerte Aufgaben wie 3D-Rekonstruktion und den realen Einsatz unerlässlich sind.

Link to this sectionErkundung modernster Modelle und Forschungstrends#

Die monokulare Tiefenschätzung hat sich schnell verbessert, da Modelle immer besser darin geworden sind, ganze Szenen zu verstehen, anstatt nur kleine visuelle Details. Frühere Ansätze produzierten oft ungleichmäßige Tiefenkarten, insbesondere in komplexen Umgebungen.

Neuere Modelle, wie in aktuellen auf arXiv veröffentlichten Forschungen zu sehen, konzentrieren sich stärker auf einen globalen Kontext, was zu Tiefenvorhersagen führt, die stabiler und realistischer aussehen. Bekannte Modelle wie MiDaS und DPT halfen dabei, diese Verschiebung voranzutreiben, indem sie Tiefe aus vielfältigen, hochauflösenden Datensätzen lernten und gut auf viele Szenen verallgemeinerten.

Neuere Modelle, darunter ZoeDepth und Depth Anything V2, bauen auf dieser Arbeit auf, indem sie die Skalenkonsistenz verbessern und gleichzeitig eine starke Leistung in einer Vielzahl von Umgebungen aufrechterhalten. Diese Art von Fortschritt wird oft mithilfe gängiger Benchmark-Datensätze wie KITTI und NYU gemessen, die sowohl Außen- als auch Innenaufnahmen abdecken.

Ein weiterer klarer Trend ist das Ausbalancieren von Genauigkeit und Praktikabilität. Kleinere Modelle sind auf Geschwindigkeit optimiert und können in Echtzeit auf Edge- oder Mobilgeräten ausgeführt werden, während größere Modelle eine höhere Auflösung und Genauigkeit bei großen Entfernungen priorisieren.

Link to this sectionAnwendungen der monokularen Tiefenschätzung#

Als Nächstes gehen wir einige reale Beispiele durch, die zeigen, wie monokulare Tiefenschätzung verwendet wird, um von einem einzigen Bild auf die 3D-Struktur einer Szene zu schließen.

In all diesen Fällen ist es wichtig zu bedenken, dass die Tiefeninformation eine aus visuellen Hinweisen abgeleitete Schätzung ist und keine präzise Messung. Dies macht die monokulare Tiefenschätzung nützlich für das Verständnis des relativen Layouts und der räumlichen Beziehungen, ersetzt jedoch nicht Sensoren, die für die genaue Entfernungsmessung konzipiert sind, wie LiDAR oder Stereosysteme.

Link to this sectionDrohnenbasierte Geländekartierung und Navigation#

Drones operieren oft in Umgebungen, in denen GPS-Signale unzuverlässig sind, wie Wäldern, Baustellen, Katastrophengebieten oder dicht besiedelten städtischen Gebieten. Um unter diesen Bedingungen sicher fliegen zu können, müssen sie das umliegende Gelände verstehen und wissen, wie weit Hindernisse entfernt sind. In der Vergangenheit erforderte dies normalerweise das Hinzufügen von Sensoren wie LiDAR oder Stereokameras, die Gewicht, Stromverbrauch und Gesamtkosten erhöhen.

Die monokulare Tiefenschätzung ist eine einfachere Alternative. Mit nur einer einzigen RGB-Kamera können Drohnen Tiefe aus Bildern schätzen und ein grundlegendes 3D-Verständnis ihrer Umgebung aufbauen. Dies ermöglicht es ihnen, Hindernisse wie Gebäude, Bäume oder plötzliche Geländeänderungen zu erkennen und ihren Flugpfad in Echtzeit anzupassen.

Diese Tiefenschätzungen unterstützen wichtige Navigationsaufgaben, einschließlich Hindernisvermeidung, Höhenkontrolle und sicherem Landen. Infolgedessen können leichte Drohnen Kartierungs-, Inspektions- und Navigationsaufgaben durchführen, ohne auf spezialisierte Tiefensensoren angewiesen zu sein.

Abb. 2. Monokulare Tiefenschätzung kann zur Analyse von Drohnenbildern verwendet werden (Quelle)

Link to this sectionFüllen toter Winkel für autonome Rennfahrzeuge#

Autonome Fahrzeuge verlassen sich normalerweise stark auf LiDAR-Sensoren, die Laserimpulse verwenden, um Entfernungen zu messen und eine 3D-Ansicht der Straße zu erstellen. Obwohl LiDAR sehr genau ist, kann es bei scharfen Straßenkuppen, steilen Abhängen, Verdeckungen oder plötzlicher Nickbewegung des Fahrzeugs Schwierigkeiten haben und manchmal spärliche oder fehlende Tiefendaten liefern.

Die monokulare Tiefenschätzung kann helfen, diese Lücken zu schließen, indem sie dichte Tiefeninformationen aus einem einzigen RGB-Bild liefert, selbst wenn LiDAR-Daten unvollständig sind. Betrachte ein Szenario, in dem ein self-driving car sich einer Hügelkuppe mit hoher Geschwindigkeit nähert. LiDAR-Strahlen können über die Straße hinter der Kuppe hinausschießen, was zu Unsicherheiten darüber führt, was vor einem liegt.

Kamerabasierte Tiefenschätzung kann jedoch immer noch die Form der Straße aus visuellen Hinweisen wie Perspektive und Textur ableiten und dem Fahrzeug helfen, eine zuverlässige Wahrnehmung aufrechtzuerhalten, bis sich die LiDAR-Daten stabilisieren. Zusammen ermöglichen LiDAR und monokulare Tiefenschätzung eine stabilere Wahrnehmung und eine sicherere Kontrolle bei schwierigen Fahrbedingungen.

Abb. 3. Eine Visualisierung der Verwendung von monokularer Tiefenschätzung für autonomes Rennen (Quelle)

Link to this sectionRoboternavigation und Hindernisvermeidung#

Roboter werden oft an Orten eingesetzt, an denen detaillierte Karten nicht verfügbar sind und sich die Bedingungen ständig ändern. Um sich sicher zu bewegen, benötigen sie ein zuverlässiges Gefühl dafür, wie viel Platz um sie herum ist und wo sich Hindernisse befinden.

Die monokulare Tiefenschätzung kann dieses räumliche Bewusstsein mit einer einzigen RGB-Kamera bieten, ohne auf schwere oder teure Hardware angewiesen zu sein. Durch das Lernen visueller Hinweise wie Maßstab und Perspektive können Tiefenschätzungsmodelle dichte Tiefenkarten der Umgebung generieren. Dies gibt Robotern einen klaren Blick auf die Entfernung zu Oberflächen und Objekten.

Insbesondere wenn Tiefeninformationen mit computer vision-Aufgaben wie object detection und semantischer segmentation kombiniert werden, können Roboter eine vollständigere Sicht auf ihre Umgebung gewinnen. Sie können Objekte identifizieren, deren Entfernung verstehen und entscheiden, wo es sicher ist, sich hinzubewegen. Dies unterstützt Hindernisvermeidung, Freiraumerkennung und Echtzeit-Pfadplanung.

Abb. 4. Objekte erkennen mithilfe monokularer Tiefenschätzung und Objekterkennung (Quelle)

Link to this sectionVor- und Nachteile der monokularen Tiefenschätzung#

Hier sind einige der Hauptvorteile der Verwendung der monokularen Tiefenschätzung:

• Leicht und stromeffizient: Die Verwendung einer einzigen Kamera reduziert Systemgewicht und Stromverbrauch, was besonders wichtig für mobile Roboter, Drohnen und eingebettete Systeme ist.
• Sensor-Fusion-freundlich: Monokulare Tiefe kann andere Sensoren wie LiDAR oder Radar ergänzen, indem sie Lücken schließt oder Redundanz bietet.
• Funktioniert in vielen Umgebungen: Der gleiche kamerabasierte Ansatz kann in Innenräumen, im Freien und auf verschiedenen Plattformen verwendet werden, ohne dass Hardwareänderungen erforderlich sind.

Obwohl die monokulare Tiefenschätzung klare Vorteile bietet, sind hier einige Einschränkungen zu beachten:

• Geringere Genauigkeit als bei aktiven Sensoren: Obwohl sie sich schnell verbessert, kann die monokulare Tiefenschätzung im Allgemeinen nicht mit der absoluten Genauigkeit von LiDAR- oder strukturierten Lichtsensoren unter kontrollierten Bedingungen mithalten.
• Empfindlichkeit gegenüber Lichtverhältnissen: Die Leistung kann in Umgebungen mit schwachem Licht, starken Schatten, Blendung oder Szenen mit schlechter Textur nachlassen.
• Herausforderungen bei der Verallgemeinerung: Ein Modell, das in einer Umgebung trainiert wurde, lässt sich möglicherweise nicht immer zuverlässig auf unbekannte Bereiche ohne Anpassung oder Feinabstimmung übertragen.

Link to this sectionWann du dich nicht auf die monokulare Tiefenschätzung verlassen solltest#

Obwohl die monokulare Tiefenschätzung ein interessanter Forschungsbereich ist, ist es wichtig zu verstehen, wo sie praktisch eingesetzt werden kann und wo nicht. Die Entfernungen, die sie produziert, sind Schätzungen basierend auf dem, was das Modell in einem Bild sieht, nicht exakte Messungen aus der realen Welt.

Aus diesem Grund kann sich die Qualität der Ergebnisse je nach Faktoren wie Beleuchtung, Szenenkomplexität und Ähnlichkeit der Szene mit dem, worauf das Modell trainiert wurde, ändern. Die monokulare Tiefenschätzung ist normalerweise gut darin zu sagen, was näher und was weiter weg ist, aber sie ist nicht zuverlässig, wenn du exakte Entfernungen benötigst.

In Situationen, in denen es wirklich auf Präzision ankommt, wie bei sicherheitskritischen Systemen, industriellen Inspektionen oder Robotern, die sehr präzise mit Objekten interagieren müssen, muss die Tiefe direkt gemessen werden. Sensoren wie LiDAR, Radar, Stereokameras oder strukturierte Lichtsysteme sind dafür konzipiert und liefern viel verlässlichere Entfernungsinformationen.

Die monokulare Tiefenschätzung kann auch unter visuell schwierigen Bedingungen Probleme haben. Schlechtes Licht, starke Schatten, reflektierende oder transparente Oberflächen, Nebel, Rauch oder Szenen mit sehr wenig visueller Textur können die Tiefenschätzungen weniger zuverlässig machen. Die Schätzung der Tiefe bei großen Entfernungen ist ein weiterer Fall, in dem dedizierte Sensoren normalerweise besser funktionieren.

Wenn es um reale Lösungen geht, funktioniert die monokulare Tiefenschätzung am besten als unterstützendes Werkzeug und nicht als eigenständige Lösung. Sie kann nützlichen räumlichen Kontext hinzufügen, helfen, Lücken zu füllen, wenn andere Sensoren eingeschränkt sind, und das allgemeine Szenenverständnis verbessern. Sie sollte jedoch nicht die einzige Quelle für Tiefeninformationen sein, wenn Genauigkeit, Sicherheit oder strenge Zuverlässigkeitsanforderungen wichtig sind.

Link to this sectionWichtige Erkenntnisse#

Die monokulare Tiefenschätzung ist eine Technik der Computer Vision, die es Maschinen ermöglicht, die Entfernung von Objekten anhand eines einzigen Kamerabildes zu schätzen. Durch das Erlernen visueller Hinweise wie Perspektive, Objektgröße, Textur und Schattierung können diese KI-Modelle die 3D-Struktur einer Szene ableiten, ohne auf Sensoren wie LiDAR oder Stereokameras angewiesen zu sein. Dies macht die monokulare Tiefenschätzung zu einem kosteneffizienten und skalierbaren Ansatz für Anwendungen wie autonomes Fahren, Robotik und 3D-Szenenverständnis.

Um mehr über Vision AI zu erfahren, besuche unser GitHub repository und werde Teil unserer community. Sieh dir unsere Lösungsseiten an, um mehr über AI in robotics und computer vision in manufacturing zu erfahren. Entdecke our licensing options, um noch heute mit Computer Vision zu beginnen!