3D-Objekterkennung und ihre Anwendungen verstehen

Im Laufe der Jahre ist die Objekterkennung immer fortschrittlicher geworden. Sie hat sich von der Erkennung von Objekten in einfachen zweidimensionalen (2D) Bildern hin zur Identifizierung von Objekten in der komplexen dreidimensionalen (3D) Welt um uns herum entwickelt. Frühe Verfahren wie der Vorlagenabgleich, bei dem Objekte gefunden werden, indem Bildausschnitte mit gespeicherten Referenzbildern verglichen werden, wurden in den 1970er-Jahren entwickelt und bildeten die Grundlage der 2D-Objekterkennung. In den 1990er-Jahren ermöglichten Technologien wie LiDAR (Lichterkennung und Entfernungsmessung) die einfachere Erfassung von Tiefen- und Rauminformationen. Heute ebnen multimodale Fusionsverfahren, die 2D-Bilder mit 3D-Daten kombinieren, den Weg für hochpräzise 3D-Objekterkennungssysteme.

Abb. 1. Ein Beispiel für 3D-Objekterkennung.

In diesem Artikel erklären wir, was 3D-Objekterkennung ist, wie sie funktioniert und worin sie sich von der 2D-Objekterkennung unterscheidet. Außerdem besprechen wir einige Anwendungsbereiche der 3D-Objekterkennung.

Ein Überblick über die 2D-Objekterkennung#

Bevor wir uns die 3D-Objekterkennung ansehen, betrachten wir, wie die 2D-Objekterkennung funktioniert. Die 2D-Objekterkennung ist eine Computer-Vision-Technik, mit der Computer Objekte in flachen, zweidimensionalen Bildern erkennen und lokalisieren können. Dazu analysiert sie die horizontale (X) und vertikale (Y) Position eines Objekts im Bild. Wenn du beispielsweise ein Bild von Spielern auf einem Fußballfeld an ein 2D-Objekterkennungsmodell wie Ultralytics YOLOv8 übergibst, kann es das Bild analysieren und um jedes Objekt (in diesem Fall die Spieler) Begrenzungsrahmen zeichnen, um dessen Position präzise zu bestimmen.

Abb. 2. YOLOv8 bei der 2D-Objekterkennung von Spielern auf einem Fußballfeld.

Die 2D-Objekterkennung hat jedoch ihre Grenzen. Da sie nur zwei Dimensionen berücksichtigt, erfasst sie keine Tiefe. Dadurch lässt sich schwer einschätzen, wie weit entfernt oder wie groß ein Objekt ist. Ein großes, weit entferntes Objekt kann beispielsweise genauso groß erscheinen wie ein kleineres Objekt in der Nähe, was zu Verwirrung führen kann. Fehlende Tiefeninformationen können in Anwendungen wie der Robotik oder der erweiterten Realität zu Ungenauigkeiten führen, bei denen die tatsächliche Größe und Entfernung von Objekten bekannt sein muss. Genau deshalb wird die 3D-Objekterkennung benötigt.

Räumliches Bewusstsein durch 3D-Objekterkennung#

Die 3D-Objekterkennung ist eine fortschrittliche Computer-Vision-Technik, mit der Computer Objekte im dreidimensionalen Raum erkennen und dadurch die Welt um sich herum viel besser verstehen können. Anders als die 2D-Objekterkennung berücksichtigt die 3D-Objekterkennung auch Tiefendaten. Tiefeninformationen liefern weitere Details, etwa wo sich ein Objekt befindet, wie groß es ist, wie weit es entfernt ist und wie es in der realen dreidimensionalen Welt ausgerichtet ist. Interessanterweise kann die 3D-Erkennung auch Situationen mit Verdeckungen – wenn ein Objekt ein anderes teilweise verdeckt – besser bewältigen und bleibt selbst bei Perspektivwechseln zuverlässig. Sie ist ein leistungsstarkes Werkzeug für Anwendungsfälle, die ein präzises räumliches Verständnis erfordern.

Die 3D-Objekterkennung ist für Anwendungen wie selbstfahrende Autos, die Robotik und Systeme für erweiterte Realität unverzichtbar. Sie nutzt Sensoren wie LiDAR oder Stereokameras. Diese Sensoren erstellen detaillierte 3D-Karten der Umgebung, sogenannte Punktwolken oder Tiefenkarten. Anschließend werden diese Karten analysiert, um Objekte in einer 3D-Umgebung zu erkennen.

Abb. 3. 3D-Objekterkennung eines Autos.

Viele fortschrittliche Computer-Vision-Modelle sind speziell für die Verarbeitung von 3D-Daten wie Punktwolken ausgelegt. VoteNet beispielsweise verwendet ein sogenanntes Hough-Voting-Verfahren, um den Mittelpunkt eines Objekts in einer Punktwolke vorherzusagen. So lassen sich Objekte leichter präzise erkennen und klassifizieren. VoxelNet wiederum wandelt Punktwolken in ein Raster kleiner Würfel, sogenannte Voxel, um und vereinfacht so die Datenanalyse.

Wichtige Unterschiede zwischen 2D- und 3D-Objekterkennung#

Nachdem wir nun die 2D- und 3D-Objekterkennung kennengelernt haben, sehen wir uns ihre wichtigsten Unterschiede an. Die 3D-Objekterkennung ist komplexer als die 2D-Objekterkennung, da sie mit Punktwolken arbeitet. Die Analyse von 3D-Daten, etwa von LiDAR erzeugten Punktwolken, erfordert deutlich mehr Speicher und Rechenleistung. Ein weiterer Unterschied ist die Komplexität der verwendeten Algorithmen. 3D-Objekterkennungsmodelle müssen komplexer sein, um Tiefenschätzung, 3D-Formanalyse und die Ausrichtung von Objekten zu verarbeiten.

Abb. 4. 2D- und 3D-Objekterkennung im Vergleich.

3D-Objekterkennungsmodelle erfordern mehr mathematischen und rechnerischen Aufwand als 2D-Objekterkennungsmodelle. Die Verarbeitung von 3D-Daten in Echtzeit kann ohne fortschrittliche Hardware und Optimierungen schwierig sein. Diese Unterschiede machen die 3D-Objekterkennung jedoch besser geeignet für Anwendungen, die ein umfassenderes räumliches Verständnis erfordern. Die 2D-Objekterkennung hingegen kommt häufig bei einfacheren Anwendungen wie Sicherheitssystemen zum Einsatz, die Bilderkennung oder Videoanalyse benötigen.

Vor- und Nachteile der 3D-Objekterkennung#

Die 3D-Objekterkennung bietet mehrere Vorteile gegenüber herkömmlichen 2D-Objekterkennungsmethoden. Indem sie alle drei Dimensionen eines Objekts erfasst, liefert sie präzise Informationen zu dessen Position, Größe und Ausrichtung in der realen Welt. Diese Präzision ist für Anwendungen wie selbstfahrende Autos entscheidend, bei denen die genaue Position von Hindernissen für die Sicherheit unerlässlich ist. Ein weiterer Vorteil der 3D-Objekterkennung ist, dass sie dir helfen kann, die Beziehungen zwischen verschiedenen Objekten im 3D-Raum deutlich besser zu verstehen.

Abb. 5 Verdeckungen mit 3D-Objekterkennung auflösen.

Trotz der vielen Vorteile gibt es auch Einschränkungen bei der 3D-Objekterkennung. Hier sind einige wichtige Herausforderungen, die du berücksichtigen solltest:

• Höherer Rechenaufwand: Die Verarbeitung von 3D-Daten erfordert leistungsfähigere Hardware, was schnell mit hohen Kosten verbunden sein kann.
• Komplexere Datenanforderungen: Die 3D-Objekterkennung stützt sich häufig auf fortschrittliche Sensoren wie LiDAR, die teuer sein können und nicht unbedingt in allen Umgebungen zur Verfügung stehen.
• Erfassung und Verarbeitung von Daten: Aufgrund der komplexen Datenanforderungen der 3D-Objekterkennung ist es zeitaufwendig und ressourcenintensiv, die großen Datensätze zu sammeln, vorzubereiten und zu verarbeiten, die für das Training der Modelle benötigt werden.
• Höhere Modellkomplexität: Die für die 3D-Objekterkennung verwendeten Modelle sind in der Regel komplexer und haben mehr Schichten und Parameter als Modelle für die 2D-Objekterkennung.

Anwendungen der 3D-Objekterkennung#

Nachdem wir die Vor- und Nachteile der 3D-Objekterkennung besprochen haben, sehen wir uns einige ihrer Anwendungsfälle genauer an.

Autonome Fahrzeuge#

In selbstfahrenden Autos ist die 3D-Objekterkennung entscheidend, um die Umgebung des Fahrzeugs wahrzunehmen. Sie ermöglicht es Fahrzeugen, Fußgänger, andere Autos und Hindernisse zu erkennen. Außerdem liefert sie präzise Informationen zu deren Position, Größe und Ausrichtung in der realen Welt. Die detaillierten Daten aus 3D-Objekterkennungssystemen tragen dazu bei, die Fahrt für die Insassen deutlich sicherer zu machen.

Abb. 6. Einsatz der 3D-Objekterkennung in autonomen Fahrzeugen. (Quelle: towardsdatascience.com)

Robotik#

Robotersysteme nutzen die 3D-Objekterkennung für verschiedene Anwendungen. Sie setzen sie ein, um sich in unterschiedlichen Umgebungen zu bewegen, Objekte aufzunehmen und abzulegen sowie mit ihrer Umgebung zu interagieren. Solche Anwendungsfälle sind besonders in dynamischen Umgebungen wie Lagerhäusern oder Fertigungsanlagen wichtig, wo Roboter dreidimensionale Strukturen erfassen müssen, um effektiv zu funktionieren.

Abb. 7. Ein mobiler Roboter nutzt 3D-Objekterkennung.

Erweiterte und virtuelle Realität (AR/VR)#

Ein weiterer interessanter Anwendungsfall der 3D-Objekterkennung sind Anwendungen für erweiterte und virtuelle Realität. Die 3D-Objekterkennung wird verwendet, um virtuelle Objekte präzise in einer realistischen VR- oder AR-Umgebung zu platzieren. Das verbessert das Nutzungserlebnis dieser Technologien insgesamt. Außerdem können VR-/AR-Systeme damit physische Objekte erkennen und verfolgen und immersive Umgebungen schaffen, in denen digitale und physische Elemente auf natürliche Weise miteinander interagieren. So können beispielsweise Gamer mit AR-/VR-Headsets dank 3D-Objekterkennung ein deutlich intensiveres Erlebnis erhalten. Dadurch werden Interaktionen mit virtuellen Objekten im 3D-Raum viel ansprechender.

Abb. 8. Ein Beispiel für den Einsatz von 3D-Objekterkennung in einer AR-Anwendung.

Abschließende Gedanken zur 3D-Objekterkennung#

Mit der 3D-Objekterkennung können Systeme Tiefe und Raum besser erfassen als mit 2D-Objekterkennungsverfahren. Sie spielt eine wichtige Rolle in Anwendungen wie selbstfahrenden Autos, Robotern und AR/VR, bei denen Größe, Entfernung und Position eines Objekts bekannt sein müssen. Die 3D-Objekterkennung benötigt zwar mehr Rechenleistung und komplexe Daten, doch ihre Fähigkeit, präzise und detaillierte Informationen bereitzustellen, macht sie in vielen Bereichen zu einem wertvollen Werkzeug. Mit dem technologischen Fortschritt dürften Effizienz und Zugänglichkeit der 3D-Objekterkennung steigen und so eine breitere Einführung und Innovation in verschiedenen Branchen ermöglichen.

Bleib über unsere Community auf dem Laufenden und erfahre mehr über die neuesten Entwicklungen im Bereich KI! Besuche unser GitHub-Repository, um zu sehen, wie wir KI-Lösungen für Branchen wie die Fertigung und das Gesundheitswesen entwickeln.