Fortschritte in der AR-Technologie und Metas Orion-Brille entdecken

Obwohl wir in einer reichhaltigen, dreidimensionalen (3D) Welt voller Daten und Informationen leben, verlassen sich die meisten Geräte, die wir täglich verwenden, auf einen zweidimensionalen (2D) Bildschirm. Mit dem technologischen Fortschritt ändert sich das jedoch langsam durch die Einführung von Innovationen wie der erweiterten Realität (AR). AR wird eingesetzt, um digitale Inhalte wie Bilder, Töne und Daten mit unserer realen Umgebung zu verbinden und sie interaktiver und ansprechender zu gestalten.

Künstliche Intelligenz (AI), insbesondere Computer Vision, ist eine wichtige treibende Kraft hinter der erweiterten Realität. Vision AI ermöglicht es AR-Geräten, ihre Umgebung zu analysieren und zu interpretieren, indem sie Objekte erkennen, Bewegungen verfolgen und räumliche Merkmale erfassen. In diesem Artikel untersuchen wir, wie erweiterte Realität funktioniert und in Bereichen wie Bildung, Gesundheitswesen und Unterhaltung eingesetzt wird. Außerdem sprechen wir über aktuelle Durchbrüche wie Metas neue Orion-Brille für erweiterte Realität, die AR zugänglicher machen soll. Legen wir los!

Abb. 1. Ein Schüler verwendet AR im Klassenzimmer (Quelle: elearningindustry.com).

Die Entwicklung der erweiterten Realität#

Erweiterte Realität fügt der realen Welt durch Geräte wie Smartphones, Tablets oder AR-Brillen digitale Elemente wie Bilder, Videos oder 3D-Modelle hinzu. Wenn du beispielsweise die Kamera deines Telefons auf einen leeren Tisch richtest, kann AR den Eindruck erwecken, dass eine virtuelle Kaffeetasse darauf steht. AR kann unsere Wahrnehmung der Umgebung verbessern, indem computergenerierte Elemente mit dem verbunden werden, was wir im wirklichen Leben sehen.

1968 entwickelte Ivan Sutherland, bekannt als der „Vater der Computergrafik“, an der Harvard University das erste am Kopf getragene AR-Anzeigegerät. Anfangs wurde AR in Bereichen wie der Luftfahrt, dem Militär und der industriellen Ausbildung eingesetzt. Die erste kommerzielle Nutzung von AR erfolgte 2008 mit einer interaktiven Werbung für den BMW Mini. Hielt man eine gedruckte Anzeige aus einer Zeitschrift vor die Kamera eines Computers, konnten die Nutzer ein digitales Modell des Autos auf ihrem Bildschirm sehen und seine Bewegungen steuern. Dadurch entstand der Eindruck, mit dem Auto im wirklichen Leben zu interagieren. Dies ebnete den Weg für den Einsatz von AR in Branchen wie Marketing, Tourismus, Mode und Unterhaltung. Mit beliebten Spiele-Apps wie Pokémon Go im Jahr 2016 nahm die Verbreitung von AR zu. Der weltweite Markt für erweiterte Realität soll bis 2034 auf etwa 2.804,82 Milliarden US-Dollar anwachsen.

Abb. 2. Eine Grafik zum Wachstum des weltweiten Marktvolumens für AR.

Die Rolle von Computer Vision in AR#

Verschiedene Technologien, darunter Computer Vision, Sensoren und maschinelles Lernen, wirken zusammen, um immersive Erlebnisse mit erweiterter Realität zu schaffen. Insbesondere Computer Vision bildet die Grundlage dafür, wie digitale Inhalte mithilfe von AR nahtlos in reale Umgebungen integriert werden. Hier siehst du genauer, auf welche Weise Computer Vision zu AR beiträgt:

• Objekterkennung: Mithilfe von Computer-Vision-Techniken wie Objekterkennung, Bildsegmentierung und Objektverfolgung können AR-Systeme Objekte erkennen, indem sie deren Größe, Form und Farbe analysieren. Sobald sie identifiziert sind, können virtuelle Inhalte wie 3D-Modelle oder Text darübergelegt werden.
• Lokalisierung und Kartierung: Computer Vision kann für die gleichzeitige Lokalisierung und Kartierung (SLAM) eingesetzt werden, um die Position und Ausrichtung des Geräts in Echtzeit zu verfolgen. So bleiben virtuelle Elemente präzise auf das Sichtfeld des Nutzers ausgerichtet und sorgen für ein stabiles Erlebnis.
• Gesten- und Bewegungserkennung: Vision AI kann eingesetzt werden, um Gesten, Gesichtsausdrücke und Bewegungen des Nutzers zu verfolgen und so natürliche Interaktionen mit virtuellen Inhalten in AR zu ermöglichen.
• Tiefenschätzung: Die Bildanalyse hilft AR-Geräten zu verstehen, wie weit Objekte in der Umgebung entfernt sind, indem sie das Gesehene analysiert. Dadurch lassen sich virtuelle Elemente im richtigen Abstand platzieren, sodass sie sich natürlich in die reale Welt einfügen und das AR-Erlebnis insgesamt verbessern.
• Anpassung an die Umgebung: Computer Vision kann eingesetzt werden, um virtuelle Objekte so anzupassen, dass sie in AR auf reale Bedingungen wie Beleuchtung, Spiegelungen und Schatten reagieren.

Nehmen wir zum Beispiel an, du verwendest eine AR-App, um eine digitale Skulptur in deinem Wohnzimmer zu betrachten. Während du dein Telefon oder AR-Headset bewegst, beginnt das Computer-Vision-System, mithilfe der Objekterkennung Objekte im Raum wie dein Sofa oder deinen Couchtisch zu erkennen.

Gleichzeitig kartiert die SLAM-Technologie den Grundriss des Raums und verfolgt die Position deines Geräts, damit die Skulptur an derselben Stelle bleibt. Wenn du näher herangehst, hilft die Tiefenschätzung der App, die Größe der Skulptur anzupassen, sodass sie realistisch positioniert wirkt. Wenn du mit der Hand winkst, kann die Gestenerkennung dir ermöglichen, die Skulptur zu drehen oder ihre Größe zu ändern. Die App kann außerdem die Beleuchtung und Schatten der Skulptur an die Lichtverhältnisse im Raum anpassen, sodass sie sich nahtlos in dein Wohnzimmer einfügt.

Orion: Metas Brille für erweiterte Realität#

AR entwickelt sich rasant weiter, und Meta hat seine Orion-AR-Brille kürzlich am 25. September 2024 auf der Veranstaltung Meta Connect 2024 vorgestellt. Laut Metas CEO Mark Zuckerberg ist Orion die fortschrittlichste AR-Brille aller Zeiten und vereint zahlreiche hochmoderne Funktionen. Sie sieht wie eine gewöhnliche Brille aus, bietet aber immersive AR-Funktionen und das bislang größte Sichtfeld einer AR-Brille.

Die Brille ist leicht und hat ein Gestell aus Magnesium, ähnlich dem Material, das in F1-Autos verwendet wird. Ein fortschrittliches, von NASA-Satelliten inspiriertes Kühlsystem sorgt für Komfort. Zum Einsatz kommt ein Display der nächsten Generation aus speziell angefertigtem Siliziumkarbid. Winzige Projektoren können direkt vor dir Hologramme mit unterschiedlichen Tiefen und Größen erzeugen.

Die Orion-AR-Brille bietet Sprachsteuerung, Handverfolgung, Blickverfolgung und eine Armband-Schnittstelle, die elektrische Impulse deiner Muskeln erfasst, um AR-Elemente mit subtilen Bewegungen zu steuern. Das Armband dient als neuronale Schnittstelle und ermöglicht dir, mit einfachen Gesten mit der Brille zu interagieren, wodurch es zu einem wichtigen Bestandteil des Gesamterlebnisses wird. Außerdem gehört ein kleiner, taschengroßer Rechenaufsatz dazu, der unterwegs die benötigte Rechenleistung bereitstellt.

Abb. 3. Metas Orion-AR-Brille, neuronales Armband und Rechenaufsatz.

Was Orion besonders macht, ist die Integration von Meta AI, einem intelligenten Assistenten, der Objekte in der realen Welt erkennen und hilfreiche Informationen liefern kann. Wenn du beispielsweise eine Auswahl an Zutaten ansiehst, kann dir Meta AI Rezepte vorschlagen. Du kannst außerdem jede Wand in eine Leinwand zum Ansehen von Videos verwandeln, an holografischen Videoanrufen teilnehmen oder interaktive Spiele spielen. Damit ist Orion ein spannender Schritt für AR-Erlebnisse.

Einsatzmöglichkeiten tragbarer AR-Technologie#

Tragbare AR-Technologie wie die Orion-AR-Brille oder Headsets ermöglicht dir, erweiterte Realität zu erleben, ohne ein Gerät in der Hand halten zu müssen, anders als bei der Verwendung eines Telefons oder Tablets. Sehen wir uns verschiedene Einsatzbereiche an, in denen tragbare AR einen Unterschied macht.

AR macht Bildung zugänglicher#

Viele Schüler lernen am besten durch praktisches Arbeiten oder visuell, und erweiterte Realität kann Lehrkräften helfen, interaktivere Unterrichtsstunden zu gestalten. Mit tragbarer AR-Technologie wie Headsets oder Smartglasses können Lehrkräfte und Schüler auf dynamischere Weise mit Bildungsinhalten arbeiten und jederzeit und überall lernen.

Diese tragbaren Geräte sind besonders in abgelegenen Regionen nützlich, weil viele AR-Anwendungen offline oder mit minimaler Verbindung ausgeführt werden können, sobald die erforderlichen Daten heruntergeladen wurden. Entwicklungsländer setzen tragbare AR ein, um bedürftigen Schülern eine hochwertige Bildung zu ermöglichen. In Ländern wie Ruanda, Nigeria und Südafrika hilft tragbare AR dabei, Schüler in abgelegenen Regionen zu unterrichten; allein in Ruanda werden damit mehr als 500.000 Schüler erreicht.

Abb. 4. Ein Schüler an einem abgelegenen Ort in Afrika verwendet AR-Technologie zum Lernen (Quelle: nepad.org).

AR-Brillen für Spiele#

Die beliebteste Anwendung von AR findet sich im Bereich Spiele. Die Spielebranche erkennt zunehmend, wie AR-Brillen Spiele immersiver und interaktiver gestalten können. Spieler können virtuelle Elemente durch AR in der realen Welt sehen, wodurch sie sich wirklich als Teil des Spiels fühlen. So können sie beispielsweise ihre Umgebung freihändig erkunden und mit ihr interagieren, was das Erlebnis natürlicher wirken lässt.

Während AR-Spiele zunächst auf mobilen Geräten populär wurden, etwa bei Pokémon Go, wo Spieler ihre Handykameras zum Fangen von Pokémon nutzten, dürfte der Wechsel zu AR-Brillen das Spielen noch fesselnder machen. Pokémon Go markiert einen wichtigen Meilenstein, weil das Spiel das Potenzial von AR demonstrierte und in nur sieben Tagen mehr als 20 Millionen aktive Spieler erreichte.

Abb. 5. Spieler verwenden AR im Spiel Pokémon Go.

Wie AR Ärzten und Chirurgen hilft#

Dank der erweiterten Realität können Ärzte und medizinisches Fachpersonal medizinische Bilder in 3D aufrufen und untersuchen. Tatsächlich können medizinische Bildgebungswerkzeuge mit AR-Unterstützung Ärzten dabei helfen, die Anatomie von Patienten in einer 3D-Umgebung zu visualisieren. Eine klarere Darstellung kann zu präziseren Diagnosen, besseren Operationsergebnissen und sichereren Eingriffen führen.

AR kann Fachkräften im Gesundheitswesen außerdem dabei helfen, eine individuellere und wirksamere Versorgung anzubieten, indem die Lage und das Ausmaß von Krankheiten erkannt, chirurgische Eingriffe geplant und Patienten ihre Erkrankungen besser verständlich gemacht werden. Mithilfe von AR-Headsets können Chirurgen beispielsweise während eines medizinischen Eingriffs die Vitalwerte eines Patienten überprüfen, ohne mehrere Geräte und Bildschirme gleichzeitig bedienen zu müssen. Dadurch ist es weniger wahrscheinlich, dass sie Daten falsch lesen oder interpretieren.

Abb. 5. Eine medizinische Fachkraft verwendet während einer Operation ein AR-Headset.

Wichtige Erkenntnisse#

Die erweiterte Realität wird die Art und Weise verändern, wie wir mit der digitalen Welt interagieren. Durch die Verbindung virtueller Elemente mit der realen Welt schafft AR ein immersiveres Erlebnis als herkömmliche Bildschirme. Metas Orion-AR-Brille ist mit ihren fortschrittlichen Funktionen, ihrem komfortablen Design und ihren AI-Fähigkeiten ein großer Schritt nach vorn für die AR-Technologie. Da AR in unserem Alltag immer verbreiteter wird, können wir erwarten, dass die Grenzen zwischen der physischen und der digitalen Welt zunehmend verschwimmen und neue Möglichkeiten für Innovation und Kreativität entstehen.

Möchtest du mehr über AI erfahren? Sieh dir unser GitHub-Repository an, um unsere Beiträge zu AI und Computer Vision kennenzulernen, und vergiss nicht, dich in unserer Community zu engagieren. Erfahre, wie wir Branchen wie Fertigung und Landwirtschaft mit modernster AI-Technologie neu gestalten.