Entwicklungen in der AR-Technologie und Metas Orion-Brille entdecken

Obwohl wir in einer daten- und informationsreichen, dreidimensionalen (3D) Welt leben, verlassen sich die meisten Geräte, die wir täglich verwenden, auf einen zweidimensionalen (2D) Bildschirm. Mit dem technologischen Fortschritt ändert sich das jedoch langsam, unter anderem durch Neuerungen wie erweiterte Realität (AR). AR verbindet digitale Inhalte wie Bilder, Töne und Daten mit unserer realen Umgebung und macht sie interaktiver und ansprechender.

Künstliche Intelligenz (AI), insbesondere Computer Vision, ist eine wichtige treibende Kraft hinter der erweiterten Realität. Visuelle KI ermöglicht es AR-Geräten, ihre Umgebung zu analysieren und zu interpretieren, indem sie Objekte erkennen, Bewegungen verfolgen und räumliche Merkmale identifizieren. In diesem Artikel untersuchen wir, wie erweiterte Realität funktioniert und wie sie in Bereichen wie Bildung, Gesundheitsversorgung und Unterhaltung eingesetzt wird. Außerdem besprechen wir aktuelle Entwicklungen wie Metas neue Orion-Datenbrille für erweiterte Realität, die AR zugänglicher macht.

Abb. 1. Ein Schüler verwendet AR im Klassenzimmer (Quelle: elearningindustry.com).

Die Entwicklung der erweiterten Realität#

Augmented Reality fügt der realen Welt über Geräte wie Smartphones, Tablets oder AR-Brillen digitale Elemente wie Bilder, Videos oder 3D-Modelle hinzu. Wenn du zum Beispiel die Kamera deines Smartphones auf einen leeren Tisch richtest, kann AR dort eine virtuelle Kaffeetasse erscheinen lassen. AR kann unsere Wahrnehmung der Umgebung verbessern, indem computergenerierte Elemente mit dem verbunden werden, was wir in der Realität sehen.

1968 entwickelte Ivan Sutherland, bekannt als „Vater der Computergrafik“, an der Harvard University das erste am Kopf getragene AR-Display. Anfangs wurde AR in Bereichen wie der Luftfahrt, dem Militär und der industriellen Ausbildung eingesetzt. Der erste kommerzielle Einsatz von AR erfolgte 2008 mit einer interaktiven Werbung für den BMW Mini. Hielten Nutzer eine gedruckte Magazinanzeige vor die Kamera eines Computers, konnten sie auf dem Bildschirm ein digitales Modell des Autos sehen und dessen Bewegungen steuern. Dadurch entstand der Eindruck, mit dem Auto in der Realität zu interagieren. Das ebnete AR den Weg in Branchen wie Marketing, Tourismus, Mode und Unterhaltung. Mit beliebten Spielen wie Pokémon Go im Jahr 2016 nahm die Verbreitung von AR zu. Für den weltweiten Markt für Augmented Reality wird bis 2034 ein Volumen von rund 2.804,82 Milliarden US-Dollar prognostiziert.

Abb. 2. Diagramm zum Wachstum des weltweiten Marktvolumens für AR.

Die Rolle von Computer Vision bei AR#

Verschiedene Technologien, darunter Computer Vision, Sensoren und maschinelles Lernen, arbeiten zusammen, um immersive Augmented-Reality-Erlebnisse zu schaffen. Insbesondere Computer Vision bildet die Grundlage dafür, wie AR digitale Inhalte in reale Umgebungen integriert. Hier siehst du genauer, auf welche Weise Computer Vision zu AR beiträgt:

• Objekterkennung: Mithilfe von Computer-Vision-Verfahren wie Objekterkennung, Bildsegmentierung und Objektverfolgung können AR-Systeme Objekte anhand ihrer Größe, Form und Farbe erkennen. Nach der Identifizierung lassen sich virtuelle Inhalte wie 3D-Modelle oder Text einblenden.
• Lokalisierung und Kartierung: Computer Vision kann für simultane Lokalisierung und Kartierung (SLAM) eingesetzt werden, um Position und Ausrichtung des Geräts in Echtzeit zu verfolgen. So bleiben virtuelle Elemente exakt auf die Sicht des Nutzers ausgerichtet und das Erlebnis stabil.
• Gesten- und Bewegungserkennung: Vision AI kann Gesten, Gesichtsausdrücke und Bewegungen der Nutzer verfolgen und so natürliche Interaktionen mit virtuellen Inhalten in AR ermöglichen.
• Tiefenschätzung: Bildanalyse hilft AR-Geräten zu verstehen, wie weit Objekte in der Umgebung entfernt sind, indem sie das Sichtfeld auswertet. Dadurch lassen sich virtuelle Elemente im richtigen Abstand platzieren, sodass sie sich natürlich in die reale Welt einfügen und das AR-Erlebnis insgesamt verbessert wird.
• Anpassung an die Umgebung: Computer Vision kann virtuelle Objekte an reale Bedingungen wie Beleuchtung, Reflexionen und Schatten anpassen.

Stell dir zum Beispiel vor, du verwendest eine AR-App, um eine digitale Skulptur in deinem Wohnzimmer anzusehen. Wenn du dein Smartphone oder AR-Headset bewegst, beginnt das Computer-Vision-System mithilfe der Objekterkennung, Gegenstände im Raum wie dein Sofa oder deinen Couchtisch zu erkennen.

Gleichzeitig kartiert die SLAM-Technologie den Grundriss des Raums und verfolgt die Position deines Geräts, damit die Skulptur an derselben Stelle bleibt. Wenn du näher herangehst, passt die Tiefenschätzung die Größe der Skulptur an, sodass sie realistisch platziert wirkt. Wenn du mit der Hand winkst, kannst du die Skulptur mithilfe der Gestenerkennung drehen oder vergrößern. Die App kann außerdem Beleuchtung und Schatten der Skulptur an die Lichtverhältnisse im Raum anpassen, damit sie sich in dein Wohnzimmer einfügt.

Orion: Metas Brille für erweiterte Realität#

AR entwickelt sich rasant weiter. Meta kündigte seine Orion-AR-Brille am 25. September 2024 auf der Veranstaltung Meta Connect 2024 an. Laut Meta-CEO Mark Zuckerberg ist Orion die fortschrittlichste AR-Brille, die je entwickelt wurde, und vereint zahlreiche moderne Funktionen. Die Brille sieht wie eine gewöhnliche Brille aus, verfügt aber über immersive AR-Funktionen und bietet das bisher größte Sichtfeld einer AR-Brille.

Die Brille ist leicht und hat einen Rahmen aus Magnesium, wie es auch in F1-Autos verwendet wird. Ein fortschrittliches, von NASA-Satelliten inspiriertes Kühlsystem sorgt für zusätzlichen Komfort. Das Display der nächsten Generation besteht aus speziell entwickeltem Siliziumkarbid. Winzige Projektoren können direkt vor dir Hologramme in verschiedenen Tiefen und Größen erzeugen.

Die Orion-AR-Brille bietet Sprachsteuerung, Handtracking, Blickerfassung und ein Armband, das elektrische Impulse deiner Muskeln erfasst, um AR-Elemente mit subtilen Bewegungen zu steuern. Das Armband dient als neuronale Schnittstelle und ermöglicht dir die Interaktion mit der Brille über einfache Gesten. Damit ist es ein wesentlicher Bestandteil des gesamten Erlebnisses. Zur Brille gehört außerdem ein kleiner, taschengroßer Rechner, der dir unterwegs die nötige Rechenleistung bereitstellt.

Abb. 3. Metas Orion-AR-Brille, neuronales Armband und Verarbeitungseinheit.

Orion zeichnet sich durch die Integration von Meta AI aus, einem intelligenten Assistenten, der Gegenstände in der realen Welt erkennen und hilfreiche Informationen bereitstellen kann. Wenn du dir zum Beispiel Zutaten ansiehst, kann Meta AI Rezepte vorschlagen. Du kannst außerdem jede Wand in eine Leinwand zum Ansehen von Videos verwandeln, an holografischen Videoanrufen teilnehmen oder interaktive Spiele spielen. Damit eröffnet Orion spannende Möglichkeiten für AR-Erlebnisse.

Anwendungen tragbarer AR-Technologie#

Tragbare AR-Technologie wie die Orion-AR-Brille oder Headsets ermöglicht dir erweiterte Realität, ohne dass du ein Gerät in der Hand halten musst – anders als bei einem Smartphone oder Tablet. Sehen wir uns einige Bereiche an, in denen tragbare AR einen Unterschied macht.

AR macht Bildung zugänglicher#

Viele Schüler lernen am besten durch praktisches Tun oder über visuelle Eindrücke, und erweiterte Realität kann Lehrkräfte dabei unterstützen, interaktivere Unterrichtsstunden zu gestalten. Mit tragbarer AR-Technologie wie Headsets oder Smart Glasses können Lehrkräfte und Schüler dynamischer mit Lerninhalten interagieren und jederzeit und überall lernen.

Diese tragbaren Geräte sind in abgelegenen Gebieten besonders nützlich, da viele AR-Anwendungen offline oder mit minimaler Verbindung funktionieren, sobald die erforderlichen Daten heruntergeladen wurden. Entwicklungsländer setzen tragbare AR ein, um bedürftigen Schülern eine hochwertige Bildung zu ermöglichen. In Ländern wie Ruanda, Nigeria und Südafrika unterstützt tragbare AR die Bildung von Schülern in abgelegenen Gebieten. Allein in Ruanda erreicht sie damit mehr als 500.000 Schüler.

Abb. 4. Ein Schüler an einem abgelegenen Ort in Afrika nutzt AR-Technologie zum Lernen (Quelle: nepad.org).

AR-Brillen für Spiele#

Die beliebteste Anwendung von AR ist das Gaming. Die Spielebranche erkennt zunehmend, wie AR-Brillen Spiele immersiver und interaktiver gestalten können. Spieler sehen virtuelle Elemente in der realen Welt und haben dadurch das Gefühl, tatsächlich Teil des Spiels zu sein. So können sie beispielsweise ihre Umgebung freihändig erkunden und mit ihr interagieren, was das Erlebnis natürlicher wirken lässt.

AR-Spiele wurden zunächst auf Mobilgeräten beliebt, etwa Pokémon Go, bei dem Spieler mit ihren Smartphone-Kameras Pokémon fingen. Der Wechsel zu AR-Brillen dürfte Spiele noch fesselnder machen. Pokémon Go war ein wichtiger Meilenstein, denn das Spiel zeigte das Potenzial von AR und erreichte in nur sieben Tagen mehr als 20 Millionen aktive Spieler.

Abb. 5. Spieler nutzen AR im Spiel Pokémon Go.

Wie AR Ärzten und Chirurgen hilft#

Dank Augmented Reality können Ärzte und medizinisches Fachpersonal medizinische Bilder in 3D betrachten und untersuchen. Tatsächlich können medizinische Bildgebungswerkzeuge mit AR Ärzte dabei unterstützen, die Anatomie von Patienten in einer 3D-Umgebung sichtbar zu machen. Eine klarere Darstellung kann zu präziseren Diagnosen, besseren Operationsergebnissen und sichereren Eingriffen beitragen.

AR kann Fachkräften im Gesundheitswesen außerdem helfen, eine individuellere und wirksamere Versorgung anzubieten, indem sie Ort und Ausmaß von Erkrankungen bestimmen, Eingriffe planen und Patienten ein besseres Verständnis ihrer Beschwerden ermöglichen. Mit AR-Headsets können Chirurgen beispielsweise während eines Eingriffs die Vitalwerte eines Patienten überprüfen, ohne zwischen mehreren Geräten und Bildschirmen wechseln zu müssen. So ist die Wahrscheinlichkeit geringer, dass Daten falsch gelesen oder interpretiert werden.

Abb. 6. Medizinisches Fachpersonal trägt während einer Operation ein AR-Headset.

Die wichtigsten Erkenntnisse#

Augmented Reality wird unsere Interaktion mit der digitalen Welt verändern. Indem AR virtuelle Elemente mit der realen Welt verbindet, schafft die Technologie ein immersiveres Erlebnis als herkömmliche Bildschirme. Metas Orion-AR-Brille ist mit ihren fortschrittlichen Funktionen, ihrem komfortablen Design und ihren KI-Fähigkeiten ein großer Schritt nach vorn in der AR-Technologie. Mit der zunehmenden Verbreitung von AR im Alltag dürfte die Grenze zwischen der physischen und der digitalen Welt verschwimmen und neue Möglichkeiten für Innovation und Kreativität eröffnen.

Möchtest du mehr über KI erfahren? Schau dir unser GitHub-Repository an, um mehr über unsere Beiträge zu KI und Computer Vision zu erfahren, und beteilige dich an unserer Community. Erfahre, wie wir Branchen wie die Fertigung und die Landwirtschaft mit KI-Technologie neu gestalten.