Découverte des avancées de la réalité augmentée et des lunettes Orion de Meta

Même si nous vivons dans un monde tridimensionnel (3D) riche en données et en informations, la plupart des appareils que nous utilisons au quotidien reposent sur un écran bidimensionnel (2D). Cependant, les progrès technologiques font lentement évoluer cette situation avec l’arrivée d’innovations comme la réalité augmentée (AR). La réalité augmentée permet de superposer du contenu numérique, comme des images, des sons et des données, à notre environnement réel afin de le rendre plus interactif et immersif.

L’intelligence artificielle (AI), en particulier la vision par ordinateur, joue un rôle essentiel dans le développement de la réalité augmentée. L’IA visuelle permet aux appareils de réalité augmentée d’analyser et d’interpréter leur environnement en détectant des objets, en suivant les mouvements et en reconnaissant les caractéristiques spatiales. Dans cet article, nous verrons comment fonctionne la réalité augmentée et comment elle est utilisée dans des domaines comme l’éducation, les soins de santé et le divertissement. Nous parlerons également des avancées récentes, comme les nouvelles lunettes de réalité augmentée Orion de Meta, qui rendent cette technologie plus accessible.

Fig. 1. Un élève utilisant l’AR en classe (Source : elearningindustry.com).

L’évolution de la réalité augmentée#

La réalité augmentée ajoute des éléments numériques, comme des images, des vidéos ou des modèles 3D, au monde réel par l’intermédiaire d’appareils tels que des smartphones, des tablettes ou des lunettes de réalité augmentée. Par exemple, si tu pointes l’appareil photo de ton téléphone vers une table vide, la réalité augmentée peut donner l’impression qu’une tasse de café virtuelle y est posée. La réalité augmentée peut enrichir notre perception de ce qui nous entoure en mêlant des éléments générés par ordinateur à ce que nous voyons dans la vie réelle.

En 1968, Ivan Sutherland, connu comme le « père de l’infographie », a créé le premier visiocasque de réalité augmentée à Harvard. Au départ, la réalité augmentée était utilisée dans des domaines comme l’aviation, l’armée et la formation industrielle. La première utilisation commerciale de la réalité augmentée est apparue en 2008 avec une publicité interactive pour la BMW Mini. En plaçant une publicité imprimée dans un magazine devant la caméra d’un ordinateur, les utilisateurs pouvaient voir un modèle numérique de la voiture à l’écran et en contrôler les mouvements, ce qui donnait l’impression d’interagir avec la voiture dans la vie réelle. Cela a ouvert la voie à l’utilisation de la réalité augmentée dans des secteurs comme le marketing, le tourisme, la mode et le divertissement. Avec des applications de jeu populaires comme Pokémon Go en 2016, l’adoption de la réalité augmentée s’est accélérée. Le marché mondial de la réalité augmentée devrait atteindre environ 2 804,82 milliards de dollars d’ici 2034.

Fig. 2. Graphique illustrant la croissance du marché mondial de l’AR.

Le rôle de la vision par ordinateur dans l’AR#

Différentes technologies, notamment la vision par ordinateur, les capteurs et l’apprentissage automatique, collaborent pour créer des expériences immersives de réalité augmentée. La vision par ordinateur, en particulier, constitue la base de l’intégration du contenu numérique dans les environnements du monde réel par la réalité augmentée. Voici un aperçu des différentes contributions de la vision par ordinateur à la réalité augmentée :

• Reconnaissance d’objets : grâce à des techniques de vision par ordinateur comme la détection d’objets, la segmentation d’images et le suivi d’objets, les systèmes de réalité augmentée peuvent reconnaître les objets en analysant leur taille, leur forme et leur couleur. Une fois les objets identifiés, du contenu virtuel, comme des modèles 3D ou du texte, peut être superposé.
• Localisation et cartographie : La vision par ordinateur peut être utilisée pour la localisation et cartographie simultanées (SLAM) afin de suivre en temps réel la position et l’orientation de l’appareil et de garantir que les éléments virtuels restent précisément alignés avec le champ de vision de l’utilisateur, pour une expérience stable.
• Reconnaissance des gestes et des mouvements : l’IA visuelle peut être utilisée pour suivre les gestes, les expressions faciales et les mouvements des utilisateurs, afin de permettre des interactions naturelles avec le contenu virtuel en réalité augmentée.
• Estimation de la profondeur : L’analyse d’images aide les appareils de réalité augmentée à comprendre à quelle distance se trouvent les objets dans l’environnement en analysant ce qu’ils voient. Cela permet de placer les éléments virtuels à la bonne distance, de les intégrer naturellement au monde réel et d’améliorer l’expérience globale de réalité augmentée.
• Adaptation à l’environnement : la vision par ordinateur peut servir à ajuster les objets virtuels pour qu’ils s’adaptent aux conditions réelles, comme l’éclairage, les reflets et les ombres en AR.

Par exemple, imagine que tu utilises une application de réalité augmentée pour voir une sculpture numérique dans ton salon. Lorsque tu bouges ton téléphone ou ton casque de réalité augmentée, le système de vision par ordinateur commence à reconnaître les objets de la pièce, comme ton canapé ou ta table basse, grâce à la détection d’objets.

En parallèle, la technologie SLAM cartographie la pièce et suit la position de ton appareil pour que la sculpture reste immobile au même endroit. À mesure que tu t’en approches, l’estimation de la profondeur aide l’application à ajuster la taille de la sculpture pour qu’elle semble placée de manière réaliste. Si tu agites la main, la reconnaissance des gestes peut te permettre de faire pivoter ou de redimensionner la sculpture. L’application peut aussi adapter l’éclairage et les ombres de la sculpture aux conditions lumineuses de la pièce, afin qu’elle s’intègre dans ton salon.

Orion : les lunettes de réalité augmentée de Meta#

La réalité augmentée progresse rapidement : le 25 septembre 2024, Meta a annoncé ses lunettes de réalité augmentée Orion lors de l’événement Meta Connect 2024. Selon Mark Zuckerberg, PDG de Meta, Orion est le modèle de lunettes de réalité augmentée le plus avancé jamais conçu et intègre de nombreuses fonctionnalités de pointe. Elles ressemblent à des lunettes classiques, mais offrent des capacités immersives de réalité augmentée et le plus grand champ de vision jamais proposé sur des lunettes de réalité augmentée.

Les lunettes sont légères et leur monture est en magnésium, comme celui utilisé dans les voitures de F1. Elles intègrent aussi un système de refroidissement avancé inspiré des satellites de la NASA, pour plus de confort. Elles utilisent un écran de nouvelle génération en carbure de silicium conçu sur mesure, avec de minuscules projecteurs capables de créer devant toi des hologrammes de différentes profondeurs et tailles.

Les lunettes AR Orion proposent plusieurs options : commandes vocales, suivi des mains, suivi du regard et interface de bracelet qui capte les impulsions électriques de tes muscles pour contrôler les éléments AR par de subtils mouvements. Ce bracelet fait office d’interface neuronale : il te permet d’interagir avec les lunettes à l’aide de gestes simples et constitue un élément essentiel de l’expérience globale. Les lunettes sont également accompagnées d’un petit boîtier de traitement de poche qui fournit la puissance de calcul nécessaire en déplacement.

Fig. 3 Les lunettes Orion de Meta, le bracelet neuronal et le module de traitement.

Ce qui distingue Orion, c’est son intégration à Meta AI, un assistant intelligent capable de reconnaître les objets du monde réel et de fournir des informations utiles. Par exemple, si tu regardes un ensemble d’ingrédients, Meta AI peut te proposer des recettes. Tu peux aussi transformer n’importe quel mur en écran pour regarder des vidéos, participer à des appels vidéo holographiques ou jouer à des jeux interactifs, ce qui fait d’Orion une avancée enthousiasmante dans les expériences de réalité augmentée.

Les applications de la technologie AR portable#

La technologie AR portable, comme les lunettes AR Orion ou les casques, te permet de profiter de la réalité augmentée sans avoir à tenir un appareil, contrairement à un téléphone ou une tablette. Découvrons les différentes applications dans lesquelles l’AR portable fait la différence.

L’AR rend l’éducation plus accessible#

De nombreux élèves apprennent mieux par la pratique ou grâce au visuel, et la réalité augmentée peut aider les enseignants à créer des cours plus interactifs. Grâce à des technologies AR portables comme les casques ou les lunettes connectées, enseignants et élèves peuvent interagir avec le contenu pédagogique de manière plus dynamique et apprendre n’importe quand, n’importe où.

Ces appareils portables sont particulièrement utiles dans les régions isolées, car de nombreuses applications AR peuvent fonctionner hors ligne ou avec une connectivité minimale une fois les données nécessaires téléchargées. Les pays en développement utilisent l’AR portable pour offrir une éducation de qualité aux élèves qui en ont besoin. Dans des pays comme le Rwanda, le Nigeria et l’Afrique du Sud, l’AR portable contribue à l’éducation des élèves des régions isolées et touche plus de 500 000 élèves au Rwanda à lui seul.

Fig. 4. Un élève dans une région isolée d’Afrique utilisant la technologie AR pour étudier (Source : nepad.org).

Les lunettes AR pour le jeu vidéo#

L’application la plus populaire de l’AR est le jeu vidéo. Le secteur du jeu vidéo commence à voir comment les lunettes AR peuvent rendre les jeux plus immersifs et interactifs. Les joueurs peuvent voir des éléments virtuels dans le monde réel grâce à l’AR, ce qui leur donne l’impression de faire véritablement partie du jeu. Ils peuvent par exemple explorer leur environnement et interagir avec lui sans les mains, pour une expérience plus naturelle.

Alors que les jeux en réalité augmentée sont d’abord devenus populaires sur les appareils mobiles, comme Pokémon Go, où les joueurs utilisaient l’appareil photo de leur téléphone pour attraper des Pokémon, le passage aux lunettes de réalité augmentée devrait rendre les jeux encore plus immersifs. Pokémon Go constitue une étape importante, car le jeu a démontré le potentiel de la réalité augmentée en attirant plus de 20 millions de joueurs actifs en seulement 7 jours.

Fig. 5. Des joueurs utilisent la réalité augmentée dans le jeu Pokémon Go.

Comment l’AR aide les médecins et les chirurgiens#

Grâce à la réalité augmentée, les médecins et les professionnels de santé peuvent consulter et étudier des images médicales en 3D. En effet, les outils d’imagerie médicale compatibles avec la réalité augmentée peuvent aider les médecins à visualiser l’anatomie des patients dans un environnement 3D. Une visualisation plus claire peut mener à des diagnostics plus précis, à de meilleurs résultats chirurgicaux et à des interventions plus sûres.

La réalité augmentée peut aussi aider les professionnels de la santé à proposer des soins plus personnalisés et plus efficaces en identifiant l’emplacement et l’étendue des maladies, en planifiant les interventions chirurgicales et en aidant les patients à mieux comprendre leur état. Par exemple, grâce à des casques de réalité augmentée, les chirurgiens peuvent consulter les signes vitaux d’un patient pendant une intervention médicale sans avoir à jongler entre plusieurs appareils et écrans. Ils risquent ainsi moins de mal lire ou de mal interpréter les données.

Fig. 6. Un professionnel de santé portant un casque de réalité augmentée pendant une opération.

Points clés à retenir#

La réalité augmentée devrait transformer la façon dont nous interagissons avec le monde numérique. En combinant des éléments virtuels au monde réel, elle offre une expérience plus immersive que les écrans traditionnels. Les lunettes Orion de Meta, avec leurs fonctionnalités avancées, leur conception confortable et leurs capacités d’IA, représentent une avancée majeure pour la technologie de réalité augmentée. À mesure que la réalité augmentée se répandra dans notre quotidien, la frontière entre les mondes physique et numérique devrait s’estomper, ouvrant de nouvelles possibilités d’innovation et de créativité.

Tu veux en savoir plus sur l’IA ? Consulte notre dépôt GitHub pour découvrir nos contributions à l’IA et à la vision par ordinateur, et n’oublie pas d’échanger avec notre communauté. Découvre comment nous transformons des secteurs comme l’industrie manufacturière et l’agriculture grâce aux technologies d’IA.