Explorer les avancées de la technologie AR et les lunettes Orion de Meta

Même si nous vivons dans un monde tridimensionnel (3D) riche en données et en informations, la plupart des appareils que nous utilisons quotidiennement reposent sur un écran bidimensionnel (2D). Cependant, à mesure que la technologie progresse, cette situation évolue lentement avec l'introduction d'innovations comme la réalité augmentée (AR). L'AR sert à fusionner du contenu numérique, comme des images, des sons et des données, avec notre environnement réel, afin de le rendre plus interactif et attrayant.

L'intelligence artificielle (AI), en particulier la vision par ordinateur, est un moteur essentiel de la réalité augmentée. La Vision AI permet aux appareils AR d'analyser et d'interpréter leur environnement en détectant des objets, en suivant les mouvements et en reconnaissant les caractéristiques spatiales. Dans cet article, nous allons voir comment fonctionne la réalité augmentée et quelles sont ses applications dans des domaines comme l'éducation, la santé et le divertissement. Nous aborderons également des avancées récentes, comme les nouvelles lunettes de réalité augmentée Orion de Meta, qui rendent l'AR plus accessible. C'est parti !

Fig. 1. Un étudiant utilisant l'AR en classe (Source : elearningindustry.com).

L'évolution de la réalité augmentée#

La réalité augmentée ajoute des éléments numériques, comme des images, des vidéos ou des modèles 3D, au monde réel grâce à des appareils tels que les smartphones, les tablettes ou les lunettes AR. Par exemple, si tu diriges la caméra de ton téléphone vers une table vide, l'AR peut donner l'impression qu'une tasse de café virtuelle y est posée. L'AR peut améliorer notre perception de notre environnement en fusionnant des éléments générés par ordinateur avec ce que nous voyons dans la vie réelle.

En 1968, Ivan Sutherland, connu comme le « père de l'infographie », a créé le premier dispositif AR monté sur la tête à Harvard. À ses débuts, l'AR était utilisée dans des domaines comme l'aviation, l'armée et la formation industrielle. La première utilisation commerciale de l'AR est apparue en 2008 avec une publicité interactive pour la BMW Mini. En tenant une publicité imprimée dans un magazine devant la caméra d'un ordinateur, les utilisateurs pouvaient voir un modèle numérique de la voiture à l'écran et contrôler ses mouvements, ce qui donnait l'impression d'interagir avec la voiture dans la vie réelle. Cela a ouvert la voie à l'utilisation de l'AR dans des secteurs comme le marketing, le tourisme, la mode et le divertissement. Avec des applications de jeu populaires comme Pokémon Go en 2016, l'adoption de l'AR s'est accélérée. Le marché mondial de la réalité augmentée devrait atteindre le montant impressionnant d'environ 2 804,82 milliards de dollars d'ici 2034.

Fig. 2. Un graphique montrant la croissance de la taille du marché mondial de l'AR.

Le rôle de la vision par ordinateur dans l'AR#

Diverses technologies, notamment la vision par ordinateur, les capteurs et l'apprentissage automatique, travaillent de concert pour créer des expériences de réalité augmentée immersives. La vision par ordinateur, en particulier, constitue la base de l'intégration fluide du contenu numérique dans les environnements réels grâce à l'AR. Voici un aperçu des différentes contributions de la vision par ordinateur à l'AR :

• Reconnaissance d'objets : grâce à des techniques de vision par ordinateur comme la détection d'objets, la segmentation d'images et le suivi d'objets, les systèmes AR peuvent reconnaître des objets en analysant leur taille, leur forme et leur couleur. Une fois identifiés, du contenu virtuel, comme des modèles 3D ou du texte, peut être superposé.
• Localisation et cartographie : la vision par ordinateur peut être utilisée pour la localisation et la cartographie simultanées (SLAM) afin de suivre en temps réel la position et l'orientation de l'appareil, en veillant à ce que les éléments virtuels restent correctement alignés sur le champ de vision de l'utilisateur pour une expérience stable.
• Reconnaissance des gestes et des mouvements : la Vision AI peut servir à suivre les gestes, les expressions faciales et les mouvements de l'utilisateur, ce qui permet des interactions naturelles avec le contenu virtuel en AR.
• Estimation de la profondeur : l'analyse d'images aide les appareils AR à comprendre à quelle distance se trouvent les objets dans l'environnement en analysant ce qu'ils voient. Cela permet de placer les éléments virtuels à la bonne distance, de les intégrer naturellement au monde réel et d'améliorer l'expérience AR globale.
• Adaptation à l'environnement : la vision par ordinateur peut être utilisée pour adapter les objets virtuels afin qu'ils réagissent aux conditions du monde réel, comme l'éclairage, les reflets et les ombres en AR.

Par exemple, imaginons que tu utilises une application AR pour observer une sculpture numérique dans ton salon. Lorsque tu déplaces ton téléphone ou ton casque AR, le système de vision par ordinateur commence à reconnaître les objets présents dans la pièce, comme ton canapé ou ta table basse, grâce à la détection d'objets.

Parallèlement, la technologie SLAM cartographie la pièce et suit la position de ton appareil pour s'assurer que la sculpture reste fixe au même endroit. Lorsque tu t'en approches, l'estimation de la profondeur aide l'application à ajuster la taille de la sculpture, afin qu'elle semble positionnée de manière réaliste. Si tu agites la main, la reconnaissance des gestes peut te permettre de faire pivoter ou de redimensionner la sculpture. L'application peut également adapter l'éclairage et les ombres de la sculpture aux conditions d'éclairage de la pièce, afin qu'elle s'intègre harmonieusement à ton salon.

Orion : les lunettes de réalité augmentée de Meta#

L'AR progresse rapidement et Meta a récemment annoncé ses lunettes AR Orion le 25 septembre 2024, lors de l'événement Meta Connect 2024. Selon le PDG de Meta, Mark Zuckerberg, Orion est la paire de lunettes AR la plus avancée jamais conçue et combine de nombreuses fonctionnalités de pointe. Elles ressemblent à une paire de lunettes ordinaire, mais offrent des capacités AR immersives ainsi que le champ de vision le plus large jamais proposé par des lunettes AR.

Les lunettes sont légères, avec une monture en magnésium similaire à celle utilisée dans les voitures de F1, ainsi qu'un système de refroidissement avancé inspiré des satellites de la NASA, pour plus de confort. Elles utilisent un écran de nouvelle génération en carbure de silicium fabriqué sur mesure, avec de minuscules projecteurs capables de créer devant toi des hologrammes de profondeurs et de tailles différentes.

Les lunettes AR Orion proposent des commandes vocales, le suivi des mains, le suivi du regard et une interface sous forme de bracelet qui capte les impulsions électriques de tes muscles pour contrôler les éléments AR par de subtils mouvements. Le bracelet agit comme une interface neuronale et te permet d'interagir avec les lunettes à l'aide de gestes simples, ce qui en fait un élément essentiel de l'expérience globale. Les lunettes sont également accompagnées d'un petit boîtier de traitement de poche qui fournit la puissance de calcul dont tu as besoin lors de tes déplacements.

Fig. 3. Lunettes AR Orion de Meta, bracelet neuronal et boîtier de traitement.

Ce qui distingue Orion, c'est son intégration avec Meta AI, un assistant intelligent capable de reconnaître les objets du monde réel et de fournir des informations utiles. Par exemple, si tu regardes un ensemble d'ingrédients, Meta AI peut te suggérer des recettes. Tu peux également transformer n'importe quel mur en écran pour regarder des vidéos, participer à des appels vidéo holographiques ou jouer à des jeux interactifs, faisant d'Orion une avancée enthousiasmante pour les expériences AR.

Les applications de la technologie AR portable#

La technologie AR portable, comme les lunettes AR Orion ou les casques, te permet de vivre une expérience de réalité augmentée sans devoir tenir un appareil, contrairement à l'utilisation d'un téléphone ou d'une tablette. Découvrons les différents domaines dans lesquels l'AR portable fait la différence.

L'AR rend l'éducation plus accessible#

De nombreux étudiants apprennent mieux par la pratique ou par le visuel, et la réalité augmentée peut aider les enseignants à créer des cours plus interactifs. Grâce à la technologie AR portable, comme les casques ou les lunettes intelligentes, les enseignants et les étudiants peuvent interagir avec le contenu pédagogique de manière plus dynamique et apprendre à tout moment, où qu'ils soient.

Ces appareils portables sont particulièrement utiles dans les zones isolées, car de nombreuses applications AR peuvent fonctionner hors ligne ou avec une connectivité minimale une fois les données nécessaires téléchargées. Les pays en développement utilisent l'AR portable pour offrir une éducation de qualité aux étudiants qui en ont besoin. Dans des pays comme le Rwanda, le Nigeria et l'Afrique du Sud, l'AR portable contribue à l'éducation des étudiants dans les zones isolées et touche à elle seule plus de 500 000 étudiants au Rwanda.

Fig. 4. Un étudiant dans une zone isolée d'Afrique utilisant la technologie AR pour étudier (Source : nepad.org).

Les lunettes AR pour les jeux vidéo#

L'application la plus populaire de l'AR concerne les jeux vidéo. L'industrie du jeu vidéo commence à reconnaître que les lunettes AR peuvent rendre les jeux plus immersifs et interactifs. Grâce à l'AR, les joueurs peuvent voir des éléments virtuels dans le monde réel, ce qui leur donne l'impression de faire véritablement partie du jeu. Par exemple, ils peuvent explorer leur environnement et interagir avec lui sans les mains, pour une expérience plus naturelle.

Bien que les jeux en AR soient d'abord devenus populaires sur les appareils mobiles, notamment avec Pokémon Go, où les joueurs utilisaient la caméra de leur téléphone pour attraper des Pokémon, le passage aux lunettes AR devrait rendre les jeux encore plus captivants. Pokémon Go constitue une étape importante, car il a démontré le potentiel de l'AR en atteignant plus de 20 millions de joueurs actifs en seulement 7 jours.

Fig. 5. Des joueurs utilisant l'AR dans le jeu Pokémon Go.

Comment l'AR aide les médecins et les chirurgiens#

Grâce à la réalité augmentée, les médecins et les professionnels de santé peuvent consulter et étudier des images médicales en 3D. En fait, les outils d'imagerie médicale compatibles avec l'AR peuvent aider les médecins à visualiser l'anatomie des patients dans un environnement 3D. Une visualisation plus claire peut conduire à des diagnostics plus précis, à de meilleurs résultats chirurgicaux et à des procédures plus sûres.

L'AR peut également aider les professionnels de la santé à offrir des soins plus personnalisés et efficaces en identifiant la localisation et l'étendue des maladies, en planifiant les interventions chirurgicales et en permettant aux patients de mieux comprendre leur état. Par exemple, grâce aux casques AR, les chirurgiens peuvent consulter les constantes d'un patient pendant une intervention médicale sans avoir à gérer plusieurs appareils et écrans d'affichage. Ils risquent ainsi moins de mal lire ou de mal interpréter les données.

Fig. 5. Un professionnel de santé utilisant un casque AR pendant une intervention chirurgicale.

Points clés à retenir#

La réalité augmentée est appelée à transformer notre façon d'interagir avec le monde numérique. En combinant des éléments virtuels avec le monde réel, l'AR crée une expérience plus immersive que les écrans traditionnels. Les lunettes AR Orion de Meta, avec leurs fonctionnalités avancées, leur conception confortable et leurs capacités d'AI, représentent une avancée majeure pour la technologie AR. À mesure que l'AR se généralisera dans notre quotidien, nous pouvons nous attendre à ce que la frontière entre les mondes physique et numérique s'estompe, ouvrant de nouvelles possibilités d'innovation et de créativité.

Tu veux en savoir plus sur l'AI ? Consulte notre dépôt GitHub pour découvrir nos contributions à l'AI et à la vision par ordinateur, et n'oublie pas d'échanger avec notre communauté. Découvre comment nous redéfinissons des secteurs comme l'industrie manufacturière et l'agriculture grâce à une technologie AI de pointe.