Explorer les avancées technologiques AR et les lunettes Orion de Meta

Même si nous vivons dans un monde tridimensionnel (3D) riche en données et en informations, la plupart des appareils que nous utilisons au quotidien reposent sur un écran bidimensionnel (2D). À mesure que la technologie progresse, cela change lentement avec l'introduction d'innovations telles que la réalité augmentée (AR). L'AR est utilisée pour mélanger du contenu numérique, tel que des images, des sons et des données, avec notre environnement réel, le rendant ainsi plus interactif et captivant.

L'intelligence artificielle (IA), en particulier la computer vision, est un moteur majeur de la réalité augmentée. La Vision AI permet aux appareils de réalité augmentée d'analyser et d'interpréter leur environnement en détectant des objets, en suivant le mouvement et en reconnaissant des caractéristiques spatiales. Dans cet article, nous explorerons le fonctionnement de la réalité augmentée et ses applications dans des domaines tels que l'éducation, la santé et le divertissement. Nous discuterons également des récentes avancées telles que les nouvelles lunettes de réalité augmentée Orion de Meta qui rendent la réalité augmentée plus accessible. C'est parti !

Fig 1. Un étudiant utilisant la RA en classe (Source : elearningindustry.com).

L'évolution de la réalité augmentée#

La réalité augmentée ajoute des éléments numériques, tels que des images, des vidéos ou des modèles 3D, au monde réel par le biais d'appareils tels que des smartphones, des tablettes ou des lunettes AR. Par exemple, si tu pointes l'appareil photo de ton téléphone vers une table vide, la réalité augmentée peut donner l'impression qu'une tasse de café virtuelle y est posée. La réalité augmentée peut améliorer notre façon de percevoir notre environnement en combinant des éléments générés par ordinateur avec ce que nous voyons dans la vie réelle.

En 1968, Ivan Sutherland, connu comme le « père de l'infographie », a créé le premier écran monté sur la tête de réalité augmentée à Harvard. Initialement, la réalité augmentée était utilisée dans des domaines tels que l'aviation, l'armée et la formation industrielle. La première utilisation commerciale de la réalité augmentée est apparue en 2008 avec une publicité interactive pour BMW Mini. En tenant une publicité imprimée de magazine devant l'appareil photo d'un ordinateur, les utilisateurs pouvaient voir un modèle numérique de la voiture sur leur écran et contrôler ses mouvements, donnant l'impression qu'ils interagissaient avec la voiture dans la vie réelle. Cela a ouvert la porte à l'entrée de la réalité augmentée dans des secteurs tels que le marketing, le tourisme, la mode et le divertissement. Avec des applications de jeux populaires comme Pokémon Go en 2016, l'adoption de la réalité augmentée s'est accentuée. Le marché mondial de la réalité augmentée devrait atteindre environ le chiffre impressionnant de 2 804,82 milliards de dollars d'ici 2034.

Fig 2. Un graphique montrant la croissance de la taille du marché mondial de la réalité augmentée.

Le rôle de la vision par ordinateur dans la RA#

Diverses technologies, notamment la computer vision, les capteurs et le machine learning, fonctionnent ensemble pour créer des expériences de réalité augmentée immersives. La computer vision, en particulier, constitue la base de la façon dont le contenu numérique est facilement intégré dans les environnements du monde réel grâce à la réalité augmentée. Voici un aperçu des différentes manières dont la computer vision contribue à la réalité augmentée :

• Reconnaissance d'objets : En utilisant des techniques de computer vision telles que l'object detection, l'image segmentation et l'object tracking, les systèmes de réalité augmentée peuvent reconnaître des objets en analysant leur taille, leur forme et leur couleur. Une fois identifiés, du contenu virtuel tel que des modèles 3D ou du texte peut être superposé.
• Localisation et cartographie : La vision par ordinateur peut être utilisée pour la localisation et la cartographie simultanées (SLAM) afin de suivre la position et l'orientation de l'appareil en temps réel, garantissant que les éléments virtuels restent correctement alignés avec la vue de l'utilisateur pour une expérience stable.
• Reconnaissance des gestes et des mouvements : la Vision AI peut être utilisée pour suivre les gestes de l'utilisateur, ses expressions faciales et ses mouvements, permettant ainsi des interactions naturelles avec le contenu virtuel en réalité augmentée.
• Estimation de la profondeur : L'analyse d'images aide les appareils de réalité augmentée à comprendre la distance à laquelle se trouvent les objets dans l'environnement en analysant ce qu'ils voient. Cela aide à placer les éléments virtuels à la bonne distance, en les faisant se fondre naturellement dans le monde réel et en améliorant l'expérience globale de la réalité augmentée.
• Adaptation environnementale : La vision par ordinateur peut être utilisée pour ajuster les objets virtuels afin qu'ils réagissent aux conditions réelles comme l'éclairage, les reflets et les ombres en RA.

Par exemple, imagine que tu utilises une application de réalité augmentée pour visualiser une sculpture numérique dans ton salon. En déplaçant ton téléphone ou ton casque de réalité augmentée, le système de computer vision commence à reconnaître les objets autour de la pièce, tels que ton canapé ou ta table basse, à l'aide de l'object detection.

Simultanément, la technologie SLAM cartographie la disposition de la pièce et suit la position de ton appareil pour s'assurer que la sculpture reste fixe à un seul endroit. En t'approchant, l'estimation de la profondeur aide l'application à ajuster la taille de la sculpture, lui donnant un positionnement réaliste. Si tu fais un signe de la main, la reconnaissance des gestes peut te permettre de faire pivoter ou de redimensionner la sculpture. L'application peut également adapter l'éclairage et les ombres de la sculpture pour correspondre aux conditions d'éclairage de la pièce, lui permettant de se fondre harmonieusement dans ton salon.

Orion : les lunettes de réalité augmentée de Meta#

La réalité augmentée progresse rapidement et Meta a récemment annoncé ses lunettes Orion AR le 25 septembre 2024, lors de l'événement Meta Connect 2024. Selon le PDG de Meta, Mark Zuckerberg, Orion sont les lunettes de réalité augmentée les plus avancées jamais créées, combinant de nombreuses fonctionnalités de pointe. Elles ressemblent à une paire de lunettes ordinaire mais sont dotées de capacités de réalité augmentée immersives, offrant le plus grand champ de vision jamais vu sur des lunettes de réalité augmentée jusqu'à présent.

Les lunettes sont légères, avec un cadre en magnésium, similaire à ce qui est utilisé dans les F1 cars, et un système de refroidissement avancé inspiré des satellites NASA pour plus de confort. Elles utilisent un écran de nouvelle génération fabriqué à partir de carbure de silicium personnalisé, avec de minuscules projecteurs capables de créer des hologrammes de différentes profondeurs et tailles directement devant toi.

Les lunettes Orion AR sont dotées d'options de commandes vocales, de suivi des mains, d'eye tracking et d'une interface de bracelet qui capte les impulsions électriques de tes muscles pour contrôler les éléments de réalité augmentée avec des mouvements subtils. Le bracelet agit comme une interface neurale, te permettant d'interagir avec les lunettes à l'aide de gestes simples, ce qui en fait un élément clé de l'expérience globale. Les lunettes sont également fournies avec un petit boîtier de traitement de poche qui fournit la puissance de calcul dont tu as besoin lors de tes déplacements.

Fig 3. Lunettes Orion AR de Meta, bracelet neural et boîtier de traitement.

Ce qui distingue Orion, c'est son intégration avec Meta AI, un assistant intelligent capable de reconnaître des objets du monde réel et de fournir des informations utiles. Par exemple, si tu regardes un ensemble d'ingrédients, Meta AI peut suggérer des recettes. Tu peux également transformer n'importe quel mur en écran pour regarder des vidéos, participer à des appels vidéo holographiques ou jouer à des jeux interactifs, faisant d'Orion une étape passionnante dans les expériences de réalité augmentée.

Les applications de la technologie de RA portable#

La technologie de RA portable, comme les lunettes ou les casques de RA Orion, te permet de faire l'expérience de la réalité augmentée sans avoir besoin de tenir un appareil, contrairement à l'utilisation d'un téléphone ou d'une tablette. Explorons les différentes applications où la RA portable fait une différence.

La RA rend l'éducation plus accessible#

De nombreux étudiants apprennent de manière pratique ou visuelle, et la réalité augmentée peut aider les enseignants à créer des leçons plus interactives. Grâce à la technologie de réalité augmentée portable comme les casques ou les lunettes connectées, les enseignants et les étudiants peuvent interagir avec le contenu éducatif de manière plus dynamique qui leur permet d'apprendre n'importe quand et n'importe où.

Ces appareils portables sont particulièrement utiles dans les zones isolées car de nombreuses applications de RA peuvent fonctionner hors ligne ou avec une connectivité minimale une fois les données nécessaires téléchargées. Les pays en développement utilisent la RA portable pour fournir une éducation de qualité aux étudiants dans le besoin. Dans des pays comme le Rwanda, le Nigeria et l'Afrique du Sud, la RA portable aide à éduquer les étudiants dans des zones isolées, atteignant plus de 500 000 étudiants au Rwanda seul.

Fig 4. Un étudiant dans un endroit isolé en Afrique utilisant la technologie de RA pour étudier (Source : nepad.org).

Lunettes de RA pour les jeux#

L'application la plus populaire de la réalité augmentée se trouve dans le gaming. L'industrie du jeu vidéo commence à reconnaître comment les lunettes de réalité augmentée peuvent rendre les jeux plus immersifs et interactifs. Les joueurs peuvent voir des éléments virtuels dans le monde réel grâce à la réalité augmentée, ce qui leur donne l'impression de faire réellement partie du jeu. Par exemple, les joueurs peuvent explorer leur environnement et interagir avec lui les mains libres, ce qui rend l'expérience plus naturelle.

Bien que le jeu en réalité augmentée ait d'abord gagné en popularité sur les appareils mobiles, comme avec Pokémon Go où les joueurs utilisaient les caméras de leur téléphone pour attraper des Pokémon, le passage aux lunettes de réalité augmentée devrait rendre le jeu encore plus captivant. Pokémon Go marque une étape importante car il a démontré le potentiel de la réalité augmentée en atteignant plus de 20 millions de joueurs actifs en seulement 7 jours.

Fig 5. Joueurs utilisant la réalité augmentée dans le jeu, Pokémon Go.

Comment la RA aide les médecins et les chirurgiens#

Grâce à la réalité augmentée, les médecins et les professionnels de la santé peuvent accéder à des images médicales et les étudier en 3D. En fait, les outils d'imagerie médicale compatibles AR peuvent aider les médecins à visualiser l'anatomie du patient dans un environnement 3D. Une visualisation plus claire peut conduire à des diagnostics plus précis, à de meilleurs résultats chirurgicaux et à des interventions plus sûres.

La réalité augmentée peut également aider les professionnels de la santé à offrir des soins plus personnalisés et plus efficaces en identifiant l'emplacement et l'étendue des maladies, en planifiant des procédures chirurgicales et en offrant aux patients une meilleure compréhension de leurs affections. Par exemple, à l'aide de casques de réalité augmentée, les chirurgiens peuvent examiner les signes vitaux d'un patient pendant une intervention médicale sans avoir à jongler avec plusieurs appareils et écrans d'affichage. Ce faisant, ils risquent moins de mal lire ou de mal interpréter les données.

Fig 5. Un professionnel de la santé utilisant un casque de réalité augmentée pendant une chirurgie.

Points clés#

La réalité augmentée est prête à changer la façon dont nous interagissons avec le monde numérique. En combinant des éléments virtuels avec le monde réel, la RA crée une expérience plus immersive que les écrans traditionnels. Les lunettes de RA Orion de Meta, avec leurs fonctionnalités avancées, leur conception confortable et leurs capacités d'IA, constituent un grand pas en avant dans la technologie de la RA. À mesure que la RA devient plus courante dans notre vie quotidienne, nous pouvons nous attendre à ce que la frontière entre les mondes physique et numérique s'estompe, ouvrant de nouvelles possibilités d'innovation et de créativité.

Tu veux en savoir plus sur l'IA ? Consulte notre dépôt GitHub pour voir nos contributions à l'IA et à la computer vision, et n'oublie pas d'interagir avec notre communauté. Découvre comment nous redéfinissons des secteurs tels que la fabrication et l'agriculture grâce à une technologie d'IA de pointe.