Merged Reality

La réalité fusionnée (MR), également connue sous le nom de réalité mixte, décrit la convergence du monde physique avec du contenu numérique généré par ordinateur. Contrairement aux environnements strictement virtuels ou augmentés, la réalité fusionnée crée un espace homogène où les objets physiques et numériques coexistent et interagissent en temps réel. Cette technologie repose largement sur la vision par ordinateur avancée et l’informatique spatiale pour cartographier avec précision l’environnement réel, ce qui permet d’ancrer les artefacts numériques sur des surfaces physiques et de les faire réagir aux changements physiques. En s’appuyant sur des capteurs, des caméras et des algorithmes d’apprentissage profond, les systèmes de MR peuvent comprendre la profondeur, la géométrie et l’éclairage, créant ainsi des expériences immersives qui semblent tangibles et ancrées dans l’environnement réel de l’utilisateur.

Pertinence pour l’IA et le machine learning#

L’évolution de la réalité fusionnée est intrinsèquement liée aux avancées de l’intelligence artificielle. Pour fusionner efficacement les mondes numérique et physique, un système doit disposer d’une compréhension sophistiquée de son environnement. C’est là que les tâches de perception visuelle deviennent essentielles. Des techniques telles que la détection d’objets permettent au système de reconnaître des meubles ou des personnes, tandis que le SLAM (localisation et cartographie simultanées) permet à l’appareil de suivre sa propre position par rapport à ces objets.

Les applications modernes de MR utilisent des modèles d’apprentissage profond pour traiter instantanément des données sensorielles complexes. Par exemple, l’estimation de pose permet de suivre les mouvements des mains pour le contrôle gestuel, éliminant ainsi le besoin de contrôleurs physiques. En outre, la segmentation sémantique aide le système à distinguer un sol, un mur et une table, afin qu’un personnage numérique marche sur le sol plutôt que de traverser une table en flottant.

Applications concrètes#

La réalité fusionnée transforme les secteurs d’activité en améliorant la productivité et la formation grâce à des simulations immersives.

• Maintenance et formation industrielles : dans le secteur de la fabrication, les techniciens portent des casques de MR qui superposent des schémas numériques aux machines physiques. Lorsqu’un opérateur regarde une pièce spécifique d’un moteur, le système utilise l’inférence en temps réel pour identifier le composant et afficher directement sur celui-ci les instructions de réparation ou les spécifications de couple. Ces indications mains libres réduisent les erreurs et accélèrent les tâches complexes.
• Chirurgie et planification médicales : les chirurgiens utilisent la MR pour superposer des examens d’imagerie médicale en 3D, comme des données d’IRM ou de tomodensitométrie, directement sur le corps du patient pendant les opérations. Cela permet de visualiser précisément l’anatomie interne sans pratiquer de grandes incisions. En intégrant des modèles de segmentation, le système peut mettre en évidence certains organes ou certaines tumeurs en temps réel, ce qui facilite la navigation et améliore les résultats chirurgicaux.

Différenciation des principaux termes#

Il est important de distinguer la réalité fusionnée des concepts apparentés du spectre de la « réalité étendue » (XR) :

• Réalité augmentée (AR) : l’AR superpose généralement des informations numériques à un flux vidéo, comme un filtre de smartphone, sans interaction spatiale approfondie. La MR va plus loin en garantissant que les objets numériques interagissent physiquement avec le monde réel, par exemple lorsqu’une balle numérique rebondit sur une table réelle.
• Réalité virtuelle (VR) : la VR crée un environnement entièrement synthétique qui masque totalement le monde physique. La MR maintient l’utilisateur dans son environnement physique tout en l’enrichissant.

Appliquer la vision par ordinateur à la MR#

Pour créer un composant de base d’un système de MR, comme la détection de surfaces ou d’objets sur lesquels ancrer du contenu numérique, les développeurs utilisent souvent des modèles de détection rapides. Le modèle Ultralytics YOLO26 est particulièrement adapté à cet usage grâce à sa faible latence et à sa haute précision, essentielles pour préserver l’illusion de la réalité.

L’exemple suivant montre comment effectuer une segmentation d’instances sur un flux vidéo. Dans un contexte de MR, ce masque au niveau des pixels pourrait définir la zone « praticable » pour un personnage numérique.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

L’avenir de la réalité fusionnée#

À mesure que le matériel devient plus léger et que les capacités d’informatique en périphérie s’améliorent, la MR devrait se généraliser. L’intégration de l’IA générative permettra probablement aux environnements de MR de se peupler dynamiquement, en créant automatiquement des jumeaux numériques d’espaces réels. Avec des outils tels que l’Ultralytics Platform, les développeurs peuvent facilement entraîner des modèles personnalisés pour reconnaître des objets spécifiques au sein de ces environnements fusionnés, repoussant ainsi les limites de la manière dont nous interagissons avec les informations dans un espace tridimensionnel.