Merged Reality

La Réalité Fusionnée (RF), également connue sous le nom de Réalité Mixte, décrit la convergence du monde physique avec le contenu numérique généré par ordinateur. Contrairement aux environnements strictement virtuels ou augmentés, la réalité fusionnée crée un espace fluide où les objets physiques et numériques coexistent et interagissent en temps réel. Cette technologie repose largement sur la computer vision avancée et le calcul spatial pour cartographier précisément l'environnement du monde réel, permettant aux artefacts numériques d'être ancrés sur des surfaces physiques et de répondre aux changements physiques. En exploitant des capteurs, des caméras et des algorithmes de deep learning, les systèmes de RM peuvent comprendre la profondeur, la géométrie et l'éclairage, créant des expériences immersives qui semblent tangibles et ancrées dans le véritable entourage de l'utilisateur.

Pertinence pour l'IA et le Machine Learning#

L'évolution de la réalité fusionnée est intrinsèquement liée aux avancées de l'intelligence artificielle. Pour fusionner avec succès les mondes numérique et physique, un système doit posséder une compréhension sophistiquée de l'environnement. C'est là que les visual perception tasks deviennent essentielles. Des techniques telles que l'object detection permettent au système de reconnaître des meubles ou des personnes, tandis que le SLAM (Simultaneous Localization and Mapping) permet à l'appareil de suivre sa propre position par rapport à ces objets.

Les applications de RM modernes utilisent des deep learning models pour traiter instantanément des données sensorielles complexes. Par exemple, la pose estimation est utilisée pour suivre les mouvements des mains pour le contrôle par gestes, éliminant ainsi le besoin de contrôleurs physiques. De plus, la semantic segmentation aide le système à faire la distinction entre un sol, un mur et une table, garantissant qu'un personnage numérique marche sur le sol plutôt que de flotter à travers une table.

Applications concrètes#

La réalité fusionnée transforme les industries en améliorant la productivité et la formation grâce à des simulations immersives.

• Maintenance et formation industrielles : Dans la manufacturing, les techniciens portent des casques de RM qui superposent des schémas numériques sur des machines physiques. Si un travailleur regarde une pièce de moteur spécifique, le système utilise la real-time inference pour identifier le composant et afficher les instructions de réparation ou les spécifications de couple directement sur la pièce. Ce guidage mains libres réduit les erreurs et accélère les tâches complexes.
• Chirurgie médicale et planification : Les chirurgiens utilisent la RM pour superposer des scans d'medical imaging en 3D (comme des données d'IRM ou de CT) directement sur le corps d'un patient pendant les opérations. Cela permet une visualisation précise de l'anatomie interne sans pratiquer de grandes incisions. En intégrant des segmentation models, le système peut mettre en valeur des organes ou des tumeurs spécifiques en temps réel, facilitant la navigation et améliorant les résultats chirurgicaux.

Différencier les termes clés#

Il est important de distinguer la réalité fusionnée des concepts connexes dans le spectre « XR » (réalité étendue) :

• Augmented Reality (AR) : L'AR superpose généralement des informations numériques sur un flux de caméra (comme un filtre de smartphone) sans interaction spatiale profonde. La RM va plus loin en veillant à ce que les objets numériques interagissent physiquement avec le monde réel (par exemple, une balle numérique rebondissant sur une vraie table).
• Virtual Reality (VR) : La VR crée un environnement complètement synthétique, bloquant entièrement le monde physique. La RM maintient l'utilisateur présent dans son environnement physique tout en l'améliorant.

Appliquer la vision par ordinateur pour la MR#

Pour construire un composant de base d'un système de RM, tel que la détection de surfaces ou d'objets pour ancrer du contenu numérique, les développeurs utilisent souvent des modèles de détection à haute vitesse. Le modèle Ultralytics YOLO26 est particulièrement bien adapté à cet usage en raison de sa faible latence et de sa haute précision, qui sont essentielles pour maintenir l'illusion de la réalité.

L'exemple suivant démontre comment effectuer une instance segmentation sur un flux vidéo. Dans un contexte de RM, ce masque au niveau du pixel pourrait définir la zone « praticable » pour un personnage numérique.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Avenir de la réalité fusionnée#

À mesure que le matériel devient plus léger et que les capacités d'edge computing s'améliorent, la RM devrait devenir omniprésente. L'intégration de l'generative AI permettra probablement aux environnements de RM de se peupler dynamiquement, créant automatiquement des digital twins d'espaces du monde réel. Avec des outils comme Ultralytics Platform, les développeurs peuvent facilement entraîner des modèles personnalisés pour reconnaître des objets spécifiques au sein de ces environnements fusionnés, repoussant les limites de notre façon d'interagir avec l'information en espace tridimensionnel.