Merged Reality

La réalité fusionnée est un synonyme de réalité mixte (MR) : une expérience où des objets virtuels apparaissent dans l'environnement réel de l'utilisateur et interagissent avec lui, en reposant sur de vraies tables, en disparaissant derrière de vraies personnes et en rebondissant sur de vrais murs. Intel a introduit ce nom en 2016 avec Project Alloy, un prototype de casque autonome dont les caméras de profondeur RealSense intégraient les mains et la pièce de l'utilisateur dans des expériences virtuelles. L'idée sous-jacente est plus ancienne : la taxonomie des affichages de réalité mixte de Paul Milgram et Fumio Kishino, publiée en 1994, plaçait les environnements réels et virtuels aux deux extrémités d'un continuum réalité-virtualité et appelait réalité mixte tout ce qui se trouvait entre les deux. Ce qui distingue la réalité fusionnée d'une simple superposition, c'est la compréhension de l'environnement ; elle dépend donc de la vision par ordinateur et de l'informatique spatiale pour localiser chaque surface et chaque personne.

Réalité fusionnée, réalité augmentée et réalité virtuelle#

• La réalité augmentée (AR) ajoute du contenu numérique à une vue du monde réel, des étiquettes textuelles sur l'écran d'un téléphone aux modèles 3D dans des lunettes. La réalité mixte est une réalité augmentée dont le contenu est aligné sur la scène réelle et interagit avec elle ; dans la pratique, les deux termes se recoupent largement.
• La réalité virtuelle (VR) remplace entièrement le monde réel. La virtualité augmentée, vers laquelle tendait Project Alloy sur le continuum, part d'un monde virtuel et y intègre des éléments réels, comme les mains de l'utilisateur.
• La réalité étendue (XR) est le terme générique qui englobe la réalité augmentée, la réalité mixte et la réalité virtuelle.

Les casques accèdent au monde réel de deux façons. Les appareils à vision optique transparente, comme Microsoft HoloLens 2, ajoutent de la lumière à la vision directe de l'utilisateur grâce à des écrans transparents ; les objets virtuels ne peuvent donc pas être plus sombres que ce qui se trouve derrière eux. Les appareils à transmission vidéo, comme Meta Quest 3 et Apple Vision Pro, filment la pièce avec des caméras orientées vers l'extérieur et affichent le résultat composite sur des écrans opaques. Les objets réels peuvent ainsi masquer complètement les objets virtuels, au prix d'une latence des caméras.

Fonctionnement de la réalité fusionnée#

Chaque image affichée, à raison de 72 à 120 images par seconde sur les casques actuels, combine la pose de l'appareil, un modèle de la scène et du contenu virtuel rendu ; les modèles de perception doivent donc effectuer une inférence en temps réel sur les propres processeurs d'IA en périphérie du casque. La localisation et cartographie simultanées visuelles (Visual SLAM) suit le casque, les capteurs de profondeur ou l'estimation de profondeur mesurent la distance à chaque surface réelle pour une reconstruction 3D de la pièce, la segmentation sémantique identifie les sols, les murs et les tables, la détection d'objets repère les meubles et les personnes, et l'estimation de pose suit les points clés des mains pour détecter les gestes. L'occultation est le problème que les utilisateurs remarquent le plus lorsqu'elle échoue : un objet virtuel qui flotte devant une personne plus proche de la caméra brise immédiatement l'illusion. Depuis 2019, ARKit d'Apple segmente les personnes pour gérer l'occultation.

Les masques de segmentation offrent une version simple de ce test d'occultation. Cet exemple utilise un modèle Ultralytics de segmentation d'instances YOLO26 pour repérer les personnes sur une photo de rue et conserver leurs pixels au premier plan d'un panneau virtuel placé entre elles et le bus :

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
camera = result.orig_img

# Rendre un objet virtuel : un panneau vert placé entre les personnes et le bus
virtual = camera.copy()
cv2.rectangle(virtual, (50, 450), (760, 650), (0, 200, 0), thickness=-1)

# Les personnes sont plus proches de la caméra que le panneau ; leurs pixels doivent donc le masquer
occluder = np.zeros(camera.shape[:2], np.uint8)
for cls, polygon in zip(result.boxes.cls, result.masks.xy):
    if result.names[int(cls)] == "person":
        cv2.fillPoly(occluder, [polygon.astype(np.int32)], 255)

merged = np.where(occluder[..., None] > 0, camera, virtual)
cv2.imwrite("merged_reality.jpg", merged)

Dans l’image enregistrée, le panneau recouvre le bus mais passe derrière chaque piéton détecté, car les pixels de la caméra priment partout où se trouve le masque d’une personne. Les systèmes de production prennent la même décision pour chaque pixel à l’aide de la profondeur métrique, qui gère aussi les tables, les murs et les autres surfaces absentes de toute liste de classes.

Applications concrètes#

• Formation et maintenance industrielles : les techniciens voient des instructions étape par étape, des valeurs de couple et les annotations d'un expert à distance ancrées sur la machine devant eux. Les stagiaires s'exercent aussi sur des équipements virtuels placés dans un véritable atelier.
• Conception et architecture : les équipes examinent des intérieurs de voitures virtuels à l'échelle réelle ou des modèles de bâtiments dans une vraie pièce, en se déplaçant autour d'eux et en les comparant à des pièces physiques.
• Jeux vidéo : les jeux en réalité mixte sur Quest 3 cartographient la pièce du joueur afin que des personnages virtuels sortent de vrais murs et que des ballons rebondissent sur de vrais meubles.
• Chirurgie : le système xvision Spine d'Augmedics, autorisé par l'Agence américaine des produits alimentaires et médicamenteux en 2019, superpose l'anatomie d'un patient reconstruite à partir d'un scanner et la trajectoire prévue de la vis dans le casque du chirurgien pendant les interventions sur la colonne vertébrale.