Merged Reality

Merged Reality ist ein Synonym für Mixed Reality (MR): ein Erlebnis, bei dem virtuelle Objekte in der realen Umgebung des Nutzers erscheinen und mit ihr interagieren – sie liegen auf echten Tischen, verschwinden hinter realen Personen und prallen von echten Wänden ab. Intel führte den Begriff 2016 mit Project Alloy ein, einem Prototyp eines kabellosen Headsets, dessen RealSense-Tiefenkameras die Hände und den Raum des Nutzers in virtuelle Erlebnisse einbezogen. Die Grundidee ist älter: In ihrer Taxonomie von Mixed-Reality-Anzeigen aus dem Jahr 1994 ordneten Paul Milgram und Fumio Kishino reale und virtuelle Umgebungen an den beiden Enden eines Realität-Virtualität-Kontinuums an und bezeichneten alles dazwischen als Mixed Reality. Was Merged Reality von einer einfachen Überlagerung unterscheidet, ist das Verständnis der Umgebung. Dafür sind Computer Vision und räumliches Computing nötig, um den Standort jeder Oberfläche und Person zu erfassen.

Merged Reality im Vergleich zu AR und VR#

• Erweiterte Realität (AR ergänzt eine Ansicht der realen Welt um digitale Inhalte – von Textbeschriftungen auf einem Smartphone-Bildschirm bis hin zu 3D-Modellen in einer Brille. Mixed Reality ist AR, deren Inhalte auf die reale Szene ausgerichtet sind und mit ihr interagieren. In der Praxis überschneiden sich die beiden Begriffe stark.
• Virtuelle Realität (VR) ersetzt die reale Welt vollständig. Erweiterte Virtualität, auf die Project Alloy auf der anderen Seite des Kontinuums ausgerichtet war, geht von einer virtuellen Welt aus und bezieht reale Elemente wie die Hände des Nutzers mit ein.
• Erweiterte Realität (XR) ist der Oberbegriff für AR, MR und VR.

Headsets stellen die reale Welt auf eine von zwei Arten dar. Geräte mit optischem Durchblick wie Microsoft HoloLens 2 ergänzen die direkte Sicht des Nutzers durch transparente Displays um Licht. Virtuelle Objekte können daher nicht dunkler sein als das, was sich dahinter befindet. Geräte mit Video-Durchsicht wie Meta Quest 3 und Apple Vision Pro filmen den Raum mit nach außen gerichteten Kameras und zeigen das zusammengesetzte Bild auf undurchsichtigen Displays. So können reale Objekte virtuelle vollständig verdecken, allerdings mit der Verzögerung der Kamera.

So funktioniert Merged Reality#

Jedes angezeigte Bild – bei aktuellen Headsets 72 bis 120 Bilder pro Sekunde – kombiniert die Pose des Geräts, ein Modell der Szene und gerenderte virtuelle Inhalte. Deshalb benötigen die Wahrnehmungsmodelle Echtzeit-Inferenz auf den eigenen Edge-AI-Prozessoren des Headsets. Visuelles SLAM verfolgt das Headset. Tiefensensoren oder Tiefenschätzung messen den Abstand zu jeder realen Oberfläche und ermöglichen eine 3D-Rekonstruktion des Raums. Die semantische Segmentierung kennzeichnet Böden, Wände und Tische. Die Objekterkennung findet Möbel und Personen. Die Posenschätzung verfolgt Schlüsselpunkte der Hände für Gesten. Nutzer bemerken Verdeckungen besonders dann, wenn sie nicht funktionieren: Ein virtuelles Objekt, das vor einer Person schwebt, die näher an der Kamera steht, zerstört sofort die Illusion. Apples ARKit segmentiert Personen seit 2019, um sie korrekt zu verdecken.

Segmentierungsmasken bieten eine einfache Möglichkeit, solche Verdeckungen zu prüfen. In diesem Beispiel verwendet ein Ultralytics-YOLO26-Modell zur Instanzsegmentierung ein Straßenfoto, um Personen zu finden. Ihre Pixel bleiben vor einer virtuellen Fläche, die zwischen ihnen und dem Bus platziert ist:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
camera = result.orig_img

# Ein virtuelles Objekt rendern: eine grüne Fläche zwischen den Personen und dem Bus
virtual = camera.copy()
cv2.rectangle(virtual, (50, 450), (760, 650), (0, 200, 0), thickness=-1)

# Die Personen sind näher an der Kamera als die Fläche. Ihre Pixel müssen sie daher verdecken.
occluder = np.zeros(camera.shape[:2], np.uint8)
for cls, polygon in zip(result.boxes.cls, result.masks.xy):
    if result.names[int(cls)] == "person":
        cv2.fillPoly(occluder, [polygon.astype(np.int32)], 255)

merged = np.where(occluder[..., None] > 0, camera, virtual)
cv2.imwrite("merged_reality.jpg", merged)

Auf dem gespeicherten Bild verdeckt das Panel den Bus, verläuft aber hinter allen erkannten Fußgängern, weil die Kamerapixel überall dort Vorrang haben, wo sich eine Personenmaske befindet. Produktionssysteme treffen dieselbe Entscheidung für jedes Pixel anhand der metrischen Tiefe. Damit lassen sich auch Tische, Wände und andere Oberflächen berücksichtigen, die keine Klassenliste abdeckt.

Anwendungen in der Praxis#

• Industrielle Schulung und Wartung: Techniker sehen Schritt-für-Schritt-Anleitungen, Drehmomentwerte und die Anmerkungen eines zugeschalteten Experten, die an der Maschine vor ihnen verankert sind. Auszubildende können Abläufe an virtuellen Geräten in einer realen Werkstatt üben.
• Design und Architektur: Teams begutachten virtuelle Modelle von Fahrzeuginnenräumen oder Gebäuden in Originalgröße in einem realen Raum. Sie gehen um die Modelle herum und vergleichen sie mit physischen Teilen.
• Gaming: Mixed-Reality-Spiele auf Quest 3 erfassen den Raum des Spielers, sodass virtuelle Figuren aus echten Wänden klettern und Bälle von realen Möbeln abprallen.
• Chirurgie: Das xvision Spine System von Augmedics, das 2019 von der US-amerikanischen Arzneimittelbehörde FDA zugelassen wurde, blendet bei Wirbelsäuleneingriffen die CT-basierte Anatomie des Patienten und die geplante Schraubenbahn in das Headset des Chirurgen ein.