Merged Reality

Vermischte Realität (MR), auch weithin als Mixed Reality bekannt, beschreibt die Verbindung der physischen Welt mit computergenerierten digitalen Inhalten. Anders als rein virtuelle oder erweiterte Umgebungen schafft vermischte Realität einen nahtlosen Raum, in dem physische und digitale Objekte in Echtzeit koexistieren und interagieren. Diese Technologie stützt sich stark auf fortschrittliche Computer Vision und räumliche Datenverarbeitung, um die reale Umgebung präzise zu erfassen. Dadurch können digitale Elemente an physischen Oberflächen verankert werden und auf physische Veränderungen reagieren. Mithilfe von Sensoren, Kameras und Deep-Learning-Algorithmen können MR-Systeme Tiefe, Geometrie und Beleuchtung verstehen und immersive Erlebnisse schaffen, die greifbar wirken und fest in der tatsächlichen Umgebung des Benutzers verankert sind.

Bedeutung für KI und maschinelles Lernen#

Die Entwicklung der vermischten Realität ist untrennbar mit Fortschritten in der künstlichen Intelligenz verbunden. Um digitale und physische Welten erfolgreich zu verbinden, muss ein System die Umgebung auf anspruchsvolle Weise verstehen. Hier werden Aufgaben der visuellen Wahrnehmung entscheidend. Techniken wie die Objekterkennung ermöglichen es dem System, Möbel oder Personen zu erkennen, während SLAM (simultane Lokalisierung und Kartierung) dem Gerät ermöglicht, seine eigene Position relativ zu diesen Objekten zu verfolgen.

Moderne MR-Anwendungen nutzen Deep-Learning-Modelle, um komplexe Sensordaten sofort zu verarbeiten. Beispielsweise wird die Posenschätzung verwendet, um Handbewegungen für die Gestensteuerung zu verfolgen, sodass physische Controller überflüssig werden. Darüber hinaus hilft die semantische Segmentierung dem System, zwischen einem Boden, einer Wand und einem Tisch zu unterscheiden. So kann eine digitale Figur auf dem Boden laufen, anstatt durch einen Tisch zu schweben.

Anwendungen in der Praxis#

Vermischte Realität verändert Branchen, indem sie die Produktivität und Schulungen durch immersive Simulationen steigert.

• Industrielle Wartung und Schulung: In der Fertigung tragen Techniker MR-Headsets, die digitale Schaltpläne über die physischen Maschinen legen. Wenn ein Mitarbeiter ein bestimmtes Motorteil betrachtet, nutzt das System Inferenz in Echtzeit, um die Komponente zu identifizieren und Reparaturanweisungen oder Drehmomentspezifikationen direkt auf dem Teil anzuzeigen. Diese freihändige Anleitung reduziert Fehler und beschleunigt komplexe Aufgaben.
• Medizinische Chirurgie und Operationsplanung: Chirurgen nutzen MR, um während Operationen dreidimensionale medizinische Bildgebungsdaten wie MRT- oder CT-Daten direkt auf den Körper des Patienten zu projizieren. Dadurch lässt sich die innere Anatomie präzise darstellen, ohne große Einschnitte vornehmen zu müssen. Durch die Integration von Segmentierungsmodellen kann das System bestimmte Organe oder Tumoren in Echtzeit hervorheben, die Navigation unterstützen und die Operationsergebnisse verbessern.

Wichtige Begriffe im Vergleich#

Es ist wichtig, die vermischte Realität von verwandten Konzepten im Spektrum der „erweiterten Realität“ (XR) zu unterscheiden:

• Erweiterte Realität (AR): AR legt typischerweise digitale Informationen über ein Kamerabild, etwa bei einem Smartphone-Filter, ohne tiefgreifende räumliche Interaktion. MR geht weiter, indem digitale Objekte physisch mit der realen Welt interagieren, beispielsweise wenn ein digitaler Ball von einem echten Tisch abprallt.
• Virtuelle Realität (VR): VR erzeugt eine vollständig synthetische Umgebung und blendet die physische Welt vollständig aus. MR lässt den Benutzer in seiner physischen Umgebung präsent, während diese erweitert wird.

Computer Vision für MR einsetzen#

Um eine grundlegende Komponente eines MR-Systems zu entwickeln, beispielsweise zur Erkennung von Oberflächen oder Objekten, an denen digitale Inhalte verankert werden, verwenden Entwickler häufig besonders schnelle Erkennungsmodelle. Das Ultralytics YOLO26-Modell eignet sich dafür besonders gut, da seine geringe Latenz und hohe Genauigkeit entscheidend dafür sind, die Illusion der Realität aufrechtzuerhalten.

Das folgende Beispiel zeigt, wie eine Instanzsegmentierung auf einem Videostream durchgeführt wird. Im Kontext von MR könnte diese pixelgenaue Maske den „begehbaren“ Bereich für eine digitale Figur festlegen.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Die Zukunft der vermischten Realität#

Da die Hardware leichter wird und sich die Möglichkeiten des Edge Computing verbessern, wird MR voraussichtlich allgegenwärtig werden. Die Integration von generativer KI wird MR-Umgebungen wahrscheinlich ermöglichen, sich dynamisch selbst zu bevölkern und automatisch digitale Zwillinge realer Räume zu erstellen. Mit Tools wie der Ultralytics Platform können Entwickler problemlos benutzerdefinierte Modelle trainieren, um bestimmte Objekte in diesen vermischten Umgebungen zu erkennen. Dadurch erweitern sie die Grenzen dessen, wie wir in dreidimensionalen Räumen mit Informationen interagieren.