Merged Reality

Merged Reality (MR), auch weithin bekannt als Mixed Reality, beschreibt die Konvergenz der physischen Welt mit computergenerierten digitalen Inhalten. Im Gegensatz zu rein virtuellen oder erweiterten Umgebungen schafft Merged Reality einen nahtlosen Raum, in dem physische und digitale Objekte koexistieren und in Echtzeit interagieren. Diese Technologie stützt sich in hohem Maße auf fortschrittliche Computer Vision und Spatial Computing, um die reale Umgebung genau abzubilden, sodass digitale Artefakte an physischen Oberflächen verankert werden können und auf physische Veränderungen reagieren. Durch den Einsatz von Sensoren, Kameras und Deep-Learning-Algorithmen können MR-Systeme Tiefe, Geometrie und Beleuchtung erfassen und so immersive Erlebnisse schaffen, die sich greifbar anfühlen und in der tatsächlichen Umgebung des Benutzers verankert sind .

Relevanz in KI und Machine Learning

Die Entwicklung der verschmolzenen Realität ist untrennbar mit den Fortschritten in der künstlichen Intelligenz verbunden. Um die digitale und die physische Welt erfolgreich zu verschmelzen, muss ein System über ein ausgeprägtes Verständnis der Umgebung verfügen. Hier kommen visuelle Wahrnehmungsaufgaben ins Spiel. Techniken wie die Objekterkennung ermöglichen es dem System, Möbel oder Personen zu erkennen, während SLAM (Simultaneous Localization and Mapping) es dem Gerät ermöglicht, track eigene Position relativ zu diesen Objekten zu track .

Moderne MR-Anwendungen nutzen Deep-Learning-Modelle, um komplexe sensorische Daten sofort zu verarbeiten. Beispielsweise wird die Posenschätzung verwendet, um track für die Gestensteuerung track , wodurch physische Controller überflüssig werden. Darüber hinaus hilft die semantische Segmentierung dem System, zwischen einem Boden, einer Wand und einem Tisch zu unterscheiden, sodass ein digitales Charakter auf dem Boden läuft und nicht durch einen Tisch schwebt.

Anwendungsfälle in der Praxis

Die verschmolzene Realität verändert Branchen, indem sie die Produktivität und Ausbildung durch immersive Simulationen verbessert.

• Industrielle Wartung und Schulung: In der Fertigung tragen Techniker MR-Headsets, die digitale Schaltpläne auf physische Maschinen projizieren. Wenn ein Arbeiter ein bestimmtes Motorteil betrachtet, identifiziert das System dieses Teil mithilfe von Echtzeit-Inferenz und zeigt Reparaturanweisungen oder Drehmomentspezifikationen direkt auf dem Teil an. Diese freihändige Anleitung reduziert Fehler und beschleunigt komplexe Aufgaben.
• Medizinische Chirurgie und Planung: Chirurgen nutzen MR, um 3D- medizinische Bildgebungsscans (wie MRT- oder CT-Daten ) während Operationen direkt auf den Körper des Patienten zu projizieren. Dies ermöglicht eine präzise Visualisierung der inneren Anatomie ohne große Schnitte. Durch die Integration von Segmentierungsmodellen kann das System bestimmte Organe oder Tumore in Echtzeit hervorheben, was die Navigation erleichtert und die Operationsergebnisse verbessert.

Differenzierte Schlüsselbegriffe

Es ist wichtig, Merged Reality von verwandten Konzepten im „XR”-Spektrum (Extended Reality) zu unterscheiden:

• Augmented Reality (AR): AR überlagert in der Regel digitale Informationen auf ein Kamerabild (wie ein Smartphone-Filter), ohne dass eine tiefgreifende räumliche Interaktion stattfindet. MR geht noch einen Schritt weiter, indem es sicherstellt, dass digitale Objekte physisch mit der realen Welt interagieren (z. B. ein digitaler Ball, der von einem echten Tisch abprallt).
• Virtual Reality (VR): VR schafft eine vollständig synthetische Umgebung und blendet die physische Welt vollständig aus. MR hält den Nutzer in seiner physischen Umgebung und erweitert diese.

Anwendung von Computer Vision für MR

Um eine grundlegende Komponente eines MR-Systems zu entwickeln, wie beispielsweise die Erkennung von Oberflächen oder Objekten zur Verankerung digitaler Inhalte, verwenden Entwickler häufig Hochgeschwindigkeitserkennungsmodelle. Das Ultralytics eignet sich hierfür besonders gut, da es eine geringe Latenz und hohe Genauigkeit aufweist, was für die Aufrechterhaltung der Illusion der Realität unerlässlich ist.

Das folgende Beispiel zeigt, wie eine Instanzsegmentierung in einem Videostream durchgeführt wird. In einem MR-Kontext könnte diese Maske auf Pixelebene den „begehbaren“ Bereich für eine digitale Figur definieren.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Die Zukunft der verschmolzenen Realität

Da die Hardware immer leichter wird und die Edge-Computing-Fähigkeiten immer besser werden, wird erwartet, dass MR allgegenwärtig wird. Die Integration von generativer KI wird es MR-Umgebungen wahrscheinlich ermöglichen, sich dynamisch zu bevölkern und automatisch digitale Zwillinge von real existierenden Räumen zu erstellen. Mit Tools wie der Ultralytics können Entwickler auf einfache Weise benutzerdefinierte Modelle trainieren, um bestimmte Objekte innerhalb dieser zusammengeführten Umgebungen zu erkennen, wodurch die Grenzen unserer Interaktion mit Informationen im dreidimensionalen Raum erweitert werden.