Merged Reality

Merged Reality (MR), auch weithin als Mixed Reality bekannt, beschreibt die Verschmelzung der physischen Welt mit computergenerierten digitalen Inhalten. Im Gegensatz zu rein virtuellen oder augmentierten Umgebungen schafft Merged Reality einen nahtlosen Raum, in dem physische und digitale Objekte in Echtzeit koexistieren und interagieren. Diese Technologie stützt sich stark auf fortschrittliche computer vision und Spatial Computing, um die reale Umgebung präzise abzubilden, wodurch digitale Artefakte an physischen Oberflächen verankert werden und auf physische Veränderungen reagieren können. Durch die Nutzung von Sensoren, Kameras und Deep-Learning-Algorithmen können MR-Systeme Tiefe, Geometrie und Beleuchtung verstehen und immersive Erlebnisse schaffen, die sich greifbar anfühlen und in der tatsächlichen Umgebung des Nutzers verankert sind.

Link to this sectionBedeutung für KI und Machine Learning#

Die Entwicklung von Merged Reality ist untrennbar mit den Fortschritten der künstlichen Intelligenz verbunden. Um digitale und physische Welten erfolgreich zu verschmelzen, muss ein System ein tiefgreifendes Verständnis der Umgebung besitzen. Hier werden visual perception tasks entscheidend. Techniken wie object detection erlauben es dem System, Möbel oder Menschen zu erkennen, während SLAM (Simultaneous Localization and Mapping) es dem Gerät ermöglicht, seine eigene Position relativ zu diesen Objekten zu verfolgen.

Moderne MR-Anwendungen nutzen deep learning models, um komplexe Sensordaten sofort zu verarbeiten. Zum Beispiel wird pose estimation verwendet, um Handbewegungen für die Gestensteuerung zu verfolgen, wodurch physische Controller überflüssig werden. Darüber hinaus hilft semantic segmentation dem System, zwischen einem Boden, einer Wand und einem Tisch zu unterscheiden, was sicherstellt, dass eine digitale Figur auf dem Boden läuft, anstatt durch einen Tisch zu schweben.

Link to this sectionPraxisanwendungen#

Merged Reality verändert Branchen, indem es Produktivität und Training durch immersive Simulationen verbessert.

• Industrielle Wartung und Training: In der manufacturing tragen Techniker MR-Headsets, die digitale Schaltpläne über physische Maschinen legen. Wenn ein Arbeiter ein bestimmtes Motorteil betrachtet, nutzt das System real-time inference, um die Komponente zu identifizieren und Reparaturanweisungen oder Drehmomentspezifikationen direkt auf dem Teil anzuzeigen. Diese freihändige Führung reduziert Fehler und beschleunigt komplexe Aufgaben.
• Medizinische Chirurgie und Planung: Chirurgen nutzen MR, um während Operationen 3D-medical imaging-Scans (wie MRT- oder CT-Daten) direkt auf den Körper eines Patienten zu legen. Dies ermöglicht eine präzise Visualisierung der inneren Anatomie, ohne große Schnitte vornehmen zu müssen. Durch die Integration von segmentation models kann das System spezifische Organe oder Tumore in Echtzeit hervorheben, was bei der Navigation hilft und die chirurgischen Ergebnisse verbessert.

Link to this sectionUnterscheidung der wichtigsten Begriffe#

Es ist wichtig, Merged Reality von verwandten Konzepten im "XR" (Extended Reality)-Spektrum zu unterscheiden:

• Augmented Reality (AR): AR legt normalerweise digitale Informationen über einen Kamera-Feed (wie einen Smartphone-Filter), ohne tiefe räumliche Interaktion. MR geht weiter, indem es sicherstellt, dass digitale Objekte physisch mit der realen Welt interagieren (z. B. ein digitaler Ball, der von einem echten Tisch abprallt).
• Virtual Reality (VR): VR schafft eine komplett synthetische Umgebung und blendet die physische Welt vollständig aus. MR lässt den Nutzer in seiner physischen Umgebung präsent und erweitert diese gleichzeitig.

Link to this sectionComputer Vision für MR anwenden#

Um eine grundlegende Komponente eines MR-Systems zu bauen, wie etwa das Erkennen von Oberflächen oder Objekten, um digitale Inhalte zu verankern, nutzen Entwickler häufig Hochgeschwindigkeits-Erkennungsmodelle. Das Ultralytics YOLO26-Modell ist aufgrund seiner geringen Latenz und hohen Genauigkeit, die für die Aufrechterhaltung der Illusion der Realität wesentlich sind, besonders gut dafür geeignet.

Das folgende Beispiel demonstriert, wie man eine instance segmentation auf einem Videostream durchführt. Im MR-Kontext könnte diese Maske auf Pixelebene den "begehbaren" Bereich für eine digitale Figur definieren.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Link to this sectionZukunft der Merged Reality#

Da die Hardware leichter wird und die Fähigkeiten des edge computing sich verbessern, wird erwartet, dass MR allgegenwärtig wird. Die Integration von generative AI wird es MR-Umgebungen wahrscheinlich ermöglichen, sich dynamisch selbst zu bevölkern und automatisch digital twins realer Räume zu erstellen. Mit Tools wie der Ultralytics Platform können Entwickler einfach benutzerdefinierte Modelle trainieren, um spezifische Objekte innerhalb dieser verschmolzenen Umgebungen zu erkennen, und so die Grenzen dessen verschieben, wie wir im dreidimensionalen Raum mit Informationen interagieren.