Merged Reality

La realidad fusionada es sinónimo de realidad mixta (MR): una experiencia en la que los objetos virtuales aparecen en el entorno real del usuario e interactúan con él: se apoyan en mesas reales, desaparecen detrás de personas reales y rebotan contra paredes reales. Intel introdujo el término en 2016 con Project Alloy, un prototipo de visor sin cables cuyas cámaras de profundidad RealSense incorporaban las manos y la habitación del usuario a experiencias virtuales. La idea de fondo es anterior: la taxonomía de pantallas de realidad mixta de Paul Milgram y Fumio Kishino, de 1994, situó los entornos reales y virtuales en los extremos de un continuo de realidad-virtualidad y denominó realidad mixta a todo lo que queda entre ambos. Lo que diferencia la realidad fusionada de una simple superposición es la comprensión del entorno, por lo que depende de la visión artificial por ordenador y la computación espacial para saber dónde se encuentra cada superficie y cada persona.

Realidad fusionada, RA y RV#

• La realidad aumentada (AR) añade contenido digital a una vista del mundo real, desde etiquetas de texto en la pantalla de un teléfono hasta modelos 3D en unas gafas. La realidad mixta es una realidad aumentada cuyo contenido está alineado con la escena real e interactúa con ella; en la práctica, ambos términos se solapan mucho.
• La realidad virtual (VR) sustituye por completo el mundo real. La virtualidad aumentada, que es el extremo del continuo al que se dirigía Project Alloy, parte de un mundo virtual e incorpora elementos reales, como las manos del usuario.
• La realidad extendida (XR) es el término general que engloba la AR, la MR y la VR.

Los visores se conectan con el mundo real de dos formas. Los dispositivos de visión óptica directa, como Microsoft HoloLens 2, añaden luz a la visión directa del usuario mediante pantallas transparentes, por lo que los objetos virtuales no pueden ser más oscuros que lo que hay detrás. Los dispositivos con retransmisión de vídeo, como Meta Quest 3 y Apple Vision Pro, filman la habitación con cámaras orientadas hacia fuera y muestran la imagen compuesta en pantallas opacas; así, los objetos reales pueden ocultar por completo los virtuales, a costa de la latencia de la cámara.

Cómo funciona la realidad fusionada#

Cada fotograma mostrado —de 72 a 120 fotogramas por segundo en los visores actuales— combina la pose del dispositivo, un modelo de la escena y el contenido virtual renderizado, por lo que los modelos de percepción necesitan inferencia en tiempo real en los propios procesadores de IA perimetral del visor. La localización y cartografiado simultáneos visuales (Visual SLAM) realiza el seguimiento del visor; los sensores de profundidad o la estimación de profundidad miden la distancia a cada superficie real para crear una reconstrucción 3D de la habitación; la segmentación semántica etiqueta suelos, paredes y mesas; la detección de objetos localiza muebles y personas; y la estimación de pose sigue los puntos clave de las manos para reconocer gestos. La oclusión es el fallo que más nota el usuario: un objeto virtual que flota delante de una persona situada más cerca de la cámara rompe la ilusión al instante, y ARKit de Apple segmenta a las personas para aplicar la oclusión desde 2019.

Las máscaras de segmentación permiten implementar una versión sencilla de esa prueba de oclusión. Este ejemplo utiliza un modelo Ultralytics YOLO26 de segmentación de instancias para encontrar personas en una foto de una calle y mantener sus píxeles por delante de un panel virtual situado entre ellas y el autobús:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
camera = result.orig_img

# Renderiza un objeto virtual: un panel verde situado entre las personas y el autobús
virtual = camera.copy()
cv2.rectangle(virtual, (50, 450), (760, 650), (0, 200, 0), thickness=-1)

# Las personas están más cerca de la cámara que el panel, así que sus píxeles deben ocultarlo
occluder = np.zeros(camera.shape[:2], np.uint8)
for cls, polygon in zip(result.boxes.cls, result.masks.xy):
    if result.names[int(cls)] == "person":
        cv2.fillPoly(occluder, [polygon.astype(np.int32)], 255)

merged = np.where(occluder[..., None] > 0, camera, virtual)
cv2.imwrite("merged_reality.jpg", merged)

En la imagen guardada, el panel cubre el autobús, pero queda detrás de cada peatón detectado, porque los píxeles de la cámara prevalecen allí donde aparece la máscara de una persona. Los sistemas de producción toman la misma decisión por píxel mediante la profundidad métrica, que también permite tratar mesas, paredes y otras superficies que no están incluidas en ninguna lista de clases.

Aplicaciones en el mundo real#

• Formación y mantenimiento industrial: Los técnicos ven instrucciones paso a paso, valores de par y anotaciones de un experto remoto ancladas a la máquina que tienen delante; los alumnos practican procedimientos con equipos virtuales situados en un taller real.
• Diseño y arquitectura: Los equipos revisan interiores de coches virtuales o modelos de edificios a escala real en una habitación real, los recorren y los comparan con piezas físicas.
• Videojuegos: Los juegos de realidad mixta para Quest 3 escanean la habitación del jugador para que los personajes virtuales salgan de las paredes reales y las pelotas reboten contra los muebles reales.
• Cirugía: El sistema xvision Spine de Augmedics, autorizado por la Administración de Alimentos y Medicamentos de Estados Unidos en 2019, superpone en el visor del cirujano la anatomía del paciente basada en una TC y la trayectoria planificada del tornillo durante las intervenciones de columna.