Merged Reality

La realidad combinada (MR), también conocida ampliamente como realidad mixta, describe la convergencia del mundo físico con contenido digital generado por ordenador. A diferencia de los entornos estrictamente virtuales o aumentados, la realidad combinada crea un espacio fluido en el que los objetos físicos y digitales coexisten e interactúan en tiempo real. Esta tecnología depende en gran medida de la visión por ordenador avanzada y de la computación espacial para cartografiar con precisión el entorno real, lo que permite anclar artefactos digitales a superficies físicas y hacer que respondan a cambios físicos. Al aprovechar sensores, cámaras y algoritmos de aprendizaje profundo, los sistemas de MR pueden comprender la profundidad, la geometría y la iluminación, creando experiencias inmersivas que parecen tangibles y están arraigadas en el entorno real del usuario.

Relevancia en IA y aprendizaje automático#

La evolución de la realidad combinada está intrínsecamente vinculada a los avances en inteligencia artificial. Para combinar correctamente los mundos digital y físico, un sistema debe tener una comprensión sofisticada del entorno. Aquí es donde las tareas de percepción visual se vuelven fundamentales. Técnicas como la detección de objetos permiten al sistema reconocer muebles o personas, mientras que SLAM (localización y mapeo simultáneos) permite al dispositivo seguir su propia posición con respecto a esos objetos.

Las aplicaciones modernas de MR utilizan modelos de aprendizaje profundo para procesar al instante datos sensoriales complejos. Por ejemplo, la estimación de la pose se utiliza para seguir los movimientos de las manos y controlar gestos, eliminando la necesidad de controladores físicos. Además, la segmentación semántica ayuda al sistema a distinguir entre un suelo, una pared y una mesa, garantizando que un personaje digital camine por el suelo en lugar de atravesar una mesa flotando.

Aplicaciones en el mundo real#

La realidad combinada está transformando las industrias al mejorar la productividad y la formación mediante simulaciones inmersivas.

• Mantenimiento y formación industriales: En la fabricación, los técnicos llevan gafas de MR que superponen esquemas digitales sobre la maquinaria física. Si un trabajador mira una pieza concreta de un motor, el sistema utiliza la inferencia en tiempo real para identificar el componente y mostrar instrucciones de reparación o especificaciones de par directamente sobre la pieza. Esta orientación manos libres reduce los errores y acelera las tareas complejas.
• Cirugía y planificación médica: Los cirujanos utilizan MR para superponer escáneres de imágenes médicas en 3D, como datos de MRI o CT, directamente sobre el cuerpo del paciente durante las operaciones. Esto permite visualizar con precisión la anatomía interna sin realizar grandes incisiones. Al integrar modelos de segmentación, el sistema puede resaltar órganos o tumores concretos en tiempo real, lo que facilita la navegación y mejora los resultados quirúrgicos.

Diferenciación de términos clave#

Es importante distinguir la realidad combinada de los conceptos relacionados del espectro de la «XR (realidad extendida)»:

• Realidad aumentada (AR): La AR suele superponer información digital sobre la imagen de una cámara, como un filtro de smartphone, sin una interacción espacial profunda. La MR va más allá al garantizar que los objetos digitales interactúen físicamente con el mundo real; por ejemplo, una pelota digital rebota contra una mesa real.
• Realidad virtual (VR): La VR crea un entorno completamente sintético que bloquea por completo el mundo físico. La MR mantiene al usuario presente en su entorno físico mientras lo mejora.

Aplicación de la visión por ordenador a la MR#

Para crear un componente básico de un sistema de MR, como detectar superficies u objetos a los que anclar contenido digital, los desarrolladores suelen utilizar modelos de detección de alta velocidad. El modelo Ultralytics YOLO26 es especialmente adecuado para ello gracias a su baja latencia y alta precisión, aspectos esenciales para mantener la ilusión de realidad.

El siguiente ejemplo muestra cómo realizar segmentación de instancias en un flujo de vídeo. En un contexto de MR, esta máscara a nivel de píxel podría definir la zona «transitable» para un personaje digital.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

El futuro de la realidad combinada#

A medida que el hardware se vuelve más ligero y mejoran las capacidades de computación en el borde, se espera que la MR se vuelva omnipresente. La integración de la IA generativa probablemente permitirá que los entornos de MR se pueblen dinámicamente y creen automáticamente gemelos digitales de espacios del mundo real. Con herramientas como la Ultralytics Platform, los desarrolladores pueden entrenar fácilmente modelos personalizados para reconocer objetos concretos dentro de estos entornos combinados, ampliando los límites de nuestra forma de interactuar con la información en el espacio tridimensional.