Merged Reality

La realidad fusionada (MR, por sus siglas en inglés), también conocida ampliamente como realidad mixta, describe la convergencia del mundo físico con contenido digital generado por ordenador. A diferencia de los entornos estrictamente virtuales o aumentados, la realidad fusionada crea un espacio fluido donde los objetos físicos y digitales coexisten e interactúan en tiempo real. Esta tecnología depende en gran medida de la visión artificial avanzada y la computación espacial para mapear el entorno del mundo real con precisión, lo que permite que los artefactos digitales se anclen a superficies físicas y respondan a los cambios físicos. Al aprovechar sensores, cámaras y algoritmos de aprendizaje profundo, los sistemas de MR pueden comprender la profundidad, la geometría y la iluminación, creando experiencias inmersivas que se sienten tangibles y fundamentadas en el entorno real del usuario.

Link to this sectionRelevancia en IA y aprendizaje automático#

La evolución de la realidad fusionada está intrínsecamente vinculada a los avances en inteligencia artificial. Para fusionar con éxito los mundos digital y físico, un sistema debe poseer una comprensión sofisticada del entorno. Aquí es donde las tareas de percepción visual se vuelven críticas. Técnicas como la detección de objetos permiten que el sistema reconozca muebles o personas, mientras que SLAM (localización y mapeo simultáneos) permite que el dispositivo rastree su propia posición en relación con esos objetos.

Las aplicaciones modernas de MR utilizan modelos de aprendizaje profundo para procesar datos sensoriales complejos al instante. Por ejemplo, la estimación de pose se utiliza para rastrear los movimientos de las manos para el control por gestos, eliminando la necesidad de mandos físicos. Además, la segmentación semántica ayuda al sistema a distinguir entre un suelo, una pared y una mesa, asegurando que un personaje digital camine sobre el suelo en lugar de flotar a través de una mesa.

Link to this sectionAplicaciones en el mundo real#

La realidad fusionada está transformando las industrias al mejorar la productividad y la formación mediante simulaciones inmersivas.

• Mantenimiento y formación industrial: En la fabricación, los técnicos utilizan cascos de MR que superponen esquemas digitales sobre la maquinaria física. Si un trabajador mira una pieza específica del motor, el sistema utiliza inferencia en tiempo real para identificar el componente y mostrar instrucciones de reparación o especificaciones de par directamente en la pieza. Esta guía manos libres reduce los errores y acelera las tareas complejas.
• Cirugía y planificación médica: Los cirujanos utilizan la MR para superponer escaneos de imágenes médicas en 3D (como datos de resonancia magnética o tomografía computarizada) directamente sobre el cuerpo del paciente durante las operaciones. Esto permite una visualización precisa de la anatomía interna sin realizar grandes incisiones. Al integrar modelos de segmentación, el sistema puede resaltar órganos o tumores específicos en tiempo real, ayudando en la navegación y mejorando los resultados quirúrgicos.

Link to this sectionDiferenciación de términos clave#

Es importante distinguir la realidad fusionada de conceptos relacionados en el espectro "XR" (Realidad Extendida):

• Realidad Aumentada (AR): La AR normalmente superpone información digital sobre una señal de cámara (como un filtro de smartphone) sin una interacción espacial profunda. La MR va más allá al garantizar que los objetos digitales interactúen físicamente con el mundo real (por ejemplo, una pelota digital que rebota en una mesa real).
• Realidad Virtual (VR): La VR crea un entorno completamente sintético, bloqueando el mundo físico por completo. La MR mantiene al usuario presente en su entorno físico mientras lo mejora.

Link to this sectionAplicación de visión artificial para MR#

Para construir un componente básico de un sistema de MR, como la detección de superficies u objetos para anclar contenido digital, los desarrolladores suelen utilizar modelos de detección de alta velocidad. El modelo Ultralytics YOLO26 es especialmente adecuado para esto debido a su baja latencia y alta precisión, elementos esenciales para mantener la ilusión de realidad.

El siguiente ejemplo demuestra cómo realizar segmentación de instancias en un flujo de vídeo. En un contexto de MR, esta máscara a nivel de píxel podría definir el área "caminable" para un personaje digital.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Link to this sectionEl futuro de la realidad fusionada#

A medida que el hardware se vuelve más ligero y las capacidades de computación perimetral mejoran, se espera que la MR se vuelva omnipresente. La integración de IA generativa probablemente permitirá que los entornos de MR se poblen dinámicamente, creando gemelos digitales de espacios del mundo real de forma automática. Con herramientas como Ultralytics Platform, los desarrolladores pueden entrenar fácilmente modelos personalizados para reconocer objetos específicos dentro de estos entornos fusionados, ampliando los límites de cómo interactuamos con la información en el espacio tridimensional.