Merged Reality

Realidade integrada é sinónimo de realidade mista (MR): uma experiência em que objetos virtuais aparecem no ambiente real do utilizador e interagem com ele, apoiando-se em mesas reais, desaparecendo atrás de pessoas reais e ressaltando em paredes reais. A Intel introduziu o nome em 2016 com o Project Alloy, um protótipo de headset sem fios cujas câmaras de profundidade RealSense traziam as mãos e a divisão do utilizador para experiências virtuais. A ideia subjacente é mais antiga: a taxonomia de ecrãs de realidade mista de Paul Milgram e Fumio Kishino, de 1994, colocava ambientes reais e virtuais nas duas extremidades de um contínuo realidade-virtualidade e chamava realidade mista a tudo o que ficava entre elas. O que distingue a realidade integrada de uma simples sobreposição é a compreensão do ambiente, pelo que depende da visão computacional e da computação espacial para saber onde está cada superfície e pessoa.

Realidade integrada, RA e RV#

• A realidade aumentada (AR) acrescenta conteúdo digital a uma representação do mundo real, desde etiquetas de texto no ecrã de um telemóvel até modelos 3D em óculos. A realidade mista é uma realidade aumentada cujo conteúdo está alinhado com a cena real e interage com ela, e, na prática, os dois termos sobrepõem-se bastante.
• A realidade virtual (VR) substitui por completo o mundo real. A virtualidade aumentada, o lado do contínuo a que o Project Alloy se destinava, parte de um mundo virtual e incorpora elementos reais, como as mãos do utilizador.
• A realidade estendida (XR) é o termo abrangente que inclui RA, MR e RV.

Os headsets mostram o mundo real de duas formas. Os dispositivos de visão ótica transparente, como o Microsoft HoloLens 2, acrescentam luz à visão direta do utilizador através de ecrãs transparentes, pelo que os objetos virtuais não podem ser mais escuros do que o que se encontra atrás deles. Os dispositivos de vídeo pass-through, como o Meta Quest 3 e o Apple Vision Pro, filmam a divisão com câmaras viradas para o exterior e apresentam o resultado composto em ecrãs opacos, permitindo que objetos reais ocultem completamente os virtuais, à custa da latência da câmara.

Como funciona a realidade integrada#

Cada fotograma apresentado, a 72–120 fotogramas por segundo nos headsets atuais, combina a pose do dispositivo, um modelo da cena e conteúdo virtual renderizado, pelo que os modelos de perceção precisam de inferência em tempo real nos próprios processadores de IA de periferia do headset. O SLAM visual acompanha o headset, os sensores de profundidade ou a estimativa de profundidade medem a distância a cada superfície real para criar uma reconstrução 3D da divisão, a segmentação semântica identifica pisos, paredes e mesas, a deteção de objetos encontra mobiliário e pessoas, e a estimativa de pose acompanha os pontos-chave das mãos para reconhecer gestos. A oclusão é o problema que os utilizadores mais notam quando falha: um objeto virtual que flutua à frente de uma pessoa mais próxima da câmara quebra imediatamente a ilusão, e o ARKit da Apple segmenta pessoas para criar oclusões desde 2019.

As máscaras de segmentação oferecem uma versão simples desse teste de oclusão. Este exemplo usa um modelo de segmentação de instâncias YOLO26 da Ultralytics para localizar pessoas numa fotografia de rua e mantém os seus píxeis à frente de um painel virtual colocado entre elas e o autocarro:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
camera = result.orig_img

# Renderiza um objeto virtual: um painel verde colocado entre as pessoas e o autocarro
virtual = camera.copy()
cv2.rectangle(virtual, (50, 450), (760, 650), (0, 200, 0), thickness=-1)

# As pessoas estão mais perto da câmara do que o painel, por isso os seus píxeis têm de o ocultar
occluder = np.zeros(camera.shape[:2], np.uint8)
for cls, polygon in zip(result.boxes.cls, result.masks.xy):
    if result.names[int(cls)] == "person":
        cv2.fillPoly(occluder, [polygon.astype(np.int32)], 255)

merged = np.where(occluder[..., None] > 0, camera, virtual)
cv2.imwrite("merged_reality.jpg", merged)

Na imagem salva, o painel cobre o ônibus, mas passa atrás de cada pedestre detectado, porque os pixels da câmera prevalecem onde quer que haja uma máscara de pessoa. Os sistemas de produção tomam a mesma decisão por pixel usando profundidade métrica, que também funciona com mesas, paredes e outras superfícies não abrangidas por nenhuma lista de classes.

Aplicações no mundo real#

• Formação e manutenção industrial: Os técnicos veem instruções passo a passo, valores de binário e anotações de um especialista remoto ancoradas na máquina que têm à sua frente, e os formandos praticam procedimentos em equipamento virtual colocado numa oficina real.
• Design e arquitetura: As equipas analisam interiores virtuais de automóveis ou modelos de edifícios à escala real numa divisão verdadeira, caminhando à sua volta e comparando-os com peças físicas.
• Jogos: Os jogos de realidade mista no Quest 3 analisam a divisão do jogador para que personagens virtuais saiam de paredes reais e bolas ressaltem em móveis reais.
• Cirurgia: O xvision Spine System da Augmedics, autorizado pela Food and Drug Administration dos EUA em 2019, sobrepõe a anatomia do paciente baseada em TC e a trajetória planeada dos parafusos no headset do cirurgião durante procedimentos à coluna.