Merged Reality

A Realidade combinada (MR), também amplamente conhecida como Realidade mista, descreve a convergência do mundo físico com conteúdo digital gerado por computador. Ao contrário de ambientes estritamente virtuais ou aumentados, a realidade combinada cria um espaço contínuo onde objetos físicos e digitais coexistem e interagem em tempo real. Esta tecnologia depende fortemente de visão computacional avançada e de computação espacial para mapear o ambiente do mundo real com precisão, permitindo que artefactos digitais sejam ancorados a superfícies físicas e reajam a alterações físicas. Ao tirar partido de sensores, câmaras e algoritmos de aprendizagem profunda, os sistemas de MR conseguem compreender a profundidade, a geometria e a iluminação, criando experiências imersivas que parecem tangíveis e integradas no ambiente real do utilizador.

Relevância na IA e na aprendizagem automática#

A evolução da realidade combinada está intrinsecamente ligada aos avanços da inteligência artificial. Para combinar com sucesso os mundos digital e físico, um sistema deve possuir uma compreensão sofisticada do ambiente. É aqui que as tarefas de perceção visual se tornam essenciais. Técnicas como a deteção de objetos permitem que o sistema reconheça mobiliário ou pessoas, enquanto o SLAM (Localização e mapeamento simultâneos) permite que o dispositivo acompanhe a sua própria posição em relação a esses objetos.

As aplicações modernas de MR utilizam modelos de aprendizagem profunda para processar instantaneamente dados sensoriais complexos. Por exemplo, a estimativa de pose é utilizada para acompanhar os movimentos das mãos para o controlo por gestos, eliminando a necessidade de controladores físicos. Além disso, a segmentação semântica ajuda o sistema a distinguir entre um chão, uma parede e uma mesa, garantindo que uma personagem digital caminhe sobre o chão em vez de atravessar uma mesa.

Aplicações no mundo real#

A realidade combinada está a transformar as indústrias ao melhorar a produtividade e a formação através de simulações imersivas.

• Manutenção e formação industrial: Na indústria transformadora, os técnicos usam headsets de MR que sobrepõem esquemas digitais a máquinas físicas. Se um trabalhador olhar para uma peça específica de um motor, o sistema utiliza inferência em tempo real para identificar o componente e apresentar instruções de reparação ou especificações de binário diretamente sobre a peça. Esta orientação sem utilização das mãos reduz os erros e acelera tarefas complexas.
• Cirurgia e planeamento médico: Os cirurgiões utilizam MR para sobrepor exames de imagiologia médica 3D, como dados de MRI ou CT, diretamente sobre o corpo do paciente durante as operações. Isto permite visualizar com precisão a anatomia interna sem fazer grandes incisões. Ao integrar modelos de segmentação, o sistema pode destacar órgãos ou tumores específicos em tempo real, ajudando na navegação e melhorando os resultados cirúrgicos.

Distinção entre Termos Fundamentais#

É importante distinguir a Realidade combinada de conceitos relacionados no espectro da "XR" (Realidade estendida):

• Realidade aumentada (AR): A AR normalmente sobrepõe informações digitais a uma transmissão da câmara, como um filtro de smartphone, sem uma interação espacial profunda. A MR vai mais longe, garantindo que os objetos digitais interagem fisicamente com o mundo real, como uma bola digital a saltar sobre uma mesa real.
• Realidade virtual (VR): A VR cria um ambiente totalmente sintético, bloqueando por completo o mundo físico. A MR mantém o utilizador presente no seu ambiente físico enquanto o melhora.

Aplicação da visão computacional em MR#

Para criar um componente básico de um sistema de MR, como a deteção de superfícies ou objetos para ancorar conteúdo digital, os programadores utilizam frequentemente modelos de deteção de alta velocidade. O modelo Ultralytics YOLO26 é particularmente adequado para este fim devido à sua baixa latência e elevada precisão, essenciais para manter a ilusão de realidade.

O exemplo seguinte demonstra como realizar segmentação de instâncias num fluxo de vídeo. Num contexto de MR, esta máscara ao nível dos píxeis poderia definir a área "percorrível" para uma personagem digital.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

O futuro da realidade combinada#

À medida que o hardware se torna mais leve e as capacidades de computação de periferia melhoram, espera-se que a MR se torne omnipresente. A integração de IA generativa permitirá provavelmente que os ambientes de MR se preencham dinamicamente, criando automaticamente gémeos digitais de espaços do mundo real. Com ferramentas como a Ultralytics Platform, os programadores podem treinar facilmente modelos personalizados para reconhecer objetos específicos nestes ambientes combinados, expandindo os limites da forma como interagimos com a informação no espaço tridimensional.