Merged Reality

La realtà fusa è sinonimo di realtà mista (MR): un'esperienza in cui oggetti virtuali appaiono nell'ambiente reale dell'utente e interagiscono con esso, poggiando su tavoli reali, scomparendo dietro persone reali e rimbalzando su pareti reali. Intel introdusse il nome nel 2016 con Project Alloy, un prototipo di visore senza cavi le cui telecamere di profondità RealSense integravano le mani e la stanza dell'utente nelle esperienze virtuali. L'idea di fondo è più antica: la tassonomia dei display di realtà mista del 1994 di Paul Milgram e Fumio Kishino collocava gli ambienti reali e virtuali ai due estremi di un continuum realtà-virtualità e definiva realtà mista tutto ciò che si trovava nel mezzo. A distinguere la realtà fusa da una semplice sovrapposizione è la comprensione dell'ambiente; dipende quindi dalla visione artificiale e dall'informatica spaziale per sapere dove si trovano ogni superficie e ogni persona.

Realtà fusa, AR e VR#

• La realtà aumentata (AR) aggiunge contenuti digitali alla visuale del mondo reale, dalle etichette testuali sullo schermo di un telefono ai modelli 3D sugli occhiali. La realtà mista è una forma di AR in cui i contenuti sono registrati rispetto alla scena reale e interagiscono con essa; nella pratica i due termini si sovrappongono ampiamente.
• La realtà virtuale (VR) sostituisce interamente il mondo reale. La virtualità aumentata, l'estremo del continuum a cui puntava Project Alloy, parte da un mondo virtuale e vi integra elementi reali come le mani dell'utente.
• La realtà estesa (XR) è il termine ombrello che comprende AR, MR e VR.

I visori portano il mondo reale al loro interno in due modi. I dispositivi a visione ottica passante, come Microsoft HoloLens 2, aggiungono luce alla visuale diretta dell'utente tramite display trasparenti, perciò gli oggetti virtuali non possono essere più scuri di ciò che si trova dietro di loro. I dispositivi a passthrough video, come Meta Quest 3 e Apple Vision Pro, riprendono la stanza con telecamere rivolte verso l'esterno e mostrano il risultato composito su display opachi; gli oggetti reali possono così nascondere del tutto quelli virtuali, a costo della latenza delle telecamere.

Come funziona la realtà fusa#

Ogni fotogramma visualizzato — da 72 a 120 fotogrammi al secondo nei visori attuali — combina la posa del dispositivo, un modello della scena e i contenuti virtuali renderizzati; i modelli di percezione devono quindi eseguire inferenza in tempo reale sui processori edge AI del visore stesso. La SLAM visiva traccia il visore; i sensori di profondità o la stima della profondità misurano la distanza da ogni superficie reale per una ricostruzione 3D della stanza; la segmentazione semantica etichetta pavimenti, pareti e tavoli; il rilevamento degli oggetti individua mobili e persone; la stima della posa traccia i punti chiave delle mani per riconoscere i gesti. L'occlusione è il problema che gli utenti notano di più quando non funziona: un oggetto virtuale che fluttua davanti a una persona più vicina alla telecamera rompe subito l'illusione, e dal 2019 ARKit di Apple segmenta le persone per gestire l'occlusione.

Le maschere di segmentazione offrono una versione semplice di questo test di occlusione. Questo esempio usa un modello Ultralytics YOLO26 di segmentazione delle istanze per individuare le persone in una foto di strada e mantiene i loro pixel davanti a un pannello virtuale posizionato tra loro e l'autobus:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
camera = result.orig_img

# Renderizza un oggetto virtuale: un pannello verde posto tra le persone e l'autobus
virtual = camera.copy()
cv2.rectangle(virtual, (50, 450), (760, 650), (0, 200, 0), thickness=-1)

# Le persone sono più vicine alla telecamera del pannello, quindi i loro pixel devono nasconderlo
occluder = np.zeros(camera.shape[:2], np.uint8)
for cls, polygon in zip(result.boxes.cls, result.masks.xy):
    if result.names[int(cls)] == "person":
        cv2.fillPoly(occluder, [polygon.astype(np.int32)], 255)

merged = np.where(occluder[..., None] > 0, camera, virtual)
cv2.imwrite("merged_reality.jpg", merged)

Nell'immagine salvata, il pannello copre l'autobus ma passa dietro a ogni pedone rilevato, perché i pixel della telecamera prevalgono ovunque si trovi la maschera di una persona. I sistemi di produzione prendono la stessa decisione per ogni pixel usando la profondità metrica, che gestisce anche tavoli, pareti e altre superfici non incluse in alcun elenco di classi.

Applicazioni nel mondo reale#

• Formazione e manutenzione industriali: I tecnici vedono istruzioni passo passo, valori di coppia e annotazioni di un esperto remoto ancorate alla macchina che hanno davanti; chi è in formazione si esercita sulle procedure usando attrezzature virtuali collocate in un'officina reale.
• Design e architettura: I team esaminano interni di automobili o modelli di edifici virtuali in scala reale all'interno di una stanza reale, girando loro intorno e confrontandoli con componenti fisici.
• Videogiochi: I giochi di realtà mista su Quest 3 scansionano la stanza del giocatore, così i personaggi virtuali escono dalle pareti reali e le palle rimbalzano sui mobili reali.
• Chirurgia: Il sistema xvision Spine di Augmedics, autorizzato dalla Food and Drug Administration statunitense nel 2019, sovrappone all'interno del visore del chirurgo l'anatomia del paziente ricavata dalla TAC e la traiettoria pianificata delle viti durante gli interventi alla colonna vertebrale.