Merged Reality

Слитая реальность — синоним смешанной реальности (MR): виртуальные объекты появляются в реальном окружении пользователя и взаимодействуют с ним — стоят на настоящих столах, скрываются за людьми и отскакивают от стен. Intel ввела это название в 2016 году вместе с Project Alloy — прототипом автономной гарнитуры, чьи камеры глубины RealSense переносили руки пользователя и его комнату в виртуальные пространства. Сама идея появилась раньше: в таксономии дисплеев смешанной реальности 1994 года Пол Милграм и Фумио Кишино расположили реальные и виртуальные среды на противоположных концах континуума «реальность — виртуальность», назвав всё между ними смешанной реальностью. Слитую реальность от простого наложения отличает понимание окружения, поэтому для определения положения каждой поверхности и каждого человека она опирается на компьютерное зрение и пространственные вычисления.

Слитая реальность, AR и VR#

• Дополненная реальность (AR) добавляет цифровой контент к изображению реального мира: от текстовых меток на экране телефона до 3D-моделей в очках. Смешанная реальность — это дополненная реальность, в которой контент привязан к реальной сцене и взаимодействует с ней; на практике эти термины часто пересекаются.
• Виртуальная реальность (VR) полностью заменяет реальный мир. Дополненная виртуальность — направление континуума, на которое был рассчитан Project Alloy, — начинается с виртуального мира и включает в него реальные элементы, например руки пользователя.
• Расширенная реальность (XR) — общий термин для AR, MR и VR.

Гарнитуры показывают реальный мир одним из двух способов. Устройства с оптическим сквозным обзором, например Microsoft HoloLens 2, добавляют свет к прямому обзору пользователя через прозрачные дисплеи, поэтому виртуальные объекты не могут быть темнее того, что находится за ними. Устройства с видеопросмотром реальности, например Meta Quest 3 и Apple Vision Pro, снимают комнату внешними камерами и показывают совмещённое изображение на непрозрачных дисплеях. Благодаря этому реальные объекты могут полностью скрывать виртуальные, но возникает задержка камеры.

Как работает слитая реальность#

Каждый отображаемый кадр — от 72 до 120 кадров в секунду на современных гарнитурах — объединяет позу устройства, модель сцены и отрисованный виртуальный контент, поэтому модели восприятия должны выполнять инференс в реальном времени на собственных процессорах периферийного ИИ гарнитуры. Визуальная SLAM отслеживает гарнитуру, датчики глубины или оценка глубины измеряют расстояние до каждой реальной поверхности для 3D-реконструкции комнаты, семантическая сегментация помечает полы, стены и столы, обнаружение объектов находит мебель и людей, а оценка позы отслеживает ключевые точки рук для распознавания жестов. Пользователи особенно замечают ошибки окклюзии: виртуальный объект, который оказывается перед человеком, стоящим ближе к камере, сразу разрушает иллюзию; Apple ARKit сегментирует людей для окклюзии с 2019 года.

Маски сегментации позволяют реализовать простую проверку окклюзии. В этом примере модель сегментации экземпляров YOLO26 от Ultralytics находит людей на фотографии улицы и оставляет их пиксели перед виртуальной панелью, расположенной между ними и автобусом:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
camera = result.orig_img

# Отрисовываем виртуальный объект: зелёную панель между людьми и автобусом
virtual = camera.copy()
cv2.rectangle(virtual, (50, 450), (760, 650), (0, 200, 0), thickness=-1)

# Люди находятся ближе к камере, чем панель, поэтому их пиксели должны перекрывать её
occluder = np.zeros(camera.shape[:2], np.uint8)
for cls, polygon in zip(result.boxes.cls, result.masks.xy):
    if result.names[int(cls)] == "person":
        cv2.fillPoly(occluder, [polygon.astype(np.int32)], 255)

merged = np.where(occluder[..., None] > 0, camera, virtual)
cv2.imwrite("merged_reality.jpg", merged)

На сохранённом изображении панель закрывает автобус, но проходит за всеми обнаруженными пешеходами: везде, где расположена маска человека, поверх неё отображаются пиксели камеры. В промышленных системах такое же решение принимается для каждого пикселя на основе метрической глубины, которая также подходит для столов, стен и других поверхностей, не охваченных списком классов.

Примеры применения в реальных условиях#

• Промышленное обучение и техническое обслуживание: Техники видят пошаговые инструкции, значения крутящего момента и пометки удалённого эксперта, привязанные к находящемуся перед ними оборудованию, а обучающиеся отрабатывают процедуры на виртуальном оборудовании в настоящей мастерской.
• Проектирование и архитектура: Команды рассматривают в настоящей комнате полноразмерные виртуальные интерьеры автомобилей или модели зданий, обходят их и сравнивают с физическими деталями.
• Игры: Игры смешанной реальности на Quest 3 сканируют комнату игрока, чтобы виртуальные персонажи выбирались из настоящих стен, а мячи отскакивали от реальной мебели.
• Хирургия: Система xvision Spine компании Augmedics, одобренная Управлением по контролю качества пищевых продуктов и лекарственных средств США в 2019 году, накладывает на гарнитуру хирурга анатомию пациента на основе КТ и запланированную траекторию установки винта во время операций на позвоночнике.