Merged Reality

Thực tại hợp nhất là từ đồng nghĩa với thực tại hỗn hợp (MR): trải nghiệm trong đó các vật thể ảo xuất hiện trong môi trường thực của người dùng và tương tác với môi trường đó—đặt trên bàn thật, khuất sau người thật và bật nảy khỏi tường thật. Intel giới thiệu tên gọi này vào năm 2016 với Project Alloy, một nguyên mẫu kính thực tế ảo không dây có camera độ sâu RealSense đưa bàn tay và căn phòng của người dùng vào trải nghiệm ảo. Ý tưởng nền tảng đã có từ trước: hệ phân loại màn hình thực tại hỗn hợp năm 1994 của Paul Milgram và Fumio Kishino đặt môi trường thực và ảo ở hai đầu của phổ thực tại-ảo, đồng thời gọi mọi thứ ở giữa là thực tại hỗn hợp. Thực tại hợp nhất khác với lớp phủ đơn giản ở khả năng hiểu môi trường, vì vậy công nghệ này phụ thuộc vào thị giác máy tính và điện toán không gian để xác định vị trí của mọi bề mặt và con người.

Thực tại hợp nhất, AR và VR#

• Thực tế tăng cường (AR) bổ sung nội dung kỹ thuật số vào góc nhìn thế giới thực, từ nhãn văn bản trên màn hình điện thoại đến model 3D trên kính. Thực tại hỗn hợp là AR trong đó nội dung được căn chỉnh với cảnh thực và tương tác với cảnh đó; trên thực tế, hai thuật ngữ này trùng lặp đáng kể.
• Thực tế ảo (VR) thay thế hoàn toàn thế giới thực. Thực tại ảo tăng cường, hướng mà Project Alloy nhắm tới trên phổ này, bắt đầu từ một thế giới ảo rồi đưa các yếu tố thực như bàn tay người dùng vào đó.
• Thực tại mở rộng (XR) là thuật ngữ bao quát AR, MR và VR.

Kính thực tế ảo kết nối với thế giới thực theo một trong hai cách. Thiết bị nhìn xuyên quang học như Microsoft HoloLens 2 bổ sung ánh sáng vào góc nhìn trực tiếp của người dùng thông qua màn hình trong suốt, nên vật thể ảo không thể tối hơn những gì nằm phía sau. Thiết bị truyền hình ảnh xuyên qua như Meta Quest 3 và Apple Vision Pro quay căn phòng bằng camera hướng ra ngoài rồi hiển thị hình ảnh tổng hợp trên màn hình đục; cách này cho phép vật thể thực che khuất hoàn toàn vật thể ảo, đổi lại có độ trễ camera.

Cách thực tại hợp nhất hoạt động#

Mỗi khung hình hiển thị—ở tốc độ 72 đến 120 khung hình/giây trên các kính hiện nay—kết hợp tư thế thiết bị, model cảnh và nội dung ảo được dựng hình, nên các model nhận thức cần suy luận thời gian thực trên bộ xử lý AI biên tích hợp trong kính. Visual SLAM theo dõi kính; cảm biến độ sâu hoặc ước lượng độ sâu đo khoảng cách đến từng bề mặt thực để tái tạo 3D căn phòng; phân đoạn ngữ nghĩa gán nhãn sàn, tường và bàn; phát hiện đối tượng tìm đồ nội thất và con người; còn ước lượng tư thế theo dõi keypoint bàn tay để nhận diện cử chỉ. Người dùng nhận thấy hiện tượng che khuất rõ nhất khi nó không hoạt động: vật thể ảo nổi phía trước người đứng gần camera hơn lập tức phá vỡ ảo giác; ARKit của Apple đã phân đoạn người để xử lý che khuất từ năm 2019.

Mask phân đoạn cung cấp cách kiểm tra che khuất đơn giản. Ví dụ này sử dụng model phân đoạn instance YOLO26 của Ultralytics để tìm người trong ảnh đường phố và giữ pixel của họ ở phía trước một tấm bảng ảo đặt giữa họ và xe buýt:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
camera = result.orig_img

# # Dựng một vật thể ảo: tấm bảng màu xanh lá đặt giữa mọi người và xe buýt
virtual = camera.copy()
cv2.rectangle(virtual, (50, 450), (760, 650), (0, 200, 0), thickness=-1)

# # Mọi người ở gần camera hơn tấm bảng, vì vậy pixel của họ phải che khuất bảng
occluder = np.zeros(camera.shape[:2], np.uint8)
for cls, polygon in zip(result.boxes.cls, result.masks.xy):
    if result.names[int(cls)] == "person":
        cv2.fillPoly(occluder, [polygon.astype(np.int32)], 255)

merged = np.where(occluder[..., None] > 0, camera, virtual)
cv2.imwrite("merged_reality.jpg", merged)

Trong ảnh đã lưu, bảng che khuất xe buýt nhưng nằm phía sau mọi người đi bộ được phát hiện, vì pixel camera được ưu tiên ở mọi nơi có mask người. Các hệ thống production đưa ra quyết định tương tự cho từng pixel bằng độ sâu metric, phương pháp này cũng xử lý được bàn, tường và các bề mặt khác không nằm trong bất kỳ danh sách lớp nào.

Ứng dụng thực tế#

• Đào tạo và bảo trì công nghiệp: Kỹ thuật viên xem hướng dẫn từng bước, giá trị mô-men xoắn và chú thích của chuyên gia từ xa được neo vào máy trước mặt; học viên thực hành quy trình trên thiết bị ảo đặt trong xưởng thực.
• Thiết kế và kiến trúc: Các nhóm xem xét nội thất ô tô hoặc model tòa nhà ảo theo tỷ lệ thực trong căn phòng thật, đi vòng quanh và so sánh với các bộ phận vật lý.
• Trò chơi: Trò chơi thực tại hỗn hợp trên Quest 3 quét phòng của người chơi để nhân vật ảo trèo ra từ tường thật và bóng nảy khỏi đồ nội thất thật.
• Phẫu thuật: Hệ thống xvision Spine của Augmedics, được Cục Quản lý Thực phẩm và Dược phẩm Hoa Kỳ cấp phép năm 2019, phủ giải phẫu dựa trên CT của bệnh nhân và quỹ đạo vít dự kiến lên kính của bác sĩ phẫu thuật trong các ca phẫu thuật cột sống.