Merged Reality

Thực tế hợp nhất (MR), còn được biết đến rộng rãi với tên gọi Thực tế hỗn hợp, mô tả sự hội tụ giữa thế giới vật lý và nội dung kỹ thuật số do máy tính tạo ra. Không giống các môi trường hoàn toàn ảo hoặc tăng cường, thực tế hợp nhất tạo ra một không gian liền mạch, nơi các vật thể vật lý và kỹ thuật số cùng tồn tại và tương tác theo thời gian thực. Công nghệ này phụ thuộc nhiều vào thị giác máy tính tiên tiến và điện toán không gian để lập bản đồ chính xác môi trường thực, cho phép neo các hiện vật kỹ thuật số lên các bề mặt vật lý và phản hồi trước những thay đổi vật lý. Bằng cách tận dụng cảm biến, camera và các thuật toán deep learning, hệ thống MR có thể hiểu chiều sâu, hình học và ánh sáng, tạo ra những trải nghiệm nhập vai mang lại cảm giác hữu hình và gắn kết với môi trường xung quanh thực tế của người dùng.

Tầm quan trọng trong AI và Machine Learning#

Sự phát triển của thực tế hợp nhất gắn liền với những tiến bộ trong trí tuệ nhân tạo. Để hợp nhất thành công thế giới kỹ thuật số và vật lý, một hệ thống phải có khả năng hiểu môi trường ở mức tinh vi. Đây là lúc các tác vụ nhận thức hình ảnh trở nên quan trọng. Các kỹ thuật như phát hiện đối tượng cho phép hệ thống nhận diện đồ nội thất hoặc con người, trong khi SLAM (định vị và lập bản đồ đồng thời) cho phép thiết bị theo dõi vị trí của chính nó tương đối với các đối tượng đó.

Các ứng dụng MR hiện đại sử dụng model deep learning để xử lý tức thời dữ liệu cảm biến phức tạp. Ví dụ, ước lượng tư thế được sử dụng để theo dõi chuyển động tay nhằm điều khiển bằng cử chỉ, loại bỏ nhu cầu sử dụng bộ điều khiển vật lý. Ngoài ra, phân đoạn ngữ nghĩa giúp hệ thống phân biệt sàn nhà, tường và bàn, đảm bảo một nhân vật kỹ thuật số đi trên sàn thay vì bay xuyên qua bàn.

Các ứng dụng trong thực tế#

Thực tế hợp nhất đang chuyển đổi các ngành bằng cách nâng cao năng suất và hoạt động đào tạo thông qua các mô phỏng nhập vai.

• Bảo trì và đào tạo công nghiệp: Trong sản xuất, kỹ thuật viên đeo headset MR để phủ các sơ đồ kỹ thuật số lên máy móc vật lý. Khi một nhân viên nhìn vào một bộ phận động cơ cụ thể, hệ thống sử dụng suy luận thời gian thực để nhận diện linh kiện và hiển thị trực tiếp hướng dẫn sửa chữa hoặc thông số mô-men xoắn trên bộ phận đó. Hướng dẫn rảnh tay này giúp giảm lỗi và tăng tốc các tác vụ phức tạp.
• Phẫu thuật và lập kế hoạch y khoa: Bác sĩ phẫu thuật sử dụng MR để phủ các ảnh quét hình ảnh y khoa 3D (chẳng hạn như dữ liệu MRI hoặc CT) trực tiếp lên cơ thể bệnh nhân trong quá trình phẫu thuật. Điều này cho phép quan sát chính xác giải phẫu bên trong mà không cần tạo các đường rạch lớn. Bằng cách tích hợp các model phân đoạn, hệ thống có thể làm nổi bật các cơ quan hoặc khối u cụ thể theo thời gian thực, hỗ trợ định hướng và cải thiện kết quả phẫu thuật.

Phân biệt các thuật ngữ chính#

Điều quan trọng là phân biệt Thực tế hợp nhất với các khái niệm liên quan trong hệ sinh thái "XR" (thực tế mở rộng):

• Thực tế tăng cường (AR): AR thường phủ thông tin kỹ thuật số lên luồng hình ảnh từ camera (chẳng hạn như bộ lọc trên smartphone) mà không có tương tác không gian chuyên sâu. MR tiến xa hơn bằng cách đảm bảo các vật thể kỹ thuật số tương tác về mặt vật lý với thế giới thực (ví dụ: một quả bóng kỹ thuật số nảy khỏi một chiếc bàn thật).
• Thực tế ảo (VR): VR tạo ra một môi trường hoàn toàn nhân tạo, che khuất toàn bộ thế giới vật lý. MR vẫn giữ người dùng hiện diện trong môi trường vật lý của họ đồng thời tăng cường môi trường đó.

Ứng dụng thị giác máy tính cho MR#

Để xây dựng một thành phần cơ bản của hệ thống MR, chẳng hạn như phát hiện bề mặt hoặc đối tượng để neo nội dung kỹ thuật số, các developer thường sử dụng các model phát hiện tốc độ cao. Model Ultralytics YOLO26 đặc biệt phù hợp cho mục đích này nhờ độ trễ thấp và độ chính xác cao, vốn rất cần thiết để duy trì ảo giác về thực tại.

Ví dụ sau minh họa cách thực hiện phân đoạn instance trên một luồng video. Trong bối cảnh MR, mask ở cấp độ pixel này có thể xác định khu vực "có thể đi bộ" cho một nhân vật kỹ thuật số.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Tương lai của thực tế hợp nhất#

Khi phần cứng trở nên nhẹ hơn và khả năng điện toán biên được cải thiện, MR được kỳ vọng sẽ trở nên phổ biến ở khắp nơi. Việc tích hợp AI tạo sinh có thể sẽ cho phép các môi trường MR tự động bổ sung nội dung một cách linh hoạt, tự động tạo bản sao số của các không gian trong thế giới thực. Với những công cụ như Ultralytics Platform, developer có thể dễ dàng huấn luyện các model tùy chỉnh để nhận diện những đối tượng cụ thể trong các môi trường hợp nhất này, mở rộng giới hạn về cách chúng ta tương tác với thông tin trong không gian ba chiều.