Merged Reality

Thực tại hỗn hợp (Merged Reality - MR), còn được gọi rộng rãi là Thực tại hỗn hợp (Mixed Reality), mô tả sự hội tụ của thế giới vật lý với nội dung kỹ thuật số do máy tính tạo ra. Không giống như các môi trường ảo hoặc thực tế tăng cường đơn thuần, thực tại hỗn hợp tạo ra một không gian liền mạch nơi các vật thể vật lý và kỹ thuật số cùng tồn tại và tương tác trong thời gian thực. Công nghệ này phụ thuộc rất nhiều vào computer vision tiên tiến và tính toán không gian để lập bản đồ môi trường thế giới thực một cách chính xác, cho phép các thành phần kỹ thuật số được gắn vào các bề mặt vật lý và phản hồi với những thay đổi vật lý. Bằng cách tận dụng các cảm biến, camera và thuật toán deep learning, các hệ thống MR có thể hiểu được độ sâu, hình học và ánh sáng, tạo ra những trải nghiệm nhập vai mang lại cảm giác chân thực và gắn liền với môi trường xung quanh thực tế của người dùng.

Link to this sectionSự liên quan trong AI và Machine Learning#

Sự phát triển của thực tại hỗn hợp gắn liền mật thiết với những tiến bộ trong trí tuệ nhân tạo. Để hợp nhất thành công thế giới kỹ thuật số và thế giới vật lý, một hệ thống phải sở hữu khả năng hiểu biết tinh vi về môi trường. Đây là lúc các visual perception tasks trở nên quan trọng. Các kỹ thuật như object detection cho phép hệ thống nhận dạng đồ nội thất hoặc con người, trong khi SLAM (Simultaneous Localization and Mapping) cho phép thiết bị theo dõi vị trí của chính nó so với các vật thể đó.

Các ứng dụng MR hiện đại sử dụng deep learning models để xử lý dữ liệu cảm biến phức tạp ngay lập tức. Ví dụ, pose estimation được sử dụng để theo dõi các chuyển động của bàn tay nhằm điều khiển bằng cử chỉ, loại bỏ nhu cầu sử dụng các bộ điều khiển vật lý. Hơn nữa, semantic segmentation giúp hệ thống phân biệt giữa sàn nhà, tường và bàn, đảm bảo rằng một nhân vật kỹ thuật số đi bộ trên sàn thay vì lơ lửng xuyên qua bàn.

Link to this sectionCác ứng dụng trong thực tế#

Thực tại hỗn hợp đang thay đổi các ngành công nghiệp bằng cách nâng cao năng suất và đào tạo thông qua các mô phỏng nhập vai.

• Bảo trì và Đào tạo Công nghiệp: Trong manufacturing, các kỹ thuật viên đeo kính MR để phủ các sơ đồ kỹ thuật số lên máy móc vật lý. Nếu người công nhân nhìn vào một bộ phận động cơ cụ thể, hệ thống sẽ sử dụng real-time inference để xác định thành phần đó và hiển thị hướng dẫn sửa chữa hoặc thông số mô-men xoắn trực tiếp trên bộ phận đó. Sự hướng dẫn rảnh tay này giúp giảm thiểu lỗi và đẩy nhanh các tác vụ phức tạp.
• Phẫu thuật và Lập kế hoạch Y tế: Các bác sĩ phẫu thuật sử dụng MR để phủ các bản quét medical imaging 3D (như dữ liệu MRI hoặc CT) trực tiếp lên cơ thể bệnh nhân trong quá trình phẫu thuật. Điều này cho phép hình dung chính xác giải phẫu bên trong mà không cần thực hiện các vết mổ lớn. Bằng cách tích hợp các segmentation models, hệ thống có thể làm nổi bật các cơ quan hoặc khối u cụ thể trong thời gian thực, hỗ trợ định vị và cải thiện kết quả phẫu thuật.

Link to this sectionPhân biệt các thuật ngữ chính#

Điều quan trọng là phải phân biệt Thực tại hỗn hợp với các khái niệm liên quan trong phổ "XR" (Extended Reality):

• Augmented Reality (AR): AR thường phủ thông tin kỹ thuật số lên luồng camera (như bộ lọc trên điện thoại thông minh) mà không có tương tác không gian sâu. MR tiến xa hơn bằng cách đảm bảo các vật thể kỹ thuật số tương tác vật lý với thế giới thực (ví dụ: một quả bóng kỹ thuật số nảy lên từ một chiếc bàn thật).
• Virtual Reality (VR): VR tạo ra một môi trường hoàn toàn tổng hợp, chặn đứng thế giới vật lý hoàn toàn. MR giữ cho người dùng hiện diện trong môi trường vật lý của họ trong khi nâng cao trải nghiệm đó.

Link to this sectionỨng dụng Computer Vision cho MR#

Để xây dựng một thành phần cơ bản của hệ thống MR, chẳng hạn như phát hiện các bề mặt hoặc vật thể để neo giữ nội dung kỹ thuật số, các nhà phát triển thường sử dụng các mô hình phát hiện tốc độ cao. Mô hình Ultralytics YOLO26 đặc biệt phù hợp cho việc này nhờ độ trễ thấp và độ chính xác cao, vốn là những yếu tố thiết yếu để duy trì ảo giác về thực tại.

Ví dụ sau đây trình bày cách thực hiện instance segmentation trên một luồng video. Trong bối cảnh MR, mặt nạ cấp pixel này có thể xác định khu vực "có thể đi lại được" cho một nhân vật kỹ thuật số.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Link to this sectionTương lai của Thực tại hỗn hợp#

Khi phần cứng trở nên nhẹ hơn và khả năng edge computing được cải thiện, MR dự kiến sẽ trở nên phổ biến. Việc tích hợp generative AI có khả năng sẽ cho phép các môi trường MR tự động điền đầy chính chúng, tạo ra các digital twins của các không gian thế giới thực một cách tự động. Với các công cụ như Ultralytics Platform, các nhà phát triển có thể dễ dàng huấn luyện các mô hình tùy chỉnh để nhận dạng các vật thể cụ thể trong các môi trường hỗn hợp này, mở rộng ranh giới về cách chúng ta tương tác với thông tin trong không gian ba chiều.