Merged Reality

Merged Reality (MR), hay còn được biết đến rộng rãi là Mixed Reality, mô tả sự hội tụ giữa thế giới vật lý và nội dung kỹ thuật số do máy tính tạo ra. Không giống như các môi trường chỉ thuần túy là ảo hoặc tăng cường, merged reality tạo ra một không gian liền mạch nơi các vật thể vật lý và kỹ thuật số cùng tồn tại và tương tác theo thời gian thực. Công nghệ này phụ thuộc rất nhiều vào computer vision tiên tiến và điện toán không gian để lập bản đồ môi trường thế giới thực một cách chính xác, cho phép các cấu trúc kỹ thuật số neo giữ vào các bề mặt vật lý và phản hồi các thay đổi vật lý. Bằng cách tận dụng các cảm biến, camera và các thuật toán deep learning, hệ thống MR có thể hiểu được độ sâu, hình học và ánh sáng, tạo ra các trải nghiệm nhập vai mang lại cảm giác hữu hình và bám sát vào môi trường thực tế của người dùng.

Sự liên quan trong AI và Machine Learning#

Sự tiến hóa của merged reality gắn liền với những tiến bộ trong trí tuệ nhân tạo. Để hợp nhất thành công thế giới kỹ thuật số và vật lý, một hệ thống phải sở hữu khả năng thấu hiểu môi trường một cách tinh vi. Đây là lúc các visual perception tasks trở nên thiết yếu. Các kỹ thuật như object detection cho phép hệ thống nhận diện đồ đạc hoặc con người, trong khi SLAM (Simultaneous Localization and Mapping) cho phép thiết bị theo dõi vị trí của chính nó tương đối với các vật thể đó.

Các ứng dụng MR hiện đại tận dụng các deep learning models để xử lý dữ liệu cảm giác phức tạp ngay lập tức. Ví dụ, pose estimation được sử dụng để theo dõi chuyển động tay nhằm điều khiển bằng cử chỉ, loại bỏ nhu cầu sử dụng các bộ điều khiển vật lý. Hơn nữa, semantic segmentation giúp hệ thống phân biệt giữa sàn nhà, tường và bàn, đảm bảo rằng một nhân vật kỹ thuật số bước đi trên sàn nhà thay vì lơ lửng xuyên qua bàn.

Các ứng dụng trong thực tế#

Thực tại hỗn hợp đang thay đổi các ngành công nghiệp bằng cách nâng cao năng suất và đào tạo thông qua các mô phỏng nhập vai.

• Bảo trì và Đào tạo Công nghiệp: Trong manufacturing, các kỹ thuật viên đeo tai nghe MR để phủ các sơ đồ kỹ thuật số lên máy móc vật lý. Nếu một công nhân nhìn vào một bộ phận động cơ cụ thể, hệ thống sẽ sử dụng real-time inference để nhận diện thành phần và hiển thị hướng dẫn sửa chữa hoặc thông số lực siết trực tiếp lên bộ phận đó. Sự hỗ trợ rảnh tay này giúp giảm thiểu lỗi và đẩy nhanh các tác vụ phức tạp.
• Phẫu thuật và Lập kế hoạch Y tế: Các bác sĩ phẫu thuật sử dụng MR để chồng các bản quét medical imaging 3D (như dữ liệu MRI hoặc CT) trực tiếp lên cơ thể bệnh nhân trong quá trình phẫu thuật. Điều này cho phép hình dung giải phẫu bên trong một cách chính xác mà không cần rạch các vết mổ lớn. Bằng cách tích hợp các segmentation models, hệ thống có thể làm nổi bật các cơ quan hoặc khối u cụ thể trong thời gian thực, hỗ trợ điều hướng và cải thiện kết quả phẫu thuật.

Phân biệt các thuật ngữ chính#

Điều quan trọng là phải phân biệt Thực tại hỗn hợp với các khái niệm liên quan trong phổ "XR" (Extended Reality):

• Augmented Reality (AR): AR thường phủ thông tin kỹ thuật số lên nguồn cấp dữ liệu camera (như bộ lọc trên điện thoại thông minh) mà không có sự tương tác không gian sâu. MR tiến xa hơn bằng cách đảm bảo các vật thể kỹ thuật số tương tác vật lý với thế giới thực (ví dụ, một quả bóng kỹ thuật số nảy lên từ một chiếc bàn thực).
• Virtual Reality (VR): VR tạo ra một môi trường hoàn toàn tổng hợp, chặn hoàn toàn thế giới vật lý. MR giữ cho người dùng hiện diện trong môi trường vật lý của họ đồng thời nâng cao trải nghiệm đó.

Ứng dụng Computer Vision cho MR#

Để xây dựng một thành phần cơ bản của hệ thống MR, chẳng hạn như phát hiện bề mặt hoặc vật thể để neo giữ nội dung kỹ thuật số, các nhà phát triển thường sử dụng các mô hình phát hiện tốc độ cao. Mô hình Ultralytics YOLO26 đặc biệt phù hợp cho việc này nhờ độ trễ thấp và độ chính xác cao, những yếu tố thiết yếu để duy trì ảo giác về thực tế.

Ví dụ sau đây minh họa cách thực hiện instance segmentation trên một luồng video. Trong ngữ cảnh MR, mặt nạ cấp độ pixel này có thể xác định khu vực "có thể đi lại" cho một nhân vật kỹ thuật số.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Tương lai của Thực tại hỗn hợp#

Khi phần cứng trở nên nhẹ hơn và các khả năng edge computing được cải thiện, MR dự kiến sẽ trở nên phổ biến khắp nơi. Việc tích hợp generative AI sẽ có khả năng cho phép các môi trường MR tự động điền đầy nội dung một cách linh hoạt, tạo ra các digital twins của không gian thế giới thực một cách tự động. Với các công cụ như Ultralytics Platform, các nhà phát triển có thể dễ dàng huấn luyện các mô hình tùy chỉnh để nhận diện các đối tượng cụ thể trong các môi trường hợp nhất này, đẩy lùi các giới hạn về cách chúng ta tương tác với thông tin trong không gian ba chiều.