Thực tế hợp nhất

Thực tế hợp nhất (MR), hay còn được biết đến rộng rãi với tên gọi Thực tế hỗn hợp, mô tả sự hội tụ của thế giới vật lý với nội dung kỹ thuật số do máy tính tạo ra. Không giống như môi trường ảo hoặc tăng cường thuần túy, thực tế hợp nhất tạo ra một không gian liền mạch, nơi các đối tượng vật lý và kỹ thuật số cùng tồn tại và tương tác trong thời gian thực. Công nghệ này dựa nhiều vào thị giác máy tính tiên tiến và điện toán không gian để lập bản đồ môi trường thế giới thực một cách chính xác, cho phép các đối tượng kỹ thuật số được neo vào các bề mặt vật lý và phản hồi các thay đổi vật lý. Bằng cách tận dụng các cảm biến, camera và thuật toán học sâu, hệ thống MR có thể hiểu được độ sâu, hình học và ánh sáng, tạo ra những trải nghiệm nhập vai chân thực và gần gũi với môi trường thực tế của người dùng.

Tính liên quan trong AI và Học máy

Sự phát triển của thực tế hợp nhất gắn liền mật thiết với những tiến bộ trong trí tuệ nhân tạo. Để hợp nhất thành công thế giới kỹ thuật số và thế giới vật lý, một hệ thống phải sở hữu sự hiểu biết tinh tế về môi trường. Đây là lúc các nhiệm vụ nhận thức thị giác trở nên quan trọng. Các kỹ thuật như phát hiện đối tượng cho phép hệ thống nhận biết đồ nội thất hoặc con người, trong khi SLAM (Định vị và Lập bản đồ đồng thời) cho phép thiết bị thực hiện các thao tác cần thiết. track vị trí của chính nó so với các đối tượng đó.

Các ứng dụng thực tế ảo tăng cường (MR) hiện đại sử dụng các mô hình học sâu để xử lý dữ liệu cảm biến phức tạp ngay lập tức. Ví dụ, ước tính tư thế được sử dụng để... track Các chuyển động tay được sử dụng để điều khiển bằng cử chỉ, loại bỏ nhu cầu sử dụng bộ điều khiển vật lý. Hơn nữa, phân đoạn ngữ nghĩa giúp hệ thống phân biệt giữa sàn nhà, tường và bàn, đảm bảo rằng nhân vật kỹ thuật số di chuyển trên sàn nhà chứ không phải lơ lửng trên bàn.

Các Ứng dụng Thực tế

Công nghệ thực tế ảo kết hợp đang làm thay đổi các ngành công nghiệp bằng cách nâng cao năng suất và đào tạo thông qua các mô phỏng nhập vai.

• Bảo trì và Đào tạo Công nghiệp: Trong sản xuất , kỹ thuật viên đeo tai nghe thực tế ảo hỗn hợp (MR) để hiển thị sơ đồ kỹ thuật số lên máy móc vật lý. Nếu người công nhân nhìn vào một bộ phận động cơ cụ thể, hệ thống sẽ sử dụng suy luận thời gian thực để xác định linh kiện và hiển thị hướng dẫn sửa chữa hoặc thông số mô-men xoắn trực tiếp trên bộ phận đó. Hướng dẫn không cần dùng tay này giúp giảm thiểu lỗi và tăng tốc các tác vụ phức tạp.
• Phẫu thuật và Lập kế hoạch Y khoa: Các bác sĩ phẫu thuật sử dụng MR để chồng ghép các hình ảnh y khoa 3D (như dữ liệu MRI hoặc CT) trực tiếp lên cơ thể bệnh nhân trong quá trình phẫu thuật. Điều này cho phép hình dung chính xác cấu trúc giải phẫu bên trong mà không cần rạch những vết mổ lớn. Bằng cách tích hợp các mô hình phân đoạn , hệ thống có thể làm nổi bật các cơ quan hoặc khối u cụ thể trong thời gian thực, hỗ trợ định vị và cải thiện kết quả phẫu thuật.

Phân biệt các thuật ngữ chính

Điều quan trọng là phải phân biệt Thực tế Hợp nhất (Merged Reality) với các khái niệm liên quan trong phạm vi "XR" (Thực tế Mở rộng):

• Thực tế tăng cường (AR) : AR thường chồng lớp thông tin kỹ thuật số lên hình ảnh từ camera (giống như bộ lọc trên điện thoại thông minh) mà không có sự tương tác không gian sâu. Thực tế hỗn hợp (MR) tiến xa hơn bằng cách đảm bảo các đối tượng kỹ thuật số tương tác vật lý với thế giới thực (ví dụ: một quả bóng kỹ thuật số nảy lên khỏi một chiếc bàn thật).
• Thực tế ảo (VR) : VR tạo ra một môi trường hoàn toàn nhân tạo, loại bỏ hoàn toàn thế giới vật lý. Thực tế hỗn hợp (MR) vẫn giữ người dùng hiện diện trong môi trường vật lý của họ nhưng đồng thời tăng cường trải nghiệm đó.

Ứng dụng Thị giác máy tính cho MR

Để xây dựng một thành phần cơ bản của hệ thống thực tế hỗn hợp (MR), chẳng hạn như phát hiện bề mặt hoặc vật thể để neo nội dung kỹ thuật số, các nhà phát triển thường sử dụng các mô hình phát hiện tốc độ cao. Mô hình Ultralytics YOLO26 đặc biệt phù hợp cho việc này nhờ độ trễ thấp và độ chính xác cao, những yếu tố cần thiết để duy trì ảo giác về thực tế.

Ví dụ sau đây minh họa cách thực hiện phân đoạn đối tượng trên luồng video. Trong bối cảnh thực tế hỗn hợp (MR), mặt nạ cấp độ pixel này có thể xác định khu vực "có thể đi lại" cho một nhân vật kỹ thuật số.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Tương lai của thực tại hợp nhất

Khi phần cứng trở nên nhẹ hơn và khả năng điện toán biên được cải thiện, thực tế hỗn hợp (MR) dự kiến ​​sẽ trở nên phổ biến. Việc tích hợp trí tuệ nhân tạo tạo sinh (generative AI) có thể cho phép môi trường MR tự động tạo ra các bản sao kỹ thuật số của không gian thế giới thực. Với các công cụ như Nền tảng Ultralytics , các nhà phát triển có thể dễ dàng huấn luyện các mô hình tùy chỉnh để nhận dạng các đối tượng cụ thể trong các môi trường kết hợp này, mở rộng giới hạn về cách chúng ta tương tác với thông tin trong không gian ba chiều.