Merged Reality

Смешанная реальность (MR), также широко известная как гибридная реальность, описывает слияние физического мира с созданным компьютером цифровым контентом. В отличие от строго виртуальных или дополненных сред, смешанная реальность создаёт единое пространство, где физические и цифровые объекты сосуществуют и взаимодействуют в реальном времени. Эта технология во многом опирается на передовое computer vision и пространственные вычисления для точного картирования реального мира, позволяя закреплять цифровые артефакты на физических поверхностях и реагировать на физические изменения. Используя датчики, камеры и алгоритмы глубокого обучения, системы MR способны понимать глубину, геометрию и освещение, создавая погружающие ощущения, которые ощущаются осязаемыми и привязанными к реальному окружению пользователя.

Значимость в ИИ и машинном обучении#

Эволюция смешанной реальности неразрывно связана с достижениями в области искусственного интеллекта. Чтобы успешно объединить цифровой и физический миры, система должна обладать сложным пониманием окружающей среды. Именно здесь критически важными становятся visual perception tasks. Такие методы, как object detection, позволяют системе распознавать мебель или людей, в то время как SLAM (Simultaneous Localization and Mapping) позволяет устройству отслеживать собственное положение относительно этих объектов.

Современные приложения MR используют deep learning models для мгновенной обработки сложных сенсорных данных. Например, pose estimation используется для отслеживания движений рук для управления жестами, исключая необходимость в физических контроллерах. Кроме того, semantic segmentation помогает системе различать пол, стену и стол, гарантируя, что цифровой персонаж идет по полу, а не парит сквозь стол.

Реальные приложения#

Смешанная реальность трансформирует индустрии, повышая продуктивность и улучшая обучение с помощью иммерсивных симуляций.

• Промышленное обслуживание и обучение: В manufacturing техники носят MR-гарнитуры, которые накладывают цифровые схемы на физическое оборудование. Если рабочий смотрит на определенную деталь двигателя, система использует real-time inference для идентификации компонента и отображения инструкций по ремонту или спецификаций крутящего момента прямо на детали. Это руководство без помощи рук уменьшает количество ошибок и ускоряет выполнение сложных задач.
• Медицинская хирургия и планирование: Хирурги используют MR для наложения 3D medical imaging сканирований (например, данных МРТ или КТ) прямо на тело пациента во время операций. Это позволяет точно визуализировать внутреннюю анатомию без выполнения больших разрезов. Интегрируя segmentation models, система может выделять определенные органы или опухоли в реальном времени, помогая в навигации и улучшая результаты операций.

Разграничение ключевых терминов#

Важно отличать смешанную реальность от смежных концепций в спектре «XR» (Extended Reality):

• Augmented Reality (AR): AR обычно накладывает цифровой контент на видеопоток с камеры (например, фильтр в смартфоне) без глубокого пространственного взаимодействия. MR идет дальше, гарантируя, что цифровые объекты физически взаимодействуют с реальным миром (например, цифровой мяч отскакивает от реального стола).
• Virtual Reality (VR): VR создает полностью синтетическую среду, полностью блокируя физический мир. MR оставляет пользователя в его физическом окружении, улучшая его.

Применение компьютерного зрения для MR#

Для создания базового компонента MR-системы, такого как обнаружение поверхностей или объектов для привязки цифрового контента, разработчики часто используют высокоскоростные модели обнаружения. Модель Ultralytics YOLO26 особенно хорошо подходит для этого благодаря своей низкой задержке и высокой точности, которые необходимы для поддержания иллюзии реальности.

Следующий пример демонстрирует, как выполнять instance segmentation видеопотока. В контексте MR эта маска на уровне пикселей может определять «проходимую» зону для цифрового персонажа.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Будущее смешанной реальности#

По мере того как железо становится легче, а возможности edge computing улучшаются, ожидается, что MR станет повсеместной. Интеграция generative AI, вероятно, позволит MR-средам наполняться динамически, автоматически создавая digital twins реальных пространств. С такими инструментами, как Ultralytics Platform, разработчики могут легко обучать пользовательские модели распознаванию конкретных объектов в этих объединенных средах, раздвигая границы того, как мы взаимодействуем с информацией в трехмерном пространстве.