Merged Reality

Объединённая реальность (MR), также широко известная как смешанная реальность, описывает слияние физического мира с цифровым контентом, созданным компьютером. В отличие от строго виртуальной или дополненной среды, объединённая реальность создаёт единое пространство, где физические и цифровые объекты сосуществуют и взаимодействуют в реальном времени. Эта технология в значительной степени опирается на передовое компьютерное зрение и пространственные вычисления для точного картографирования окружающей среды, позволяя закреплять цифровые объекты на физических поверхностях и реагировать на физические изменения. Используя датчики, камеры и алгоритмы глубокого обучения, системы MR могут понимать глубину, геометрию и освещение, создавая иммерсивные впечатления, которые кажутся осязаемыми и естественно связанными с реальным окружением пользователя.

Актуальность для ИИ и машинного обучения#

Развитие объединённой реальности неразрывно связано с достижениями в области искусственного интеллекта. Чтобы успешно объединить цифровой и физический миры, система должна обладать глубоким пониманием окружающей среды. Именно здесь критически важными становятся задачи визуального восприятия. Такие методы, как обнаружение объектов, позволяют системе распознавать мебель или людей, а SLAM (одновременная локализация и построение карты) позволяет устройству отслеживать собственное положение относительно этих объектов.

Современные приложения MR используют модели глубокого обучения для мгновенной обработки сложных сенсорных данных. Например, оценка позы применяется для отслеживания движений рук при управлении жестами, устраняя необходимость в физических контроллерах. Кроме того, семантическая сегментация помогает системе различать пол, стену и стол, благодаря чему цифровой персонаж идёт по полу, а не проплывает сквозь стол.

Практические применения#

Объединённая реальность преобразует целые отрасли, повышая производительность и улучшая обучение с помощью иммерсивных симуляций.

• Промышленное обслуживание и обучение: В сфере производства технические специалисты используют гарнитуры MR, которые накладывают цифровые схемы на физическое оборудование. Если работник смотрит на определённую деталь двигателя, система использует инференс в реальном времени, чтобы определить компонент и отобразить непосредственно на нём инструкции по ремонту или значения крутящего момента. Такие инструкции без использования рук снижают количество ошибок и ускоряют выполнение сложных задач.
• Медицинская хирургия и планирование: Хирурги используют MR, чтобы накладывать 3D-сканы медицинской визуализации (например, данные MRI или CT) непосредственно на тело пациента во время операции. Это позволяет точно визуализировать внутреннюю анатомию без больших разрезов. Благодаря интеграции моделей сегментации система может выделять определённые органы или опухоли в реальном времени, помогая ориентироваться и улучшая результаты хирургического вмешательства.

Различия между ключевыми терминами#

Важно отличать объединённую реальность от связанных концепций в спектре «XR» (расширенной реальности):

• Дополненная реальность (AR): AR обычно накладывает цифровую информацию на изображение с камеры (например, фильтр смартфона), не обеспечивая глубокого пространственного взаимодействия. MR идёт дальше, гарантируя физическое взаимодействие цифровых объектов с реальным миром (например, цифровой мяч отскакивает от настоящего стола).
• Виртуальная реальность (VR): VR создаёт полностью синтетическую среду, целиком изолируя пользователя от физического мира. MR сохраняет присутствие пользователя в физическом окружении и дополняет его.

Применение компьютерного зрения в MR#

Чтобы создать базовый компонент системы MR, например для обнаружения поверхностей или объектов, на которых нужно закрепить цифровой контент, разработчики часто используют высокоскоростные модели обнаружения. Модель Ultralytics YOLO26 особенно хорошо подходит для этой задачи благодаря низкой задержке и высокой точности, необходимым для сохранения иллюзии реальности.

В следующем примере показано, как выполнить сегментацию экземпляров видеопотока. В контексте MR эта маска на уровне пикселей может определить область, «доступную для перемещения», для цифрового персонажа.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Будущее объединённой реальности#

По мере того как оборудование становится легче, а возможности периферийных вычислений улучшаются, ожидается, что MR станет повсеместной технологией. Интеграция генеративного ИИ, вероятно, позволит средам MR динамически наполняться, автоматически создавая цифровые двойники реальных пространств. С помощью таких инструментов, как Ultralytics Platform, разработчики смогут легко обучать пользовательские модели для распознавания определённых объектов в этих объединённых средах, расширяя границы взаимодействия с информацией в трёхмерном пространстве.