Merged Reality

Смешанная реальность (MR), также известная как Merged Reality, описывает слияние физического мира с цифровым контентом, созданным компьютером. В отличие от строго виртуальных или дополненных сред, смешанная реальность создает бесшовное пространство, где физические и цифровые объекты сосуществуют и взаимодействуют в режиме реального времени. Эта технология в значительной степени опирается на передовое компьютерное зрение и пространственные вычисления для точного отображения физического окружения, позволяя привязывать цифровые артефакты к физическим поверхностям и реагировать на физические изменения. Используя датчики, камеры и алгоритмы глубокого обучения, системы MR способны понимать глубину, геометрию и освещение, создавая иммерсивный опыт, который ощущается осязаемым и привязанным к реальному окружению пользователя.

Link to this sectionЗначимость в ИИ и машинном обучении#

Эволюция смешанной реальности неразрывно связана с достижениями в области искусственного интеллекта. Чтобы успешно объединить цифровой и физический миры, система должна обладать сложным пониманием окружающей среды. Именно здесь становятся критически важными задачи визуального восприятия. Такие методы, как обнаружение объектов, позволяют системе распознавать мебель или людей, в то время как SLAM (Simultaneous Localization and Mapping) позволяет устройству отслеживать собственное положение относительно этих объектов.

Современные приложения MR используют модели глубокого обучения для мгновенной обработки сложных сенсорных данных. Например, оценка позы используется для отслеживания движений рук для жестового управления, устраняя необходимость в физических контроллерах. Кроме того, семантическая сегментация помогает системе различать пол, стены и столы, гарантируя, что цифровой персонаж ходит по полу, а не проходит сквозь стол.

Link to this sectionРеальные приложения#

Смешанная реальность трансформирует индустрии, повышая продуктивность и улучшая обучение с помощью иммерсивных симуляций.

• Промышленное обслуживание и обучение: В производстве технические специалисты используют гарнитуры MR, которые накладывают цифровые схемы на физическое оборудование. Если работник смотрит на конкретную деталь двигателя, система использует инференс в реальном времени для идентификации компонента и отображения инструкций по ремонту или спецификаций момента затяжки непосредственно на детали. Это руководство без использования рук снижает количество ошибок и ускоряет выполнение сложных задач.
• Медицинская хирургия и планирование: Хирурги используют MR для наложения 3D медицинских визуализаций (например, данных МРТ или КТ) непосредственно на тело пациента во время операций. Это позволяет точно визуализировать внутреннюю анатомию без выполнения крупных разрезов. Интегрируя модели сегментации, система может выделять конкретные органы или опухоли в реальном времени, помогая в навигации и улучшая исходы операций.

Link to this sectionРазграничение ключевых терминов#

Важно отличать смешанную реальность от смежных концепций в спектре «XR» (Extended Reality):

• Дополненная реальность (AR): AR обычно накладывает цифровую информацию на поток с камеры (как фильтр в смартфоне) без глубокого пространственного взаимодействия. MR идет дальше, обеспечивая физическое взаимодействие цифровых объектов с реальным миром (например, цифровой мяч, отскакивающий от реального стола).
• Виртуальная реальность (VR): VR создает полностью синтетическую среду, полностью блокируя физический мир. MR сохраняет присутствие пользователя в физическом окружении, дополняя его.

Link to this sectionПрименение компьютерного зрения для MR#

Для создания базового компонента системы MR, такого как обнаружение поверхностей или объектов для привязки цифрового контента, разработчики часто используют высокоскоростные модели обнаружения. Модель Ultralytics YOLO26 особенно хорошо подходит для этого благодаря низкой задержке и высокой точности, которые необходимы для поддержания иллюзии реальности.

Следующий пример демонстрирует, как выполнять сегментацию экземпляров на видеопотоке. В контексте MR эта маска на уровне пикселей может определять «проходимую» область для цифрового персонажа.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Link to this sectionБудущее смешанной реальности#

По мере того как оборудование становится легче, а возможности периферийных вычислений улучшаются, ожидается, что MR станет повсеместной. Интеграция генеративного ИИ, вероятно, позволит средам MR наполняться динамически, автоматически создавая цифровые двойники реальных пространств. С помощью таких инструментов, как Ultralytics Platform, разработчики могут легко обучать пользовательские модели распознаванию конкретных объектов в этих смешанных средах, расширяя границы того, как мы взаимодействуем с информацией в трехмерном пространстве.