Развитие технологий дополненной реальности и очки Orion от Meta

Хотя мы живём в богатом данными и информацией трёхмерном (3D) мире, большинство устройств, которыми мы пользуемся каждый день, опираются на двумерный (2D) экран. Однако по мере развития технологий это постепенно меняется благодаря таким инновациям, как дополненная реальность (AR). AR объединяет цифровой контент — например, изображения, звуки и данные — с реальной средой вокруг нас, делая взаимодействие с ней более увлекательным и интерактивным.

Искусственный интеллект (AI), особенно компьютерное зрение, — одна из главных движущих сил дополненной реальности. ИИ в компьютерном зрении позволяет устройствам AR анализировать и интерпретировать окружение, обнаруживая объекты, отслеживая движение и распознавая пространственные особенности. В этой статье мы рассмотрим принципы работы дополненной реальности и её применение в таких областях, как образование, здравоохранение и развлечения. Также мы обсудим последние разработки, например новые очки дополненной реальности Orion от Meta, которые делают AR доступнее.

Рис. 1. Ученик использует AR в классе (Источник: elearningindustry.com).

Развитие дополненной реальности#

Дополненная реальность добавляет цифровые элементы, например изображения, видео или 3D-модели, в реальный мир с помощью таких устройств, как смартфоны, планшеты или AR-очки. Например, если навести камеру телефона на пустой стол, AR может создать впечатление, будто на нём стоит виртуальная чашка кофе. AR помогает по-новому увидеть окружающий мир, объединяя созданные компьютером элементы с тем, что мы видим в реальности.

В 1968 году Иван Сазерленд, известный как «отец компьютерной графики», создал первый наголовный AR-дисплей в Гарварде. Изначально AR использовали в таких областях, как авиация, вооружённые силы и промышленное обучение. Первое коммерческое применение AR появилось в 2008 году в интерактивной рекламе BMW Mini. Если поднести печатную журнальную рекламу к камере компьютера, на экране появлялась цифровая модель автомобиля, движением которой можно было управлять, создавая ощущение взаимодействия с машиной в реальном мире. Это открыло AR путь в такие отрасли, как маркетинг, туризм, мода и развлечения. С распространением популярных игровых приложений, таких как Pokémon Go в 2016 году, использование AR выросло. По прогнозам, к 2034 году объём мирового рынка дополненной реальности достигнет примерно 2 804,82 млрд долларов.

Рис. 2. График роста мирового рынка AR.

Роль компьютерного зрения в AR#

Различные технологии, включая компьютерное зрение, датчики и машинное обучение, работают вместе, чтобы создавать захватывающие возможности дополненной реальности. В частности, компьютерное зрение лежит в основе интеграции цифрового контента в реальные пространства с помощью AR. Рассмотрим подробнее, как компьютерное зрение способствует развитию AR:

• Распознавание объектов: используя методы компьютерного зрения, например обнаружение объектов, сегментацию изображений и отслеживание объектов, AR-системы распознают объекты, анализируя их размер, форму и цвет. После распознавания поверх изображения можно накладывать виртуальный контент, например 3D-модели или текст.
• Локализация и построение карты: Компьютерное зрение можно использовать для одновременной локализации и построения карты (SLAM), чтобы в реальном времени отслеживать положение и ориентацию устройства. Это позволяет точно совмещать виртуальные элементы с изображением, которое видит пользователь, и обеспечивает стабильную работу.
• Распознавание жестов и движений: Vision AI можно использовать для отслеживания жестов, выражений лица и движений пользователей, обеспечивая естественное взаимодействие с виртуальным контентом в AR.
• Оценка глубины: Анализ изображений помогает AR-устройствам определять, на каком расстоянии находятся объекты в окружающем пространстве. Благодаря этому виртуальные элементы располагаются на правильном расстоянии, естественно вписываются в реальный мир и делают AR удобнее.
• Адаптация к окружению: компьютерное зрение можно использовать, чтобы виртуальные объекты подстраивались под реальные условия, например освещение, отражения и тени.

Представь, что ты используешь AR-приложение, чтобы посмотреть на цифровую скульптуру в гостиной. Когда ты двигаешь телефон или AR-гарнитуру, система компьютерного зрения начинает распознавать окружающие предметы, например диван или журнальный столик, с помощью обнаружения объектов.

Одновременно технология SLAM строит карту комнаты и отслеживает положение устройства, чтобы скульптура оставалась на одном месте. Когда ты подходишь ближе, оценка глубины помогает приложению изменить размер скульптуры, чтобы она выглядела реалистично расположенной. Если ты помашешь рукой, распознавание жестов позволит вращать скульптуру или менять её размер. Приложение также может подстроить освещение и тени скульптуры под условия освещения в комнате, чтобы она естественно вписывалась в интерьер гостиной.

Orion: очки дополненной реальности от Meta#

AR быстро развивается: 25 сентября 2024 года на мероприятии Meta Connect 2024 компания Meta представила свои AR-очки Orion. По словам генерального директора Meta Марка Цукерберга, Orion — самые передовые AR-очки из когда-либо созданных, сочетающие множество современных функций. Они выглядят как обычные очки, но обладают эффектом погружения в AR и обеспечивают самое широкое поле зрения среди AR-очков на сегодняшний день.

Очки лёгкие, а их оправа изготовлена из магния — материала, который используют в автомобилях F1. Для комфорта предусмотрена усовершенствованная система охлаждения, разработанная по образцу систем на спутниках NASA. В очках используется дисплей нового поколения из карбида кремния, а крошечные проекторы создают прямо перед тобой голограммы разной глубины и размера.

Очки AR Orion поддерживают голосовое управление, отслеживание рук и отслеживание взгляда. В комплект также входит интерфейс-браслет, который улавливает электрические импульсы мышц и позволяет управлять элементами AR едва заметными движениями. Браслет работает как нейроинтерфейс: с его помощью можно взаимодействовать с очками простыми жестами, что делает его важной частью общего пользовательского опыта. Кроме того, в комплект входит небольшой карманный вычислительный модуль, обеспечивающий необходимую мощность в дороге.

Рис. 3. AR-очки Orion от Meta, нейронный браслет и вычислительный модуль.

Orion выделяется интеграцией с Meta AI — умным помощником, который распознаёт реальные объекты и предлагает полезную информацию. Например, если ты посмотришь на набор ингредиентов, Meta AI предложит рецепты. Ты также можешь превратить любую стену в экран для просмотра видео, участвовать в голографических видеозвонках или играть в интерактивные игры — всё это делает Orion интересным шагом вперёд в развитии AR.

Применение носимых AR-технологий#

Носимые AR-технологии, например очки AR или шлемы Orion, позволяют пользоваться дополненной реальностью без необходимости держать устройство в руках, в отличие от телефона или планшета. Рассмотрим разные области, в которых носимые AR-технологии уже меняют ситуацию.

AR делает образование доступнее#

Многие ученики лучше усваивают материал на практике или с помощью наглядных примеров, и дополненная реальность может помочь учителям сделать уроки более интерактивными. С носимыми AR-устройствами, например шлемами или умными очками, учителя и ученики могут динамичнее взаимодействовать с учебными материалами и учиться в любое время и в любом месте.

Такие носимые устройства особенно полезны в отдалённых районах, поскольку многие приложения AR могут работать офлайн или при минимальном подключении после загрузки необходимых данных. Развивающиеся страны используют носимые AR-устройства, чтобы дать качественное образование нуждающимся ученикам. Например, в Руанде, Нигерии и Южной Африке носимые AR-технологии помогают обучать детей в отдалённых районах; только в Руанде ими охвачено более 500 000 учеников.

Рис. 4. Ученик в отдалённом районе Африки использует AR-технологии для учёбы (Источник: nepad.org).

Очки AR для игр#

Самое популярное применение AR — игры. Игровая индустрия начинает понимать, как очки AR могут сделать игры более иммерсивными и интерактивными. Игроки видят виртуальные элементы в реальном мире и чувствуют себя участниками игры. Например, игроки могут исследовать окружение и взаимодействовать с ним, не используя руки, благодаря чему игровой процесс становится естественнее.

Хотя игры с AR впервые стали популярными на мобильных устройствах — например, в Pokémon Go игроки использовали камеры телефонов, чтобы ловить покемонов, — переход на AR-очки, как ожидается, сделает игры ещё увлекательнее. Pokémon Go стала важной вехой, поскольку продемонстрировала потенциал AR, набрав более 20 миллионов активных игроков всего за 7 дней.

Рис. 5. Игроки используют AR в Pokémon Go.

Как AR помогает врачам и хирургам#

Благодаря дополненной реальности врачи и другие медицинские специалисты могут изучать медицинские изображения в 3D. Например, медицинские системы визуализации с поддержкой AR помогают врачам изучать анатомию пациента в 3D-пространстве. Более наглядная визуализация может повысить точность диагностики, улучшить результаты операций и сделать процедуры безопаснее.

AR также помогает специалистам в сфере здравоохранения оказывать более персонализированную и эффективную помощь: определять расположение и степень распространения заболеваний, планировать операции и помогать пациентам лучше понимать своё состояние. Например, с помощью AR-гарнитур хирурги могут просматривать показатели жизнедеятельности пациента во время медицинской процедуры, не переключаясь между несколькими устройствами и экранами. Благодаря этому они реже неверно считывают или интерпретируют данные.

Рис. 6. Медицинский специалист использует AR-гарнитуру во время операции.

Главные выводы#

Дополненная реальность изменит то, как мы взаимодействуем с цифровым миром. Объединяя виртуальные элементы с реальным миром, AR обеспечивает более полное погружение, чем традиционные экраны. AR-очки Orion от Meta с передовыми функциями, удобным дизайном и возможностями AI — важный шаг в развитии технологии AR. По мере того как AR будет входить в нашу повседневную жизнь, граница между физическим и цифровым мирами станет менее заметной, открывая новые возможности для инноваций и творчества.

Хочешь узнать больше об AI? Загляни в наш репозиторий GitHub, чтобы увидеть наш вклад в развитие AI и компьютерного зрения, и присоединяйся к нашему сообществу. Узнай, как с помощью технологий AI мы меняем такие отрасли, как производство и сельское хозяйство.