Изучаем развитие AR-технологий и очки Orion от Meta

Хотя мы живём в богатом данными и информацией трёхмерном (3D) мире, большинство устройств, которыми мы пользуемся каждый день, работают с двухмерным (2D) экраном. Однако по мере развития технологий ситуация постепенно меняется благодаря появлению таких инноваций, как дополненная реальность (AR). AR используется для объединения цифрового контента, такого как изображения, звуки и данные, с окружающим нас реальным миром, делая взаимодействие с ним более интерактивным и увлекательным.

Искусственный интеллект (AI), особенно компьютерное зрение, является одной из главных движущих сил дополненной реальности. Vision AI позволяет устройствам AR анализировать и интерпретировать окружающую обстановку, обнаруживая объекты, отслеживая движения и распознавая пространственные особенности. В этой статье мы расскажем, как работает дополненная реальность и где она применяется — например, в образовании, здравоохранении и развлечениях. Мы также обсудим недавние достижения, например новые очки дополненной реальности Orion от Meta, которые делают AR более доступной. Давай начнём!

Рис. 1. Ученик использует AR в классе (источник: elearningindustry.com).

Эволюция дополненной реальности#

Дополненная реальность добавляет цифровые элементы, такие как изображения, видео или 3D-модели, в реальный мир с помощью таких устройств, как смартфоны, планшеты или очки AR. Например, если навести камеру телефона на пустой стол, AR может создать впечатление, будто на нём стоит виртуальная чашка кофе. AR расширяет наше восприятие окружающего мира, объединяя элементы, созданные компьютером, с тем, что мы видим в реальности.

В 1968 году Иван Сазерленд, известный как «отец компьютерной графики», создал в Гарварде первый шлем дополненной реальности. Изначально AR применялась в таких областях, как авиация, военное дело и промышленное обучение. Первое коммерческое применение AR появилось в 2008 году в интерактивной рекламе BMW Mini. Если держать печатную рекламу из журнала перед камерой компьютера, пользователь мог увидеть на экране цифровую модель автомобиля и управлять её движениями, создавая ощущение взаимодействия с машиной в реальном мире. Это открыло AR путь в такие отрасли, как маркетинг, туризм, мода и развлечения. После выхода популярных игровых приложений, таких как Pokémon Go в 2016 году, распространение AR ускорилось. Ожидается, что объём мирового рынка дополненной реальности достигнет впечатляющих 2 804,82 млрд долларов к 2034 году.

Рис. 2. График роста объёма мирового рынка AR.

Роль компьютерного зрения в AR#

Различные технологии, включая компьютерное зрение, датчики и машинное обучение, работают вместе, создавая эффект присутствия в дополненной реальности. В частности, компьютерное зрение лежит в основе интеграции цифрового контента в реальную окружающую среду с помощью AR. Рассмотрим подробнее, как компьютерное зрение способствует развитию AR:

• Распознавание объектов: используя методы компьютерного зрения, такие как обнаружение объектов, сегментация изображений и отслеживание объектов, системы AR могут распознавать объекты, анализируя их размер, форму и цвет. После распознавания поверх изображения можно наложить виртуальный контент, например 3D-модели или текст.
• Локализация и построение карты: компьютерное зрение можно использовать для одновременной локализации и построения карты (SLAM), чтобы отслеживать положение и ориентацию устройства в реальном времени. Это позволяет виртуальным элементам оставаться точно совмещёнными с полем зрения пользователя и обеспечивает стабильное взаимодействие.
• Распознавание жестов и движений: Vision AI можно использовать для отслеживания жестов, выражений лица и движений пользователя, обеспечивая естественное взаимодействие с виртуальным контентом в AR.
• Оценка глубины: анализ изображений помогает устройствам AR понимать, на каком расстоянии находятся объекты в окружающей среде, анализируя видимое пространство. Благодаря этому виртуальные элементы размещаются на правильном расстоянии, естественно сливаются с реальным миром и делают взаимодействие с AR более качественным.
• Адаптация к окружающей среде: компьютерное зрение можно использовать для настройки виртуальных объектов с учётом таких условий реального мира, как освещение, отражения и тени в AR.

Например, представим, что ты используешь приложение AR, чтобы рассмотреть цифровую скульптуру в гостиной. Когда ты перемещаешь телефон или гарнитуру AR, система компьютерного зрения начинает распознавать окружающие предметы, например диван или журнальный столик, с помощью обнаружения объектов.

Одновременно технология SLAM создаёт карту планировки комнаты и отслеживает положение устройства, чтобы скульптура оставалась на одном месте. Когда ты подходишь ближе, оценка глубины помогает приложению скорректировать размер скульптуры, чтобы она выглядела реалистично расположенной. Если ты взмахнёшь рукой, распознавание жестов позволит повернуть или изменить размер скульптуры. Приложение также может адаптировать освещение и тени скульптуры к условиям освещения в комнате, благодаря чему она естественно впишется в интерьер гостиной.

Orion: очки дополненной реальности от Meta#

AR стремительно развивается, и 25 сентября 2024 года на мероприятии Meta Connect 2024 компания Meta недавно представила очки Orion AR. По словам генерального директора Meta Марка Цукерберга, Orion — самые совершенные очки AR из когда-либо созданных, объединяющие множество передовых функций. Внешне они похожи на обычные очки, но обладают эффектом полного погружения в AR и обеспечивают самое широкое на данный момент поле зрения среди очков AR.

Очки лёгкие, а их оправа изготовлена из магния — материала, похожего на тот, что используется в автомобилях F1. Для комфорта предусмотрена продвинутая система охлаждения, созданная по образцу спутников NASA. В очках используется дисплей нового поколения из специально разработанного карбида кремния с крошечными проекторами, способными создавать прямо перед пользователем голограммы разной глубины и размера.

Очки Orion AR поддерживают голосовое управление, отслеживание рук, отслеживание взгляда и интерфейс в виде браслета, который считывает электрические импульсы мышц и позволяет управлять элементами AR едва заметными движениями. Браслет выполняет роль нейроинтерфейса, позволяя взаимодействовать с очками с помощью простых жестов, поэтому он является важной частью общего пользовательского опыта. В комплект также входит небольшой вычислительный модуль размером с карман, обеспечивающий необходимую вычислительную мощность в дороге.

Рис. 3. Очки Orion AR от Meta, нейробраслет и вычислительный модуль.

Orion выделяется интеграцией с Meta AI — интеллектуальным помощником, который распознаёт объекты реального мира и предоставляет полезную информацию. Например, если ты посмотришь на набор ингредиентов, Meta AI сможет предложить рецепты. Ты также можешь превратить любую стену в экран для просмотра видео, участвовать в голографических видеозвонках или играть в интерактивные игры, что делает Orion важным и впечатляющим шагом в развитии AR.

Применение носимых AR-технологий#

Носимые AR-технологии, такие как очки или гарнитуры Orion AR, позволяют использовать дополненную реальность без необходимости держать устройство в руках, в отличие от телефона или планшета. Рассмотрим различные области применения, в которых носимые AR-технологии уже меняют привычные процессы.

AR делает образование более доступным#

Многие ученики лучше усваивают материал на практике или визуально, поэтому дополненная реальность может помочь учителям создавать более интерактивные уроки. С помощью носимых AR-технологий, таких как гарнитуры или умные очки, учителя и ученики могут более динамично взаимодействовать с образовательным контентом и учиться в любое время и в любом месте.

Эти носимые устройства особенно полезны в удалённых регионах, поскольку многие приложения AR могут работать без подключения к интернету или при минимальной связи после загрузки необходимых данных. Развивающиеся страны используют носимые AR-технологии, чтобы обеспечить качественное образование нуждающимся ученикам. В таких странах, как Руанда, Нигерия и Южная Африка, носимые AR-технологии помогают обучать школьников в удалённых районах; только в Руанде они охватывают более 500 000 учащихся.

Рис. 4. Ученик в удалённом районе Африки использует AR-технологии для обучения (источник: nepad.org).

Очки AR для игр#

Самое популярное применение AR — игры. Игровая индустрия начинает осознавать, насколько очки AR способны сделать игры более захватывающими и интерактивными. С помощью AR игроки видят виртуальные элементы в реальном мире и ощущают себя настоящими участниками игры. Например, они могут исследовать окружающее пространство и взаимодействовать с ним без помощи рук, благодаря чему игровой процесс становится более естественным.

Хотя игры с AR впервые стали популярными на мобильных устройствах, например в Pokémon Go, где игроки использовали камеры телефонов для ловли покемонов, ожидается, что переход к очкам AR сделает игровой процесс ещё более захватывающим. Pokémon Go стала важной вехой, продемонстрировав потенциал AR: за первые 7 дней игра привлекла более 20 миллионов активных игроков.

Рис. 5. Игроки используют AR в игре Pokémon Go.

Как AR помогает врачам и хирургам#

Благодаря дополненной реальности врачи и медицинские специалисты могут получать доступ к медицинским изображениям и изучать их в 3D. Фактически, инструменты медицинской визуализации с поддержкой AR помогают врачам видеть анатомию пациента в трёхмерной среде. Более наглядное представление может привести к более точной диагностике, улучшить результаты операций и повысить безопасность процедур.

AR также помогает специалистам в сфере здравоохранения оказывать более персонализированную и эффективную помощь, определяя расположение и распространённость заболеваний, планируя хирургические процедуры и помогая пациентам лучше понимать своё состояние. Например, с помощью гарнитур AR хирурги могут просматривать жизненные показатели пациента во время медицинской процедуры, не переключаясь между несколькими устройствами и экранами. Благодаря этому вероятность неправильно прочитать или интерпретировать данные снижается.

Рис. 5. Медицинский специалист использует гарнитуру AR во время операции.

Основные выводы#

Дополненная реальность призвана изменить наше взаимодействие с цифровым миром. Объединяя виртуальные элементы с реальным миром, AR создаёт более захватывающий опыт по сравнению с традиционными экранами. Очки Orion AR от Meta с их передовыми функциями, удобной конструкцией и возможностями AI становятся важным шагом вперёд для AR-технологий. По мере того как AR будет всё чаще входить в нашу повседневную жизнь, граница между физическим и цифровым мирами, вероятно, станет менее заметной, открывая новые возможности для инноваций и творчества.

Хочешь узнать больше об AI? Загляни в наш репозиторий GitHub, чтобы увидеть наш вклад в развитие AI и компьютерного зрения, и не забудь присоединиться к нашему сообществу. Узнай, как с помощью передовых технологий AI мы меняем такие отрасли, как производство и сельское хозяйство.