Исследование достижений в области технологий AR и очков Orion от Meta

Хотя мы живем в богатом, трехмерном (3D) мире, наполненном данными и информацией, большинство устройств, которыми мы пользуемся ежедневно, полагаются на двухмерный (2D) экран. Однако по мере развития технологий ситуация постепенно меняется с появлением таких инноваций, как дополненная реальность (AR). AR используется для наложения цифрового контента, такого как изображения, звуки и данные, на реальный мир, делая его более интерактивным и увлекательным.

Искусственный интеллект (ИИ), особенно компьютерное зрение, является главной движущей силой дополненной реальности. Vision AI позволяет AR-устройствам анализировать и интерпретировать окружающую обстановку посредством обнаружения объектов, отслеживания движения и распознавания пространственных характеристик. В этой статье мы исследуем, как работает дополненная реальность и где она применяется, например, в образовании, здравоохранении и развлечениях. Мы также обсудим недавние прорывы, такие как новые очки дополненной реальности Orion от Meta, которые делают AR более доступной. Давай начнем!

Рис. 1. Студент использует AR в классе (Источник: elearningindustry.com).

Link to this sectionЭволюция дополненной реальности#

Дополненная реальность добавляет цифровые элементы, такие как изображения, видео или 3D-модели, в реальный мир с помощью устройств, таких как смартфоны, планшеты или очки дополненной реальности. Например, если ты направишь камеру телефона на пустой стол, AR позволит создать иллюзию виртуальной кофейной чашки, стоящей на нем. AR может улучшить наше восприятие окружения, смешивая компьютерно-генерируемые элементы с тем, что мы видим в реальной жизни.

В 1968 году Иван Сазерленд, известный как «отец компьютерной графики», создал первый AR-шлем в Гарварде. Изначально AR использовалась в таких областях, как авиация, военное дело и промышленное обучение. Первое коммерческое использование AR появилось в 2008 году в интерактивной рекламе BMW Mini. Удерживая печатное рекламное объявление перед камерой компьютера, пользователи могли увидеть цифровую модель автомобиля на экране и управлять его движениями, что создавало ощущение взаимодействия с машиной в реальной жизни. Это открыло путь для внедрения AR в такие отрасли, как маркетинг, туризм, мода и развлечения. С появлением популярных игровых приложений, таких как Pokémon Go в 2016 году, использование AR возросло. Прогнозируется, что к 2034 году мировой рынок дополненной реальности достигнет внушительной отметки примерно в 2 804,82 миллиарда долларов.

Рис. 2. График роста объема мирового рынка AR.

Link to this sectionРоль компьютерного зрения в AR#

Различные технологии, включая компьютерное зрение, сенсоры и машинное обучение, работают вместе для создания иммерсивного опыта дополненной реальности. Компьютерное зрение, в частности, закладывает основу того, как цифровой контент легко интегрируется в реальные условия с помощью AR. Давай подробнее рассмотрим различные способы, которыми компьютерное зрение способствует развитию AR:

• Распознавание объектов: используя методы компьютерного зрения, такие как обнаружение объектов, сегментация изображений и отслеживание объектов, AR-системы могут распознавать объекты, анализируя их размер, форму и цвет. После идентификации может быть наложен виртуальный контент, такой как 3D-модели или текст.
• Локализация и картографирование: компьютерное зрение может использоваться для одновременной локализации и построения карты (SLAM), чтобы отслеживать положение и ориентацию устройства в реальном времени, гарантируя, что виртуальные элементы остаются точно выровненными относительно взгляда пользователя для обеспечения стабильной работы.
• Распознавание жестов и движений: vision AI может использоваться для отслеживания жестов, мимики и движений пользователя, позволяя естественно взаимодействовать с виртуальным контентом в AR.
• Оценка глубины: аналитика изображений помогает AR-устройствам понимать, на каком расстоянии находятся объекты в окружающей среде, анализируя то, что они видят. Это помогает размещать виртуальные элементы на правильном расстоянии, позволяя им естественно сливаться с реальным миром и улучшая общее впечатление от AR.
• Адаптация к окружающей среде: компьютерное зрение может использоваться для настройки виртуальных объектов, чтобы они реагировали на условия реального мира, такие как освещение, отражения и тени в AR.

Например, представь, что ты используешь AR-приложение для просмотра цифровой скульптуры у себя в гостиной. Когда ты перемещаешь телефон или AR-гарнитуру, система компьютерного зрения начинает распознавать объекты в комнате, например, твой диван или журнальный столик, используя обнаружение объектов.

Одновременно технология SLAM строит карту планировки комнаты и отслеживает положение твоего устройства, чтобы скульптура оставалась зафиксированной в одном месте. Когда ты подходишь ближе, оценка глубины помогает приложению настроить размер скульптуры, делая ее реалистично расположенной. Если ты помашешь рукой, распознавание жестов может позволить тебе поворачивать или изменять размер скульптуры. Приложение также может адаптировать освещение и тени скульптуры в соответствии с условиями освещения в комнате, позволяя ей бесшовно вписаться в твою гостиную.

Link to this sectionOrion: очки дополненной реальности от Meta#

AR быстро развивается, и Meta недавно анонсировала свои AR-очки Orion 25 сентября 2024 года на мероприятии Meta Connect 2024. По словам генерального директора Meta Марка Цукерберга, Orion — это самые совершенные AR-очки из когда-либо созданных, сочетающие в себе множество передовых функций. Они выглядят как обычные очки, но обладают иммерсивными возможностями AR, предлагая самое большое поле зрения, виденное в AR-очках на данный момент.

Очки легкие, их оправа выполнена из магния, похожего на тот, что используется в болидах F1, а усовершенствованная система охлаждения, вдохновленная спутниками NASA, обеспечивает комфорт. В них используется дисплей нового поколения из специального карбида кремния с крошечными проекторами, которые могут создавать голограммы различной глубины и размера прямо перед тобой.

AR-очки Orion поставляются с поддержкой голосового управления, отслеживания рук, отслеживания взгляда и интерфейса в виде браслета, который считывает электрические импульсы от твоих мышц для управления AR-элементами с помощью едва заметных движений. Браслет действует как нейронный интерфейс, позволяя взаимодействовать с очками с помощью простых жестов, что является ключевой частью общего опыта. Также в комплект входит небольшой, карманный вычислительный блок, обеспечивающий необходимую вычислительную мощность на ходу.

Рис. 3. AR-очки Orion, нейронный браслет и вычислительный блок от Meta.

Что делает Orion особенными, так это интеграция с Meta AI, умным помощником, способным распознавать объекты реального мира и предоставлять полезную информацию. Например, если ты посмотришь на набор ингредиентов, Meta AI может предложить рецепты. Ты также можешь превратить любую стену в экран для просмотра видео, присоединяться к голографическим видеозвонкам или играть в интерактивные игры, что делает Orion захватывающим шагом в AR-опыте.

Link to this sectionПрименение носимых AR-технологий#

Носимые AR-технологии, такие как AR-очки Orion или гарнитуры, позволяют тебе ощутить дополненную реальность, не удерживая устройство в руках, в отличие от использования телефона или планшета. Давай рассмотрим различные области применения, где носимая AR меняет ситуацию.

Link to this sectionAR делает образование более доступным#

Многие студенты лучше воспринимают информацию на практике или визуально, и дополненная реальность может помочь учителям создавать более интерактивные уроки. С помощью носимых AR-технологий, таких как гарнитуры или умные очки, учителя и ученики могут взаимодействовать с образовательным контентом более динамично, что позволяет им учиться в любое время и в любом месте.

Эти носимые устройства особенно полезны в отдаленных районах, поскольку многие AR-приложения могут работать в автономном режиме или при минимальном подключении после загрузки необходимых данных. Развивающиеся страны используют носимую AR, чтобы предоставить качественное образование нуждающимся студентам. В таких странах, как Руанда, Нигерия и Южная Африка, носимая AR помогает обучать студентов в отдаленных районах, охватывая более 500 000 учеников только в Руанде.

Рис. 4. Студент в отдаленном районе Африки использует AR-технологию для учебы (Источник: nepad.org).

Link to this sectionAR-очки для игр#

Наиболее популярное применение AR — это игры. Игровая индустрия начинает осознавать, как AR-очки могут сделать игры более захватывающими и интерактивными. Игроки могут видеть виртуальные элементы в реальном мире через AR, благодаря чему чувствуют, что они действительно являются частью игры. Например, игроки могут исследовать свое окружение и взаимодействовать с ним без помощи рук, что делает процесс более естественным.

Хотя AR-игры впервые стали популярны на мобильных устройствах, как в случае с Pokémon Go, где игроки использовали камеры телефонов для ловли покемонов, переход на AR-очки, как ожидается, сделает игры еще более увлекательными. Pokémon Go является важной вехой, поскольку продемонстрировала потенциал AR, собрав более 20 миллионов активных игроков всего за 7 дней.

Рис. 5. Игроки используют AR в игре Pokémon Go.

Link to this sectionКак AR помогает врачам и хирургам#

Благодаря дополненной реальности врачи и медицинские специалисты могут получать доступ к медицинским изображениям в 3D и изучать их. Более того, AR-инструменты для медицинской визуализации могут помочь врачам визуализировать анатомию пациента в 3D-среде. Более четкая визуализация может привести к более точным диагнозам, улучшенным результатам операций и более безопасным процедурам.

AR также может помочь медицинским работникам предоставлять более персонализированную и эффективную помощь за счет определения местоположения и степени тяжести заболеваний, планирования хирургических вмешательств и обеспечения лучшего понимания пациентами своих состояний. Например, используя AR-гарнитуры, хирурги могут просматривать жизненно важные показатели пациента во время медицинской процедуры, не переключаясь между несколькими устройствами и экранами дисплеев. Таким образом, они с меньшей вероятностью ошибочно прочитают или неверно истолкуют данные.

Рис. 5. Медицинский работник использует AR-гарнитуру во время операции.

Link to this sectionОсновные выводы#

Дополненная реальность изменит то, как мы взаимодействуем с цифровым миром. Объединяя виртуальные элементы с реальным миром, AR создает более иммерсивный опыт, чем традиционные экраны. AR-очки Orion от Meta с их передовыми функциями, удобным дизайном и возможностями ИИ — это большой шаг вперед в технологиях AR. Поскольку AR становится все более привычной частью нашей повседневной жизни, мы можем ожидать, что грань между физическим и цифровым мирами сотрется, что откроет новые возможности для инноваций и творчества.

Хочешь узнать больше об ИИ? Загляни в наш репозиторий на GitHub, чтобы увидеть наш вклад в ИИ и компьютерное зрение, и не забудь пообщаться с нашим сообществом. Узнай, как мы меняем такие отрасли, как производство и сельское хозяйство, с помощью передовых технологий ИИ.