Исследование достижений в области технологий AR и очков Orion от Meta

Хотя мы живем в насыщенном трехмерном (3D) мире, полном данных и информации, большинство устройств, которые мы используем ежедневно, полагаются на двумерный (2D) экран. Однако по мере развития технологий это постепенно меняется с появлением таких инноваций, как дополненная реальность (AR). AR используется для того, чтобы объединять цифровой контент, такой как изображения, звуки и данные, с нашим реальным окружением, делая его более интерактивным и увлекательным.

Искусственный интеллект (ИИ), особенно компьютерное зрение, является главной движущей силой дополненной реальности. Визуальный ИИ позволяет устройствам AR анализировать и интерпретировать окружающую среду посредством обнаружения объектов, отслеживания движения и распознавания пространственных особенностей. В этой статье мы рассмотрим, как работает дополненная реальность и каковы ее применения в таких областях, как образование, здравоохранение и развлечения. Мы также обсудим недавние прорывы, такие как новые очки дополненной реальности Meta Orion, которые делают AR более доступной. Давайте начнем!

Рис. 1. Студент использует AR в классе (Источник: elearningindustry.com).

Эволюция дополненной реальности#

Дополненная реальность добавляет цифровые элементы, такие как изображения, видео или 3D-модели, в реальный мир с помощью таких устройств, как смартфоны, планшеты или AR-очки. Например, если направить камеру телефона на пустой стол, AR может создать видимость того, что на нем стоит виртуальная чашка кофе. AR может улучшить наше восприятие окружения, объединяя сгенерированные компьютером элементы с тем, что мы видим в реальной жизни.

В 1968 году Айван Сазерленд, известный как «отец компьютерной графики», создал первый наголовный AR-дисплей в Гарварде. Первоначально AR применялась в таких сферах, как авиация, военное дело и промышленное обучение. Первое коммерческое использование AR появилось в 2008 году в виде интерактивной рекламы BMW Mini. Удерживая печатную рекламу из журнала перед камерой компьютера, пользователи могли видеть цифровую модель автомобиля на экране и управлять ее движениями, создавая ощущение реального взаимодействия с машиной. Это открыло путь для внедрения AR в такие отрасли, как маркетинг, туризм, мода и развлечения. С появлением популярных игровых приложений, таких как Pokémon Go в 2016 году, популярность AR возросла. Прогнозируется, что глобальный рынок дополненной реальности достигнет ошеломляющих 2 804,82 млрд долларов США к 2034 году.

Рис. 2. График, показывающий рост объема мирового рынка AR.

Роль компьютерного зрения в AR#

Различные технологии, включая компьютерное зрение, датчики и машинное обучение, работают вместе, чтобы создавать эффекты погружения в дополненной реальности. В частности, компьютерное зрение служит основой для того, как цифровой контент легко интегрируется в реальную среду с помощью AR. Давайте подробнее рассмотрим различные способы, которыми компьютерное зрение вносит свой вклад в AR:

• Распознавание объектов: используя методы компьютерного зрения, такие как обнаружение объектов, сегментация изображений и отслеживание объектов, системы AR могут распознавать объекты, анализируя их размер, форму и цвет. После идентификации можно накладывать виртуальный контент, например 3D-модели или текст.
• Локализация и картографирование: компьютерное зрение может использоваться для одновременной локализации и построения карты (SLAM), чтобы отслеживать положение и ориентацию устройства в реальном времени, гарантируя, что виртуальные элементы остаются точно выровненными относительно взгляда пользователя для обеспечения стабильной работы.
• Распознавание жестов и движений: визуальный ИИ можно использовать для отслеживания жестов пользователя, выражения лица и движений, что позволяет естественно взаимодействовать с виртуальным контентом в AR.
• Оценка глубины: Аналитика изображений помогает устройствам AR понимать, на каком расстоянии находятся объекты в окружающей среде, анализируя то, что они видят. Это помогает размещать виртуальные элементы на правильном расстоянии, заставляя их естественно сливаться с реальным миром и улучшая общее впечатление от AR.
• Адаптация к окружающей среде: компьютерное зрение может использоваться для настройки виртуальных объектов, чтобы они реагировали на условия реального мира, такие как освещение, отражения и тени в AR.

Например, предположим, что вы используете AR-приложение для просмотра цифровой скульптуры в своей гостиной. Когда вы перемещаете телефон или AR-гарнитуру, система компьютерного зрения начинает распознавать объекты в комнате, такие как диван или журнальный столик, используя обнаружение объектов.

Simultaneously, SLAM technology maps the room's layout and tracks your device's position to make sure the sculpture stays fixed in one spot. As you walk closer, depth estimation helps the app adjust the sculpture's size, making it appear realistically positioned. If you wave your hand, gesture recognition can allow you to rotate or resize the sculpture. The app might also adapt the sculpture's lighting and shadows to match the room's lighting conditions, making it blend seamlessly into your living room.

Orion: очки дополненной реальности от Meta#

AR стремительно развивается, и компания Meta недавно анонсировала свои AR-очки Orion 25 сентября 2024 года на мероприятии Meta Connect 2024. По словам генерального директора Meta Марка Цукерберга, Orion — это самые передовые AR-очки из когда-либо созданных, объединяющие множество передовых функций. Они выглядят как обычная пара очков, но обладают возможностями погружения в AR, предлагая самое большое поле зрения из всех до сих пор созданных AR-очков.

Очки легкие, с оправой из магния, аналогичной той, что используется в болидах F1, и передовой системой охлаждения, вдохновленной спутниками NASA, для большего комфорта. В них используется дисплей нового поколения из кастомного карбида кремния с крошечными проекторами, которые могут создавать голограммы разной глубины и размеров прямо перед вами.

AR-очки Orion оснащены опциями голосового управления, трекинга рук, отслеживания глаз и интерфейсом в виде браслета, который считывает электрические импульсы от ваших мышц для управления элементами AR с помощью тонких движений. Браслет служит нейронным интерфейсом, позволяя взаимодействовать с очками с помощью простых жестов, что делает его ключевой частью общего опыта. Очки также поставляются с небольшим карманным процессорным модулем, который обеспечивает необходимую вычислительную мощность на ходу.

Рис. 3. AR-очки Orion от Meta, нейробраслет и процессорный модуль.

Что выделяет Orion, так это интеграция с Meta AI, умным помощником, способным распознавать реальные объекты и предоставлять полезную информацию. Например, если вы посмотрите на набор ингредиентов, ИИ Meta может предложить рецепты. Вы также можете превратить любую стену в экран для просмотра видео, присоединяться к голографическим видеозвонкам или играть в интерактивные игры, что делает Orion захватывающим шагом вперед в мире AR.

Применение носимых AR-технологий#

Носимые AR-технологии, такие как AR-очки Orion или гарнитуры, позволяют тебе ощутить дополненную реальность, не удерживая устройство в руках, в отличие от использования телефона или планшета. Давай рассмотрим различные области применения, где носимая AR меняет ситуацию.

AR делает образование более доступным#

Многие студенты лучше воспринимают практический или визуальный материал, и дополненная реальность может помочь учителям создавать более интерактивные уроки. Используя носимые технологии AR, такие как гарнитуры или умные очки, преподаватели и учащиеся могут взаимодействовать с образовательным контентом более динамичным способом, позволяющим учиться в любое время и в любом месте.

Эти носимые устройства особенно полезны в отдаленных районах, поскольку многие AR-приложения могут работать в автономном режиме или при минимальном подключении после загрузки необходимых данных. Развивающиеся страны используют носимую AR, чтобы предоставить качественное образование нуждающимся студентам. В таких странах, как Руанда, Нигерия и Южная Африка, носимая AR помогает обучать студентов в отдаленных районах, охватывая более 500 000 учеников только в Руанде.

Рис. 4. Студент в отдаленном районе Африки использует AR-технологию для учебы (Источник: nepad.org).

AR-очки для игр#

Самое популярное применение AR — в играх. Игровая индустрия начинает осознавать, как AR-очки могут сделать игры более захватывающими и интерактивными. Игроки могут видеть виртуальные элементы в реальном мире через AR, благодаря чему они чувствуют себя по-настоящему частью игры. Например, игроки могут исследовать окружение и взаимодействовать с ним без помощи рук, что делает процесс более естественным.

Хотя AR-гейминг впервые стал популярен на мобильных устройствах, как в случае с Pokémon Go, где игроки использовали камеры телефонов для покемонов, ожидается, что переход на AR-очки сделает игры еще более увлекательными. Pokémon Go знаменует собой важную веху, поскольку продемонстрировал потенциал AR, собрав более 20 миллионов активных игроков всего за 7 дней.

Рис. 5. Игроки используют AR в игре Pokémon Go.

Как AR помогает врачам и хирургам#

Благодаря дополненной реальности врачи и медицинские работники могут получать доступ к медицинским изображениям в 3D и изучать их. Фактически, инструменты медицинской визуализации с поддержкой AR могут помочь врачам визуализировать анатомию пациента в трехмерной среде. Более четкая визуализация может привести к более точной диагностике, улучшению результатов хирургических вмешательств и повышению безопасности процедур.

AR также может помочь медицинским работникам оказывать более персонализированную и эффективную помощь, определяя местоположение и степень распространения заболеваний, планируя хирургические операции и обеспечивая пациентам лучшее понимание их состояния. Например, используя AR-гарнитуры, хирурги могут просматривать жизненные показатели пациента во время медицинской процедуры, не переключаясь между несколькими устройствами и экранами. Поступая так, они с меньшей вероятностью допустят ошибку в чтении или интерпретации данных.

Рис. 5. Медицинский работник в AR-гарнитуре во время операции.

Основные выводы#

Дополненная реальность изменит то, как мы взаимодействуем с цифровым миром. Объединяя виртуальные элементы с реальным миром, AR создает более иммерсивный опыт, чем традиционные экраны. AR-очки Orion от Meta с их передовыми функциями, удобным дизайном и возможностями ИИ — это большой шаг вперед в технологиях AR. Поскольку AR становится все более привычной частью нашей повседневной жизни, мы можем ожидать, что грань между физическим и цифровым мирами сотрется, что откроет новые возможности для инноваций и творчества.

Хотите узнать больше об ИИ? Посетите наш репозиторий на GitHub, чтобы ознакомиться с нашим вкладом в ИИ и компьютерное зрение, и не забудьте присоединиться к нашему сообществу. Узнайте, как мы переосмысливаем такие отрасли, как производство и сельское хозяйство, с помощью передовых технологий ИИ.