Изучение Google Beam: 3D-видеоконференции нового поколения

Видеозвонки и виртуальные встречи сделали возможной удаленную работу, помогая командам оставаться на связи в разных странах и часовых поясах. Они стали неотъемлемой частью нашей жизни и изменили способ нашего общения.

Однако, несмотря на их широкое использование, основная технология, лежащая в основе видеоконференций, в основном не менялась в течение многих лет. Благодаря последним достижениям, платформы видеоконференций начинают меняться, стремясь стать более естественными и реалистичными.

Интересно, что на своей ежегодной конференции для разработчиковGoogle I/O 2025) Google представила новое средство видеосвязи, известное как Google Beam. Beam использует искусственный интеллект (ИИ) и технологию 3D-видеоконференций, чтобы выйти за рамки традиционных плоских экранов и создать более захватывающее ощущение личного общения.

‍

Фактически, Google Beam создан для того, чтобы создать ощущение, что собеседник находится прямо перед вами. В отличие от обычных видеозвонков, он возвращает тонкие человеческие сигналы, такие как зрительный контакт и естественные движения, которые меняются в зависимости от вашей перспективы, - детали, которые часто теряются на плоских экранах.

В этой статье мы подробно расскажем о том, что такое Google Beam, как он был разработан, как работает и где применяется. Давайте начнем!

Переход от проекта Starline к Google Beam

Прежде чем мы рассмотрим Google Beam поближе, давайте лучше разберемся в его предшественнике, проекте Starline.

Представленный на Google I/O 2021, Project Starline был исследовательской инициативой, направленной на то, чтобы сделать удаленное общение более реалистичным, почти как если бы вы находились в одной комнате. Она работала за счет создания 3D-изображений людей в натуральную величину в режиме реального времени. Несмотря на то что технология привлекла большое внимание, она требовала сложных настроек и тяжелого оборудования.

‍

С годами, по мере развития технологий, Google усовершенствовала программное обеспечение и оптимизировала аппаратную часть. После четырех лет разработки проект Starline превратился в Google Beam - более компактное и удобное решение.

Google Beam использует искусственный интеллект для улучшения качества видеозвонков, создавая более реалистичные 3D-изображения собеседников. Он превращает обычное 2D-видео в изображение, которое меняется под разными углами, помогая поддерживать зрительный контакт и облегчая восприятие мимики. Кроме того, в нем есть такие функции, как перевод в реальном времени, отслеживание положения головы и пространственное аудио.

Обзор Google Beam

Google Beam был разработан для работы без дополнительных аксессуаров, таких как гарнитуры дополненной реальности (AR) или виртуальной реальности (VR). Вместо этого он оснащен собственным встроенным дисплеем, системой камер и оборудованием для создания 3D-изображений. Благодаря этому видеозвонки выглядят более естественно, комфортно и увлекательно, чем обычные видеовстречи.

‍

Как Google Beam создает реалистичные виртуальные встречи

Теперь, когда мы обсудили, как появился Google Beam, давайте подробнее рассмотрим, как он работает.

Захват изображений для иммерсивного удаленного взаимодействия

Все начинается со сбора визуальной информации. Beam использует шесть камер высокого разрешения для одновременной съемки изображений с разных углов. 

Эти камеры помогают track черты лица, язык тела и мелкие движения в режиме реального времени. ИИ играет ключевую роль, оптимизируя настройки камер и поддерживая идеальную синхронизацию всех видеоканалов. Это подготавливает систему к следующему этапу - обработке данных.

Преобразование 2D-изображений в 3D-видеоконференции

Далее, ИИ используется для объединения шести потоков с 2D-камер для создания 3D-модели человека в режиме реального времени. Вместо простого наложения 2D-изображений, он восстанавливает глубину, тени и пространственные отношения для создания полноценного 3D-цифрового двойника.

Для построения этой 3D-модели Beam использует ИИ и методы компьютерного зрения, такие как оценка глубины и отслеживание движения. Эти методы помогают определить, как далеко человек находится от камеры, как он двигается и как расположено его тело. С помощью этих данных система может точно отображать черты лица и части тела в 3D-пространстве.

AI-модель Beam обновляет 3D-представление со скоростью 60 кадров в секунду (FPS), чтобы обеспечить плавность и реалистичность разговоров. Она также вносит коррективы в режиме реального времени, чтобы точно отражать движения человека.

‍

Системы отображения светового поля Google Beam

3D-модель отображается в системе Beam приемника с использованием светового поля. В отличие от обычных экранов, которые отображают одно и то же изображение для обоих глаз, дисплей светового поля излучает немного разные изображения для каждого глаза, имитируя то, как мы воспринимаем глубину в реальной жизни. Это создает более реалистичное трехмерное визуальное восприятие.

‍

Отслеживание головы в реальном времени с миллиметровой точностью

Одна из самых впечатляющих особенностей Google Beam - возможность отслеживания движений в режиме реального времени с помощью искусственного интеллекта. Система использует точный трекинг головы и глаз, чтобы отслеживать движения вплоть до мельчайших деталей. 

Например, система искусственного интеллекта Beam может постоянно track положение головы пользователя и вносить тонкие коррективы в изображение в режиме реального времени. Это создает впечатление, что человек на экране действительно сидит напротив вас. Когда вы двигаете головой, 3D-изображение смещается соответствующим образом, как при реальном разговоре лицом к лицу.

Обработка звука для виртуальной коммуникации с улучшенным искусственным интеллектом

Beam также улучшает качество звука, используя пространственное звучание, которое соответствует положению человека на экране. Если кто-то находится в левой части дисплея, его голос будет звучать так, как будто он исходит слева. Когда он меняет положение, звук подстраивается под него. Это делает разговоры более естественными и помогает мозгу следить за тем, кто говорит, без дополнительных усилий.

Это работает за счет сочетания методов направленного звука с отслеживанием в реальном времени. Beam использует пространственное аудио для имитации того, как мы естественным образом воспринимаем звук в реальном мире (в зависимости от направления, откуда он исходит, и того, как он достигает каждого уха). Система также отслеживает движения головы зрителя и соответствующим образом регулирует вывод звука, чтобы звук оставался “привязанным” к человеку на экране. 

Области применения Google Beam

Google Beam, хотя и находится на ранних стадиях своего развития, демонстрирует многообещающий потенциал в области видеоконференций. Вот некоторые из его ключевых приложений:

• Удаленное сотрудничество: Google Beam позволяет сделать совещания, особенно обсуждения на уровне руководства или переговоры с высокими ставками, более личными и эффективными. Улавливая такие тонкие факторы, как язык тела и зрительный контакт, он помогает людям чувствовать себя более присутствующими, даже если они находятся далеко друг от друга.
  ‍
• Образование: Beam может сделать виртуальное обучение более увлекательным и доступным. Представьте себе ученого, читающего живую лекцию студентам на другом конце света, и создается ощущение, что они находятся в одной комнате. 
  ‍
• Здравоохранение: Beam может сделать удаленные консультации более личными. Когда врачи и пациенты могут четко видеть друг друга и поддерживать естественный зрительный контакт, это укрепляет доверие и делает взаимодействие более человечным.
  ‍
• Креативные индустрии: Для людей, работающих в творческих сферах, таких как аниматоры, художники и продюсеры, Beam может облегчить удаленную командную работу и сделать ее более естественной. Будь то мозговой штурм идей или просмотр проекта, это больше похоже на совместную работу в студии, чем на видеозвонок.

Плюсы и минусы Google Beam

Вот некоторые из ключевых преимуществ, которые дает такая инновация, как Google Beam:

• Не нужны гарнитуры: В отличие от многих иммерсивных технологий, Beam работает без AR или VR гарнитур. Это делает взаимодействие более комфортным и позволяет избежать распространенных проблем, таких как укачивание или неудобство ношения дополнительного оборудования.
  ‍
• Снижение утомляемости глаз: 3D-дисплей обеспечивает более естественный и комфортный просмотр, что может помочь снизить нагрузку на глаза по сравнению с длительным просмотром плоских экранов.
  ‍
• Перевод языков в реальном времени: Beam может включать в себя AI-перевод в реальном времени, что упрощает общение людям, говорящим на разных языках, в международных встречах или учебных средах.

Beam — многообещающий шаг вперед, но, как и любая новая технология, он имеет несколько ограничений. Вот некоторые моменты, которые следует учитывать:

• Аппаратные требования: Beam требует специализированного высококлассного оборудования, такого как дисплеи светового поля и несколько камер, что делает его дорогим и менее доступным для частных лиц и небольших организаций.
  ‍
• Не портативный: Система Beam предназначена для стационарной установки и не предназначена для легкого перемещения, что ограничивает ее гибкость и использование в мобильных или изменяющихся средах.

Основные выводы

Google Beam - это потрясающий шаг к тому, чтобы виртуальное общение стало более человечным. Несмотря на то, что эта технология находится на ранней стадии развития, она способна изменить наши представления о том, как мы встречаемся, общаемся и сотрудничаем. Благодаря сочетанию передового искусственного интеллекта, 3D-изображения и пространственного аудио он создает более реалистичный и увлекательный опыт удаленного общения.

По мере того как Google продолжает совершенствовать аппаратную часть Beam, делать его еще меньше и, возможно, предлагать его обычным пользователям, он открывает захватывающие возможности для будущего виртуального общения. Наряду с новыми технологическими тенденциями, такими как голографические встречи и 3D-аватары, Beam устанавливает новые стандарты для виртуальных встреч.

Присоединяйтесь к нашему сообществу и ознакомьтесь с нашими вариантами лицензирования, чтобы начать работу с компьютерным зрением уже сегодня. Посетите наш репозиторий GitHub, чтобы узнать больше об ИИ. Прочитайте страницы с нашими решениями, чтобы получить представление о различных вариантах использования ИИ в розничной торговле и компьютерного зрения в сельском хозяйстве.