Знакомство с Google Beam: видеоконференц-инструментом нового поколения с поддержкой 3D

Видеозвонки и виртуальные встречи сделали удалённую работу возможной, помогая командам оставаться на связи между странами и часовыми поясами. Они стали привычной частью нашей жизни и изменили то, как мы общаемся.

Однако, несмотря на широкое распространение, основная технология видеоконференций в течение многих лет практически не менялась. Благодаря недавним достижениям платформы для видеоконференций начинают меняться, стремясь сделать общение более естественным и реалистичным.

Интересно, что на своей ежегодной конференции для разработчиков (Google I/O 2025) Google представила новый инструмент видеосвязи под названием Google Beam. Beam использует искусственный интеллект (AI) и технологию 3D-видеоконференций, чтобы выйти за рамки традиционных плоских экранов и создать более эффект общения лицом к лицу.

Рис. 1. Генеральный директор Google Сундар Пичаи представляет Google Beam (источник).

Фактически Google Beam создан для того, чтобы человек, с которым ты разговариваешь, казался находящимся прямо перед тобой. В отличие от обычных видеозвонков, он возвращает тонкие человеческие сигналы, такие как зрительный контакт и естественные движения, которые меняются в зависимости от твоей перспективы, — детали, часто теряющиеся на плоских экранах.

В этой статье мы подробно разберём, что такое Google Beam, как его разработали, как он работает и где применяется. Давай начнём!

От Project Starline к Google Beam#

Прежде чем подробнее рассмотреть Google Beam, давай лучше разберёмся с его предшественником — Project Starline.

Представленный на Google I/O 2021, Project Starline был исследовательской инициативой, направленной на то, чтобы сделать удалённое общение более реалистичным — почти таким, как будто ты находишься в одной комнате с собеседником. Для этого в реальном времени создавались 3D-изображения людей в натуральную величину. Хотя технология привлекла много внимания, для неё требовались сложная настройка и громоздкое оборудование.

Рис. 2. Обзор Project Starline (источник).

С годами, по мере развития технологий, Google совершенствовала программное обеспечение и оптимизировала оборудование. После четырёх лет разработки Project Starline превратился в Google Beam — более компактное и удобное решение.

Google Beam использует AI для улучшения видеозвонков, создавая более реалистичные, похожие на 3D изображения людей, с которыми ты разговариваешь. Он преобразует обычное 2D-видео в изображения, которые меняются при просмотре под разными углами, помогая сохранять зрительный контакт и лучше видеть выражения лица. Также доступны такие функции, как перевод в реальном времени, отслеживание положения головы и пространственный звук.

Обзор Google Beam#

Google Beam разработан для работы без дополнительных аксессуаров, таких как гарнитуры дополненной реальности (AR) или виртуальной реальности (VR). Вместо этого он оснащён встроенным дисплеем, системой камер и оборудованием для создания 3D-визуализации. Благодаря этому видеозвонки становятся более естественными, комфортными и увлекательными, чем обычные видеовстречи.

Рис. 3. Пример использования Google Beam (источник).

Как Google Beam создаёт реалистичные виртуальные встречи#

Теперь, когда мы обсудили историю создания Google Beam, давай подробнее рассмотрим принцип его работы.

Захват изображений для иммерсивного удалённого взаимодействия#

Всё начинается со сбора визуальной информации. Beam использует шесть камер высокого разрешения, чтобы одновременно делать снимки с разных углов.

Эти камеры помогают отслеживать черты лица, язык тела и небольшие движения в реальном времени. AI играет ключевую роль, оптимизируя настройки камер и обеспечивая идеальную синхронизацию всех видеопотоков. Это подготавливает систему к следующему этапу: обработке данных.

От 2D-изображения к 3D-видеоконференциям#

Затем AI объединяет шесть видеопотоков с 2D-камер, чтобы в реальном времени создать 3D-модель человека в кадре. Вместо простого наложения 2D-изображений система реконструирует глубину, тени и пространственные взаимосвязи, создавая полноценного цифрового двойника в 3D.

Для построения этой 3D-модели Beam использует AI и методы компьютерного зрения, такие как оценка глубины и отслеживание движений. Эти методы помогают определить расстояние от человека до камеры, характер его движений и положение тела. На основе этих данных система может точно отображать черты лица и части тела в 3D-пространстве.

Модель AI, лежащая в основе Beam, обновляет 3D-представление со скоростью 60 кадров в секунду (FPS), чтобы разговор оставался плавным и реалистичным. Она также в реальном времени корректирует изображение, точно отражая движения человека.

Рис. 4. Шесть камер Google Beam снимают изображения с разных углов (источник).

Системы светопольного дисплея Google Beam#

3D-модель отображается на системе Beam получателя с помощью светопольного дисплея. В отличие от обычных экранов, которые показывают обоим глазам одно и то же изображение, светопольный дисплей передаёт каждому глазу немного разные изображения, имитируя наше восприятие глубины в реальной жизни. Это создаёт более реалистичное объёмное визуальное восприятие.

Рис. 5. Виртуальные «дай пять» с помощью Google Beam (источник).

Отслеживание положения головы в реальном времени с точностью до миллиметра#

Одна из самых впечатляющих функций Google Beam — возможность отслеживания с помощью AI в реальном времени. Система использует точное отслеживание положения головы и взгляда, чтобы фиксировать движения до мельчайших деталей.

Например, движок AI в Beam может непрерывно отслеживать положение головы пользователя и вносить небольшие изменения в изображение в реальном времени. Благодаря этому создаётся впечатление, что человек на экране действительно сидит напротив тебя. Когда ты двигаешь головой, 3D-изображение соответствующим образом смещается — совсем как в настоящем разговоре лицом к лицу.

Обработка звука для виртуального общения с улучшением с помощью AI#

Beam также улучшает восприятие звука, используя пространственный звук, который соответствует положению человека на экране. Если кто-то находится в левой части дисплея, его голос будет звучать так, будто он идёт слева. Когда человек меняет положение, звук меняется вместе с ним. Благодаря этому разговоры становятся более естественными, а мозгу проще понимать, кто говорит, без дополнительных усилий.

Это работает за счёт объединения методов направленного звука с отслеживанием в реальном времени. Beam использует пространственный звук, чтобы имитировать наше естественное восприятие звука в реальном мире (с учётом направления, откуда он исходит, и того, как достигает каждого уха). Система также отслеживает движения головы зрителя и соответствующим образом корректирует вывод звука, поэтому он остаётся «прикреплённым» к человеку на экране.

Применение Google Beam#

Google Beam, несмотря на то что находится на ранней стадии развития, демонстрирует многообещающий потенциал в сфере видеоконференций. Вот некоторые из его ключевых применений:

• Удалённое взаимодействие: Google Beam может сделать встречи, особенно обсуждения с руководством или переговоры с высокими ставками, более личными и эффективными. Захватывая такие тонкие сигналы, как язык тела и зрительный контакт, он помогает людям чувствовать себя более вовлечёнными, даже если они находятся далеко друг от друга.
• Образование: Beam способен сделать виртуальное обучение более увлекательным и доступным. Представь, что учёный читает лекцию в прямом эфире студентам на другом конце света, и при этом кажется, будто все находятся в одной комнате.
• Здравоохранение: Beam может сделать дистанционные консультации более личными. Когда врачи и пациенты могут чётко видеть друг друга и естественно поддерживать зрительный контакт, это укрепляет доверие и делает взаимодействие более человечным.
• Креативные индустрии: Для специалистов творческих профессий, таких как аниматоры, художники и продюсеры, Beam может сделать удалённую совместную работу более простой и естественной. Будь то мозговой штурм или обсуждение проекта, всё ощущается скорее как совместная работа в студии, чем как видеозвонок.

Преимущества и недостатки Google Beam#

Вот некоторые ключевые преимущества, которые такая инновация, как Google Beam, предлагает пользователям:

• Гарнитуры не нужны: В отличие от многих иммерсивных технологий, Beam работает без гарнитур AR или VR. Это делает взаимодействие более комфортным и позволяет избежать таких распространённых проблем, как укачивание, а также неудобств, связанных с ношением дополнительного оборудования.
• Снижение утомляемости от экранов: 3D-дисплей обеспечивает более естественный и комфортный просмотр, что помогает уменьшить нагрузку на глаза по сравнению с длительным просмотром плоских экранов.
• Перевод в реальном времени: Beam может поддерживать перевод в реальном времени на основе AI, упрощая естественное общение людей, говорящих на разных языках, на международных встречах или в образовательной среде.

Beam — многообещающий шаг вперёд, но, как и любая новая технология, он имеет некоторые ограничения. Вот что стоит учитывать:

• Требования к оборудованию: Beam требует специализированного высококлассного оборудования, например светопольных дисплеев и нескольких камер, что делает его дорогим и менее доступным для частных лиц и небольших организаций.
• Непортативность: Система Beam рассчитана на стационарную установку и не предназначена для лёгкого перемещения, что ограничивает её гибкость и применение в мобильных или изменяющихся условиях.

Основные выводы#

Google Beam — впечатляющий шаг к тому, чтобы сделать виртуальное общение более человечным. Хотя технология всё ещё находится на ранней стадии развития, она способна изменить то, как мы встречаемся, общаемся и работаем вместе. Сочетая передовые технологии AI, 3D-визуализацию и пространственный звук, Beam создаёт более реалистичный и увлекательный опыт удалённого общения.

По мере того как Google продолжает совершенствовать оборудование Beam, уменьшать его размеры и, возможно, делать его доступным для обычных пользователей, открываются захватывающие перспективы будущего виртуального общения. Наряду с новыми технологическими тенденциями, такими как голографические встречи и 3D-аватары, Beam устанавливает новый стандарт для виртуальных встреч.

Присоединяйся к нашему сообществу и ознакомься с вариантами лицензирования, чтобы начать работать с компьютерным зрением уже сегодня. Посети наш репозиторий на GitHub, чтобы узнать больше об AI. Изучи страницы наших решений, чтобы получить представление о различных вариантах применения AI в розничной торговле и компьютерного зрения в сельском хозяйстве.