Обзор Google Beam: инструмент для 3D-видеоконференций следующего поколения

Видеозвонки и виртуальные встречи сделали удаленную работу возможной, помогая командам оставаться на связи, невзирая на расстояния и часовые пояса. Они стали привычной частью нашей жизни и изменили наш способ общения.

Однако, несмотря на широкое распространение, ключевые технологии видеоконференций практически не менялись годами. Благодаря недавним достижениям платформы видеосвязи начинают трансформироваться, стремясь сделать общение более естественным и реалистичным.

Любопытно, что на своей ежегодной конференции разработчиков (Google I/O 2025) Google представила новый инструмент видеосвязи под названием Google Beam. Beam использует искусственный интеллект (ИИ) и технологию 3D-видеоконференций, чтобы выйти за рамки традиционных плоских экранов и создать более захватывающий, «личный» опыт общения.

Рис. 1. Генеральный директор Google Сундар Пичаи представляет Google Beam (Источник).

На самом деле Google Beam создана для того, чтобы у тебя возникало ощущение, будто собеседник находится прямо перед тобой. В отличие от обычных видеозвонков, система возвращает тонкие человеческие сигналы, такие как зрительный контакт и естественные движения, меняющиеся в зависимости от твоего угла обзора — детали, которые часто теряются при просмотре на плоских экранах.

В этой статье мы подробно разберем, что такое Google Beam, как она разрабатывалась, как работает и где применяется. Приступим!

Link to this sectionОт Project Starline к Google Beam#

Прежде чем внимательнее рассмотреть Google Beam, давай лучше узнаем о ее предшественнике — Project Starline.

Представленный на Google I/O 2021, Project Starline был исследовательской инициативой, направленной на то, чтобы сделать удаленное общение более реалистичным, почти как если бы вы находились в одной комнате. Система работала путем создания полноразмерных 3D-изображений людей в реальном времени. Несмотря на то, что технология привлекла много внимания, она требовала сложной настройки и массивного оборудования.

Рис. 2. Взгляд на Project Starline (Источник).

С годами, по мере развития технологий, Google усовершенствовала программное обеспечение и оптимизировала аппаратную часть. После четырех лет разработки Project Starline превратился в Google Beam — более компактное и удобное для пользователя решение.

Google Beam использует ИИ для улучшения видеозвонков, создавая более реалистичные 3D-подобные образы твоих собеседников. Система превращает обычное 2D-видео в изображение, которое адаптируется под разными углами, помогая поддерживать зрительный контакт и облегчая считывание мимики. В нее также включены такие функции, как перевод в реальном времени, отслеживание положения головы и пространственное аудио.

Link to this sectionОбзор Google Beam#

Google Beam была разработана для работы без дополнительных аксессуаров, таких как гарнитуры дополненной (AR) или виртуальной реальности (VR). Вместо этого она поставляется со своим встроенным дисплеем, системой камер и оборудованием для создания 3D-визуализаций. Благодаря этому видеозвонки воспринимаются более естественно, комфортно и вовлекающе, чем обычные видеовстречи.

Рис. 3. Пример использования Google Beam (Источник).

Link to this sectionКак Google Beam создает реалистичные виртуальные встречи#

Теперь, когда мы обсудили, как появилась Google Beam, давай подробнее рассмотрим принципы ее работы.

Link to this sectionЗахват изображения для захватывающего удаленного сотрудничества#

Все начинается с захвата визуальной информации. Beam использует шесть камер высокого разрешения для одновременной съемки под разными углами.

Эти камеры помогают отслеживать черты лица, язык тела и мелкие движения в режиме реального времени. ИИ играет ключевую роль, оптимизируя настройки камер и обеспечивая идеальную синхронизацию всех видеопотоков. Это подготавливает систему к следующему этапу: обработке данных.

Link to this sectionОт 2D-изображения к 3D-видеоконференции#

Далее ИИ используется для объединения шести 2D-потоков с камер, чтобы сформировать 3D-модель человека в реальном времени. Вместо простого наложения 2D-изображений система реконструирует глубину, тени и пространственные отношения, создавая полноценный 3D-цифровой двойник.

Для создания этой 3D-модели Beam применяет ИИ и методы компьютерного зрения, такие как оценка глубины и отслеживание движения. Эти методы помогают определить расстояние от человека до камеры, его перемещения и позу тела. Имея эти данные, система может точно отображать черты лица и части тела в трехмерном пространстве.

ИИ-модель, лежащая в основе Beam, обновляет 3D-представление со скоростью 60 кадров в секунду (FPS), чтобы разговоры оставались плавными и реалистичными. Она также вносит корректировки в реальном времени, точно отражая движения человека.

Рис. 4. Шесть камер Google Beam захватывают изображения под разными углами (Источник).

Link to this sectionСистемы светопольных дисплеев Google Beam#

3D-модель отображается на системе Beam получателя с помощью светопольного дисплея. В отличие от обычных экранов, которые транслируют одинаковое изображение для обоих глаз, светопольный дисплей испускает слегка различающиеся изображения для каждого глаза, имитируя то, как мы воспринимаем глубину в реальной жизни. Это создает более реалистичный трехмерный визуальный опыт.

Рис. 5. Обмен виртуальными «дай пять» через Google Beam (Источник).

Link to this sectionМиллиметровое отслеживание головы в режиме реального времени#

Одна из самых впечатляющих особенностей Google Beam — это возможность отслеживания с помощью ИИ в реальном времени. Система использует точное отслеживание головы и глаз для фиксации движений до мельчайших деталей.

Например, ИИ-движок Beam может непрерывно отслеживать положение головы пользователя и вносить тонкие корректировки в изображение в реальном времени. Это создает впечатление, что человек на экране действительно сидит напротив тебя. Когда ты двигаешь головой, 3D-изображение соответствующим образом смещается, совсем как в настоящем разговоре лицом к лицу.

Link to this sectionОбработка аудио для ИИ-улучшенной виртуальной коммуникации#

Beam также улучшает качество звука, используя пространственное звучание, которое соответствует положению человека на экране. Если кто-то находится в левой части дисплея, его голос будет звучать так, будто он доносится слева. По мере того как собеседник меняет положение, аудио подстраивается вслед за ним. Это делает беседу более естественной и помогает мозгу без лишних усилий следить за тем, кто говорит.

Это достигается за счет сочетания методов направленного аудио с отслеживанием в реальном времени. Beam использует пространственное аудио для имитации того, как мы естественно воспринимаем звук в реальном мире (в зависимости от направления, из которого он исходит, и того, как он достигает каждого уха). Система также отслеживает движения головы зрителя и соответствующим образом корректирует вывод звука, чтобы он оставался «привязанным» к человеку на экране.

Link to this sectionПрименение Google Beam#

Google Beam, несмотря на раннюю стадию разработки, демонстрирует многообещающий потенциал в сфере видеоконференцсвязи. Вот некоторые из ключевых направлений ее применения:

• Удаленное сотрудничество: Google Beam может сделать встречи, особенно обсуждения руководства или важные переговоры, более личными и эффективными. Улавливая тонкие факторы, такие как язык тела и зрительный контакт, она помогает людям чувствовать себя «присутствующими», даже если они находятся далеко друг от друга.
• Образование: Beam способна сделать виртуальное обучение более увлекательным и доступным. Представь, что ученый читает лекцию студентам на другом конце света, и это ощущается так, будто все они находятся в одной аудитории.
• Здравоохранение: Beam может сделать дистанционные консультации более личными. Когда врачи и пациенты могут четко видеть друг друга и устанавливать естественный зрительный контакт, это укрепляет доверие и придает взаимодействию более человечный характер.
• Творческие индустрии: Для людей творческих профессий, таких как аниматоры, художники и продюсеры, Beam может сделать удаленную командную работу проще и естественнее. Будь то мозговой штурм или обсуждение проекта, это больше похоже на совместную работу в студии, чем на видеозвонок.

Link to this sectionПлюсы и минусы Google Beam#

Вот некоторые из ключевых преимуществ, которые привносит такая инновация, как Google Beam:

• Гарнитуры не нужны: В отличие от многих иммерсивных технологий, Beam работает без необходимости использования AR или VR-гарнитур. Это делает опыт более комфортным и позволяет избежать распространенных проблем, таких как укачивание или неудобство от ношения дополнительного оборудования.
• Снижение усталости от экрана: 3D-дисплей предлагает более естественный и комфортный опыт просмотра, что может помочь снизить нагрузку на глаза по сравнению с многочасовым просмотром плоских экранов.
• Перевод языка в реальном времени: Beam может включать перевод на базе ИИ в реальном времени, облегчая общение людям, говорящим на разных языках, во время международных встреч или в учебной среде.

Beam — это многообещающий шаг вперед, но, как и любая новая технология, она имеет некоторые ограничения. Вот над чем стоит задуматься:

• Аппаратные требования: Beam требует специализированного высококлассного оборудования, такого как светопольные дисплеи и несколько камер, что делает ее дорогой и менее доступной для частных лиц и небольших организаций.
• Непортативность: Система Beam предназначена для стационарной установки и не предполагает легкого перемещения, что ограничивает ее гибкость и использование в мобильных или постоянно меняющихся условиях.

Link to this sectionОсновные выводы#

Google Beam — это захватывающий шаг к тому, чтобы сделать виртуальное общение более человечным. Хотя она все еще находится на раннем этапе, у нее есть потенциал трансформировать то, как мы встречаемся, общаемся и сотрудничаем. Сочетая передовой ИИ, 3D-визуализацию и пространственное аудио, система создает более живой и вовлекающий удаленный опыт.

По мере того как Google продолжает совершенствовать оборудование Beam, делать его компактнее и, возможно, адаптировать для повседневных пользователей, открываются захватывающие перспективы для будущего виртуальной связи. Наряду с новыми технологическими трендами, такими как голографические встречи и 3D-аватары, Beam устанавливает новый стандарт для виртуальных встреч.

Присоединяйся к нашему сообществу и ознакомься с нашими вариантами лицензирования, чтобы начать работу с компьютерным зрением уже сегодня. Загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ. Прочитай наши страницы с решениями, чтобы получить информацию о различных сценариях использования ИИ в ритейле и компьютерного зрения в сельском хозяйстве.