Знакомство с Google Beam: видеоконференц-система нового поколения с 3D

Видеозвонки и виртуальные встречи сделали возможной удалённую работу и помогают командам оставаться на связи в разных странах и часовых поясах. Они стали неотъемлемой частью нашей жизни и изменили способы общения.

Однако, несмотря на широкое распространение видеоконференций, лежащая в их основе технология долгие годы почти не менялась. Благодаря недавним достижениям платформы для видеоконференций начинают меняться, стремясь сделать общение более естественным и реалистичным.

Интересно, что на ежегодной конференции для разработчиков (Google I/O 2025) Google представила новый инструмент для видеосвязи под названием Google Beam. Beam использует искусственный интеллект (AI) и технологию 3D-видеоконференций, чтобы выйти за рамки традиционных плоских экранов и создать более захватывающее ощущение личной встречи.

Рис. 1. Генеральный директор Google Сундар Пичаи представляет Google Beam (источник).

Google Beam создан для того, чтобы собеседник казался находящимся прямо перед тобой. В отличие от обычных видеозвонков, он передаёт тонкие человеческие сигналы, например зрительный контакт и естественные движения, которые меняются в зависимости от точки зрения. Такие детали часто теряются на плоских экранах.

В этой статье мы подробно расскажем, что такое Google Beam, как его разработали, как он работает и где применяется. Приступим!

Путь от Project Starline к Google Beam#

Прежде чем подробнее рассмотреть Google Beam, давай поближе познакомимся с его предшественником — Project Starline.

Представленный на Google I/O 2021, Project Starline был исследовательской инициативой, призванной сделать удалённое общение более реалистичным — почти таким, будто собеседники находятся в одной комнате. Для этого в реальном времени создавались полноразмерные 3D-изображения людей. Хотя технология привлекла большое внимание, для неё требовались сложная настройка и мощное оборудование.

Рис. 2. Project Starline (источник).

С годами, по мере развития технологий, Google совершенствовала программное обеспечение и упрощала аппаратную часть. После четырёх лет разработки Project Starline превратился в Google Beam — более компактное и удобное решение.

Google Beam использует ИИ, чтобы улучшить видеозвонки и создавать более реалистичные, похожие на 3D-изображения собеседников. Он преобразует обычное 2D-видео в изображения, которые меняются при просмотре под разными углами, помогая поддерживать зрительный контакт и лучше различать выражения лиц. Среди других функций — перевод в реальном времени, отслеживание головы и пространственный звук.

Обзор Google Beam#

Google Beam разработан для работы без дополнительных аксессуаров, например гарнитур дополненной реальности (AR) или виртуальной реальности (VR). Вместо этого в нём есть встроенный дисплей, система камер и оборудование для создания 3D-визуализации. Благодаря этому видеозвонки становятся более естественными, комфортными и увлекательными, чем обычные видеовстречи.

Рис. 3. Пример использования Google Beam (источник).

Как Google Beam создаёт реалистичные виртуальные встречи#

Теперь, когда мы обсудили историю создания Google Beam, давай подробнее разберёмся, как он работает.

Захват изображений для иммерсивного удалённого взаимодействия#

Всё начинается со сбора визуальной информации. Beam использует шесть камер высокого разрешения, чтобы одновременно снимать изображения под разными углами.

Эти камеры помогают отслеживать черты лица, язык тела и небольшие движения в реальном времени. ИИ играет ключевую роль: он оптимизирует настройки камер и обеспечивает идеальную синхронизацию всех видеопотоков. Это подготавливает систему к следующему этапу — обработке данных.

От 2D-изображения к 3D-видеоконференции#

Затем ИИ объединяет видеопотоки с шести 2D-камер, чтобы в реальном времени создать 3D-модель человека в кадре. Вместо простого наложения 2D-изображений система восстанавливает глубину, тени и пространственные взаимосвязи, создавая полноценную цифровую копию в 3D.

Для построения этой 3D-модели Beam использует ИИ и методы компьютерного зрения, например оценку глубины и отслеживание движений. Эти методы помогают определить расстояние до человека, его движения и положение тела. На основе этих данных система точно размещает черты лица и части тела в трёхмерном пространстве.

Модель ИИ, лежащая в основе Beam, обновляет 3D-представление со скоростью 60 кадров в секунду (FPS), благодаря чему беседы остаются плавными и реалистичными. Она также в реальном времени корректирует изображение, точно отображая движения человека.

Рис. 4. Шесть камер Google Beam снимают изображения под разными углами (источник).

Системы дисплеев светового поля Google Beam#

3D-модель отображается на системе Beam принимающего участника с помощью дисплея светового поля. В отличие от обычных экранов, на которых оба глаза видят одно и то же изображение, такой дисплей передаёт каждому глазу немного разные изображения, имитируя восприятие глубины в реальном мире. Это создаёт более реалистичное трёхмерное визуальное впечатление.

Рис. 5. Виртуальные приветственные жесты через Google Beam (источник).

Отслеживание головы в реальном времени с точностью до миллиметра#

Одна из самых впечатляющих функций Google Beam — отслеживание с помощью ИИ в реальном времени. Система точно отслеживает положение головы и движения глаз, фиксируя малейшие изменения.

Например, механизм ИИ в Beam непрерывно отслеживает положение головы пользователя и вносит небольшие изменения в изображение в реальном времени. Благодаря этому создаётся впечатление, будто человек на экране действительно сидит напротив тебя. Когда ты двигаешь головой, 3D-изображение соответствующим образом меняется — совсем как при настоящем разговоре лицом к лицу.

Обработка звука для виртуального общения с поддержкой ИИ#

Beam также улучшает восприятие звука благодаря пространственному звучанию, соответствующему положению человека на экране. Если собеседник находится в левой части дисплея, его голос будет звучать слева. Когда он меняет положение, звук перемещается вместе с ним. Благодаря этому разговоры кажутся естественнее, а мозгу легче понять, кто говорит, без дополнительных усилий.

Это достигается сочетанием направленного звука и отслеживания в реальном времени. Beam использует пространственный звук, имитируя наше естественное восприятие звуков в реальном мире — в зависимости от направления их источника и того, как они достигают каждого уха. Система также отслеживает движения головы зрителя и соответствующим образом регулирует звук, поэтому кажется, будто звук «привязан» к человеку на экране.

Применение Google Beam#

Хотя Google Beam пока находится на раннем этапе развития, он демонстрирует большой потенциал в сфере видеоконференций. Вот некоторые ключевые области применения:

• Удалённое взаимодействие: Google Beam может сделать встречи, особенно обсуждения руководства или важные переговоры, более личными и эффективными. Фиксируя такие детали, как язык тела и зрительный контакт, он помогает участникам чувствовать себя ближе, даже если они находятся далеко друг от друга.
• Образование: Beam может сделать виртуальное обучение увлекательнее и доступнее. Представь, что учёный читает лекцию в прямом эфире студентам на другом конце света, и всем кажется, будто они находятся в одной комнате.
• Здравоохранение: Beam может сделать удалённые консультации более личными. Когда врачи и пациенты хорошо видят друг друга и могут естественно поддерживать зрительный контакт, это укрепляет доверие и делает общение более человечным.
• Творческие индустрии: Для специалистов творческих профессий — например, аниматоров, художников и продюсеров — Beam может сделать удалённую совместную работу проще и естественнее. Будь то мозговой штурм или обсуждение проекта, участникам будет казаться, что они сидят вместе в студии, а не разговаривают по видеосвязи.

Преимущества и недостатки Google Beam#

Вот некоторые ключевые преимущества такой инновационной технологии, как Google Beam:

• Гарнитуры не нужны: В отличие от многих иммерсивных технологий, Beam работает без гарнитур AR или VR. Это делает использование комфортнее и позволяет избежать распространённых проблем, например укачивания, или неудобств, связанных с дополнительным оборудованием.
• Меньше утомляемости глаз: 3D-дисплей обеспечивает более естественный и комфортный просмотр, помогая снизить нагрузку на глаза по сравнению с долгим просмотром плоских экранов.
• Перевод в реальном времени: Beam может использовать перевод на основе ИИ в реальном времени, помогая людям, говорящим на разных языках, естественно общаться на международных встречах и в учебной среде.

Beam — многообещающий шаг вперёд, но, как и у любой новой технологии, у него есть некоторые ограничения. Вот что стоит учитывать:

• Требования к оборудованию: Для Beam требуется специализированное высококлассное оборудование, например дисплеи светового поля и несколько камер. Это делает систему дорогой и менее доступной для частных пользователей и небольших организаций.
• Не предназначен для переноски: Система Beam рассчитана на стационарную установку и не предназначена для удобного перемещения, что ограничивает её гибкость и применение в мобильных или меняющихся условиях.

Главные выводы#

Google Beam — интересный шаг к тому, чтобы сделать виртуальное общение более человечным. Хотя технология пока находится на раннем этапе развития, она может изменить то, как мы встречаемся, общаемся и работаем вместе. Объединяя передовые технологии ИИ, 3D-визуализацию и пространственный звук, Beam создаёт более реалистичное и увлекательное впечатление от удалённого общения.

Google продолжает совершенствовать оборудование Beam, уменьшать его размеры и, возможно, делать его доступным для обычных пользователей. Это открывает захватывающие перспективы для будущего виртуального общения. Наряду с новыми технологическими тенденциями, такими как голографические встречи и 3D-аватары, Beam задаёт новый стандарт виртуальных встреч.

Присоединяйся к нашему сообществу и ознакомься с нашими вариантами лицензирования, чтобы уже сегодня начать работу с компьютерным зрением. Загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ. Изучи страницы наших решений и узнай о различных вариантах применения, например об ИИ в розничной торговле и компьютерном зрении в сельском хозяйстве.