Знакомство с Google Beam: видеоконференц-система нового поколения с 3D

Видеозвонки и виртуальные встречи сделали возможной удалённую работу и помогают командам оставаться на связи в разных странах и часовых поясах. Они стали неотъемлемой частью нашей жизни и изменили способы общения.

Однако, несмотря на широкое распространение видеоконференций, лежащая в их основе технология долгие годы почти не менялась. Благодаря недавним достижениям платформы для видеоконференций начинают меняться, стремясь сделать общение более естественным и реалистичным.

Интересно, что на ежегодной конференции для разработчиков (Google I/O 2025) Google представила новый инструмент для видеосвязи под названием Google Beam. Beam использует искусственный интеллект (AI) и технологию 3D-видеоконференций, чтобы выйти за рамки традиционных плоских экранов и создать более захватывающее ощущение личной встречи.

Рис. 1. Генеральный директор Google Сундар Пичаи представляет Google Beam (источник).

Google Beam создан для того, чтобы собеседник казался находящимся прямо перед тобой. В отличие от обычных видеозвонков, он передаёт тонкие человеческие сигналы, например зрительный контакт и естественные движения, которые меняются в зависимости от точки зрения. Такие детали часто теряются на плоских экранах.

В этой статье мы расскажем, что такое Google Beam, как его разработали, как он работает и где применяется.

Путь от Project Starline к Google Beam#

Прежде чем подробнее рассмотреть Google Beam, давай поближе познакомимся с его предшественником — Project Starline.

Представленный на Google I/O 2021 Project Starline был исследовательским проектом, цель которого — сделать дистанционное общение более реалистичным, почти как разговор в одной комнате. Он создавал в реальном времени трёхмерные изображения людей в натуральную величину. Технология привлекла большое внимание, но для неё требовались сложная настройка и громоздкое оборудование.

Рис. 2. Project Starline (источник).

С годами, по мере развития технологий, Google совершенствовала программное обеспечение и упрощала аппаратную часть. После четырёх лет разработки Project Starline превратился в Google Beam — более компактное и удобное решение.

Google Beam использует ИИ для улучшения видеозвонков и создания более реалистичных, похожих на трёхмерные изображений собеседников. Он преобразует обычное двумерное видео в изображения, адаптирующиеся к разным углам обзора, что помогает поддерживать зрительный контакт и лучше видеть выражения лиц. Также доступны такие функции, как перевод в реальном времени, отслеживание движений головы и пространственное аудио.

Обзор Google Beam#

Google Beam разработан для работы без дополнительных аксессуаров, например гарнитур дополненной реальности (AR) или виртуальной реальности (VR). Вместо этого в нём есть встроенный дисплей, система камер и оборудование для создания 3D-визуализации. Благодаря этому видеозвонки становятся более естественными, комфортными и увлекательными, чем обычные видеовстречи.

Рис. 3. Пример использования Google Beam (источник).

Как Google Beam создаёт реалистичные виртуальные встречи#

Теперь, когда мы обсудили историю создания Google Beam, давай подробнее разберёмся, как он работает.

Захват изображений для иммерсивного удалённого взаимодействия#

Всё начинается со сбора визуальной информации. Beam использует шесть камер высокого разрешения, чтобы одновременно снимать изображения под разными углами.

Эти камеры помогают в реальном времени отслеживать черты лица, язык тела и малейшие движения. ИИ играет ключевую роль: он оптимизирует настройки камер и синхронизирует видеопотоки. Это подготавливает систему к следующему этапу — обработке данных.

От 2D-изображения к 3D-видеоконференции#

Затем ИИ объединяет потоки с шести двумерных камер, чтобы создать трёхмерную модель человека в реальном времени. Вместо простого наложения двумерных изображений система восстанавливает глубину, тени и пространственные взаимосвязи, создавая полноценного цифрового двойника в 3D.

Для построения этой трёхмерной модели Beam использует ИИ и методы компьютерного зрения, например оценку глубины и отслеживание движений. Эти методы помогают определить расстояние от человека до камеры, характер его движений и положение тела. На основе этих данных система может точно отображать черты лица и части тела в трёхмерном пространстве.

Модель ИИ, лежащая в основе Beam, обновляет 3D-представление со скоростью 60 кадров в секунду (FPS), благодаря чему беседы остаются плавными и реалистичными. Она также в реальном времени корректирует изображение, точно отображая движения человека.

Рис. 4. Шесть камер Google Beam снимают изображения под разными углами (источник).

Системы дисплеев светового поля Google Beam#

3D-модель отображается на системе Beam принимающего участника с помощью дисплея светового поля. В отличие от обычных экранов, на которых оба глаза видят одно и то же изображение, такой дисплей передаёт каждому глазу немного разные изображения, имитируя восприятие глубины в реальном мире. Это создаёт более реалистичное трёхмерное визуальное впечатление.

Рис. 5. Виртуальные приветственные жесты через Google Beam (источник).

Отслеживание головы в реальном времени с точностью до миллиметра#

Одна из самых впечатляющих функций Google Beam — отслеживание с помощью ИИ в реальном времени. Система точно отслеживает положение головы и движения глаз, фиксируя малейшие изменения.

Например, движок ИИ Beam может непрерывно отслеживать положение головы пользователя и в реальном времени слегка корректировать изображение. Благодаря этому кажется, будто человек на экране действительно сидит напротив тебя. Когда ты двигаешь головой, трёхмерное изображение соответствующим образом смещается — как при настоящем разговоре лицом к лицу.

Обработка звука для виртуального общения с поддержкой ИИ#

Beam также улучшает восприятие звука благодаря пространственному звучанию, соответствующему положению человека на экране. Если собеседник находится в левой части дисплея, его голос будет звучать слева. Когда он меняет положение, звук перемещается вместе с ним. Благодаря этому разговоры кажутся естественнее, а мозгу легче понять, кто говорит, без дополнительных усилий.

Это работает благодаря сочетанию направленного звука и отслеживания движений в реальном времени. Beam использует пространственное аудио, чтобы имитировать наше естественное восприятие звука в реальном мире — с учётом направления, откуда он идёт, и того, как достигает каждого уха. Система также отслеживает движения головы зрителя и соответствующим образом корректирует звук, чтобы тот оставался «привязанным» к человеку на экране.

Применение Google Beam#

Хотя Google Beam пока находится на раннем этапе развития, он демонстрирует большой потенциал в сфере видеоконференций. Вот некоторые ключевые области применения:

• Удалённое взаимодействие: Google Beam может сделать встречи, особенно обсуждения руководства или важные переговоры, более личными и эффективными. Фиксируя такие детали, как язык тела и зрительный контакт, он помогает участникам чувствовать себя ближе, даже если они находятся далеко друг от друга.
• Образование: Beam может сделать дистанционное обучение интереснее и доступнее. Представь, что учёный читает лекцию в прямом эфире студентам на другом конце света, и кажется, будто все они находятся в одной комнате.
• Здравоохранение: Beam может сделать дистанционные консультации более личными. Когда врачи и пациенты хорошо видят друг друга и могут естественно поддерживать зрительный контакт, это укрепляет доверие и делает общение более человечным.
• Творческие индустрии: Для специалистов творческих профессий — например, аниматоров, художников и продюсеров — Beam может сделать удалённую совместную работу проще и естественнее. Будь то мозговой штурм или обсуждение проекта, участникам будет казаться, что они сидят вместе в студии, а не разговаривают по видеосвязи.

Преимущества и недостатки Google Beam#

Вот некоторые ключевые преимущества такой инновационной технологии, как Google Beam:

• Гарнитуры не нужны: В отличие от многих иммерсивных технологий, Beam работает без гарнитур AR или VR. Это делает использование комфортнее и позволяет избежать распространённых проблем, например укачивания, или неудобств, связанных с дополнительным оборудованием.
• Меньше утомляемости глаз: 3D-дисплей обеспечивает более естественный и комфортный просмотр, помогая снизить нагрузку на глаза по сравнению с долгим просмотром плоских экранов.
• Перевод в реальном времени: Beam может использовать перевод на основе ИИ в реальном времени, помогая людям, говорящим на разных языках, естественно общаться на международных встречах и в учебной среде.

Beam — многообещающий шаг вперёд, но, как и у любой новой технологии, у него есть некоторые ограничения. Вот что стоит учитывать:

• Требования к оборудованию: Для Beam требуется специализированное высококлассное оборудование, например дисплеи светового поля и несколько камер. Это делает систему дорогой и менее доступной для частных пользователей и небольших организаций.
• Не предназначен для переноски: Система Beam рассчитана на стационарную установку и не предназначена для удобного перемещения, что ограничивает её гибкость и применение в мобильных или меняющихся условиях.

Главные выводы#

Google Beam — интересный шаг к тому, чтобы сделать виртуальное общение более человечным. Хотя технология пока находится на раннем этапе развития, она может изменить то, как мы встречаемся, общаемся и работаем вместе. Объединяя передовые технологии ИИ, 3D-визуализацию и пространственный звук, Beam создаёт более реалистичное и увлекательное впечатление от удалённого общения.

Google продолжает совершенствовать оборудование Beam, уменьшать его размеры и, возможно, в будущем сделать его доступным обычным пользователям. Это открывает интересные перспективы для виртуального общения. Вместе с новыми технологическими тенденциями, такими как голографические встречи и трёхмерные аватары, Beam может задать новый стандарт виртуальных встреч.

Присоединяйся к нашему сообществу и ознакомься с нашими вариантами лицензирования, чтобы уже сегодня начать работу с компьютерным зрением. Загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ. Изучи страницы наших решений и узнай о различных вариантах применения, например об ИИ в розничной торговле и компьютерном зрении в сельском хозяйстве.