19 июня 2025 г.
Узнайте о Google Beam, инструменте для 3D-видеоконференций нового поколения. Узнайте, как он использует 3D-изображения и ИИ для реалистичных и захватывающих виртуальных встреч.
Видеозвонки и виртуальные встречи сделали возможной удаленную работу, помогая командам оставаться на связи в разных странах и часовых поясах. Они стали неотъемлемой частью нашей жизни и изменили способ нашего общения.
Однако, несмотря на их широкое использование, основная технология, лежащая в основе видеоконференций, в основном не менялась в течение многих лет. Благодаря последним достижениям, платформы видеоконференций начинают меняться, стремясь стать более естественными и реалистичными.
Интересно, что на своей ежегодной конференции для разработчиков (Google I/O 2025) Google представила свой новый инструмент видеосвязи, известный как Google Beam. Beam использует искусственный интеллект (ИИ) и технологию 3D-видеоконференций, чтобы выйти за рамки традиционных плоских экранов и создать более захватывающий эффект личного присутствия.
Фактически, Google Beam разработан, чтобы создать ощущение, будто человек, с которым вы разговариваете, находится прямо перед вами. В отличие от обычных видеозвонков, он возвращает тонкие человеческие сигналы, такие как зрительный контакт и естественные движения, которые меняются в зависимости от вашей перспективы, — детали, которые часто теряются на плоских экранах.
В этой статье мы подробно рассмотрим, что такое Google Beam, как он был разработан, как он работает и где применяется. Начнем!
Прежде чем мы внимательнее рассмотрим Google Beam, давайте лучше поймем его предшественника, Project Starline.
Представленный на Google I/O 2021, Project Starline был исследовательской инициативой, направленной на то, чтобы сделать удаленное общение более реалистичным, почти как если бы вы находились в одной комнате. Он работал путем создания реалистичных 3D-изображений людей в реальном времени. Несмотря на то, что технология привлекла большое внимание, она требовала сложной настройки и мощного оборудования.
С годами, по мере развития технологий, Google усовершенствовала программное обеспечение и оптимизировала аппаратное обеспечение. После четырех лет разработки Project Starline превратился в Google Beam — более компактное и удобное решение.
Google Beam использует ИИ для улучшения видеозвонков, создавая более реалистичные, трехмерные изображения людей, с которыми вы разговариваете. Он превращает обычное 2D-видео в изображения, которые адаптируются к разным углам обзора, помогая поддерживать зрительный контакт и облегчая восприятие выражений лица. Он также включает в себя такие функции, как перевод в реальном времени, отслеживание головы и пространственный звук.
Google Beam разработан для работы без дополнительных аксессуаров, таких как гарнитуры дополненной реальности (AR) или виртуальной реальности (VR). Вместо этого он поставляется со встроенным дисплеем, системой камер и аппаратным обеспечением для создания 3D-изображений. Это делает видеозвонки более естественными, удобными и увлекательными, чем обычные видеоконференции.
Теперь, когда мы обсудили, как появился Google Beam, давайте подробнее рассмотрим, как он работает.
Все начинается со сбора визуальной информации. Beam использует шесть камер высокого разрешения для одновременной съемки изображений с разных углов.
Эти камеры помогают отслеживать черты лица, язык тела и мелкие движения в режиме реального времени. Искусственный интеллект играет ключевую роль, оптимизируя настройки камеры и обеспечивая идеальную синхронизацию всех видеопотоков. Это подготавливает систему к следующему этапу: обработке данных.
Далее, ИИ используется для объединения шести потоков с 2D-камер для создания 3D-модели человека в режиме реального времени. Вместо простого наложения 2D-изображений, он восстанавливает глубину, тени и пространственные отношения для создания полноценного 3D-цифрового двойника.
Для построения этой 3D-модели Beam использует ИИ и методы компьютерного зрения, такие как оценка глубины и отслеживание движения. Эти методы помогают определить, как далеко человек находится от камеры, как он двигается и как расположено его тело. С помощью этих данных система может точно отображать черты лица и части тела в 3D-пространстве.
AI-модель Beam обновляет 3D-представление со скоростью 60 кадров в секунду (FPS), чтобы обеспечить плавность и реалистичность разговоров. Она также вносит коррективы в режиме реального времени, чтобы точно отражать движения человека.
3D-модель отображается в системе Beam приемника с использованием светового поля. В отличие от обычных экранов, которые отображают одно и то же изображение для обоих глаз, дисплей светового поля излучает немного разные изображения для каждого глаза, имитируя то, как мы воспринимаем глубину в реальной жизни. Это создает более реалистичное трехмерное визуальное восприятие.
Одной из самых впечатляющих особенностей Google Beam является возможность отслеживания ИИ в реальном времени. Система использует точное отслеживание головы и движения глаз для отслеживания движений до мельчайших деталей.
Например, AI-движок Beam может непрерывно отслеживать положение головы пользователя и вносить незначительные корректировки в изображение в режиме реального времени. Это создает впечатление, что человек на экране действительно сидит напротив вас. Когда вы двигаете головой, трехмерное изображение смещается соответствующим образом, как в реальном разговоре лицом к лицу.
Beam также улучшает качество звука, используя пространственное звучание, которое соответствует положению человека на экране. Если кто-то находится в левой части дисплея, его голос будет звучать так, как будто он исходит слева. Когда он меняет положение, звук подстраивается под него. Это делает разговоры более естественными и помогает мозгу следить за тем, кто говорит, без дополнительных усилий.
Это работает за счет сочетания методов направленного звука с отслеживанием в реальном времени. Beam использует пространственное аудио для имитации того, как мы естественным образом воспринимаем звук в реальном мире (в зависимости от направления, откуда он исходит, и того, как он достигает каждого уха). Система также отслеживает движения головы зрителя и соответствующим образом регулирует вывод звука, чтобы звук оставался “привязанным” к человеку на экране.
Google Beam, хотя и находится на ранней стадии разработки, демонстрирует многообещающий потенциал в сфере видеоконференций. Вот некоторые из его ключевых применений:
Вот некоторые из ключевых преимуществ, которые дает такое нововведение, как Google Beam:
Beam — многообещающий шаг вперед, но, как и любая новая технология, он имеет несколько ограничений. Вот некоторые моменты, которые следует учитывать:
Google Beam — это захватывающий шаг к тому, чтобы сделать виртуальное общение более человечным. Хотя он все еще находится на ранней стадии развития, у него есть потенциал изменить то, как мы встречаемся, общаемся и сотрудничаем. Благодаря сочетанию передового ИИ, 3D-изображений и пространственного звука он создает более реалистичный и увлекательный удаленный опыт.
Поскольку Google продолжает совершенствовать аппаратное обеспечение Beam, делать его еще меньше и, возможно, предлагать его обычным пользователям, это открывает захватывающие возможности для будущего виртуального общения. Наряду с новыми технологическими тенденциями, такими как голографические встречи и 3D-аватары, Beam устанавливает новый стандарт для виртуальных встреч.
Присоединяйтесь к нашему сообществу и ознакомьтесь с нашими вариантами лицензирования, чтобы начать работу с компьютерным зрением уже сегодня. Посетите наш репозиторий GitHub, чтобы узнать больше об ИИ. Прочитайте страницы с нашими решениями, чтобы получить представление о различных вариантах использования ИИ в розничной торговле и компьютерного зрения в сельском хозяйстве.
