Изучение Google Beam: 3D-видеоконференции нового поколения

Переход от проекта Starline к Google Beam

Прежде чем мы рассмотрим Google Beam поближе, давайте лучше разберемся в его предшественнике, проекте Starline.

Представленный на Google I/O 2021, Project Starline был исследовательской инициативой, направленной на то, чтобы сделать удаленное общение более реалистичным, почти как если бы вы находились в одной комнате. Она работала за счет создания 3D-изображений людей в натуральную величину в режиме реального времени. Несмотря на то что технология привлекла большое внимание, она требовала сложных настроек и тяжелого оборудования.

‍

С годами, по мере развития технологий, Google усовершенствовала программное обеспечение и оптимизировала аппаратную часть. После четырех лет разработки проект Starline превратился в Google Beam - более компактное и удобное решение.

Google Beam использует искусственный интеллект для улучшения качества видеозвонков, создавая более реалистичные 3D-изображения собеседников. Он превращает обычное 2D-видео в изображение, которое меняется под разными углами, помогая поддерживать зрительный контакт и облегчая восприятие мимики. Кроме того, в нем есть такие функции, как перевод в реальном времени, отслеживание положения головы и пространственное аудио.

Обзор Google Beam

Google Beam был разработан для работы без дополнительных аксессуаров, таких как гарнитуры дополненной реальности (AR) или виртуальной реальности (VR). Вместо этого он оснащен собственным встроенным дисплеем, системой камер и оборудованием для создания 3D-изображений. Благодаря этому видеозвонки выглядят более естественно, комфортно и увлекательно, чем обычные видеовстречи.

‍

Как Google Beam создает реалистичные виртуальные встречи

Теперь, когда мы обсудили, как появился Google Beam, давайте подробнее рассмотрим, как он работает.

Передача 2D-изображений в 3D-видеоконференции

Затем искусственный интеллект объединяет шесть 2D-камер для создания 3D-модели человека в реальном времени. Вместо того чтобы просто накладывать 2D-изображения, он восстанавливает глубину, тени и пространственные отношения, чтобы создать полноценного 3D-близнеца.

Для создания этой 3D-модели Beam использует методы искусственного интеллекта и компьютерного зрения, такие как оценка глубины и отслеживание движения. Эти методы помогают определить, как далеко человек находится от камеры, как он двигается и как расположено его тело. Благодаря этим данным система может точно отобразить черты лица и части тела в 3D-пространстве.

ИИ-модель, лежащая в основе Beam, обновляет 3D-представление с частотой 60 кадров в секунду (FPS), чтобы сохранить плавность и реалистичность разговора. Она также вносит коррективы в реальном времени, чтобы точно отразить движения человека.

‍

Системы отображения светового поля Google Beam

3D-модель отображается на системе Beam приемника с помощью дисплея со световым полем. В отличие от обычных экранов, на которые выводится одно и то же изображение для обоих глаз, дисплей со световым полем передает каждому глазу немного разные изображения, имитируя то, как мы воспринимаем глубину в реальной жизни. Это создает более реалистичное, трехмерное визуальное восприятие.

‍

Области применения Google Beam

Google Beam, хотя и находится на ранних стадиях своего развития, демонстрирует многообещающий потенциал в области видеоконференций. Вот некоторые из его ключевых приложений:

• Удаленное сотрудничество: Google Beam позволяет сделать совещания, особенно обсуждения на уровне руководства или переговоры с высокими ставками, более личными и эффективными. Улавливая такие тонкие факторы, как язык тела и зрительный контакт, он помогает людям чувствовать себя более присутствующими, даже если они находятся далеко друг от друга.
  ‍
• Образование: Beam способен сделать виртуальное обучение более увлекательным и доступным. Представьте, что ученый читает лекцию студентам, находящимся на другом конце света, и у них возникает ощущение, что они находятся в одной комнате.
  ‍
• Здравоохранение: Луч может придать удаленным консультациям более личный характер. Когда врачи и пациенты могут четко видеть друг друга и устанавливать естественный зрительный контакт, это укрепляет доверие и делает взаимодействие более человечным.
  ‍
• Творческие индустрии: Для людей творческих профессий, таких как аниматоры, художники и продюсеры, Beam может сделать удаленную командную работу более простой и естественной. Будь то мозговой штурм идей или анализ проекта, это больше похоже на совместную работу в студии, чем на видеозвонок.

Плюсы и минусы Google Beam

Вот некоторые из ключевых преимуществ, которые дает такая инновация, как Google Beam:

• Гарнитуры не нужны: В отличие от многих иммерсивных технологий, Beam работает без использования AR- или VR-гарнитур. Это делает опыт более комфортным и позволяет избежать таких распространенных проблем, как укачивание или неудобство, связанное с ношением дополнительного оборудования.
  ‍
• Снижение утомляемости от экрана: 3D-дисплей обеспечивает более естественный и комфортный просмотр, что помогает снизить напряжение глаз по сравнению с длительным просмотром плоских экранов.
  ‍
• Языковой перевод в реальном времени: В Beam может быть встроен перевод в реальном времени с помощью искусственного интеллекта, что облегчает естественное общение людей, говорящих на разных языках, на международных встречах или в учебных заведениях.

Beam - многообещающий шаг вперед, но, как и любая новая технология, он имеет ряд ограничений. Вот некоторые из них, которые следует учитывать:

• Требования к аппаратному обеспечению: Луч требует специализированного оборудования высокого класса, такого как дисплеи со световым полем и несколько камер, что делает его дорогим и менее доступным для частных лиц и небольших организаций.
  ‍
• Не переносится: Система Beam предназначена для стационарной установки и не рассчитана на легкое перемещение, что ограничивает ее гибкость и использование в мобильных или меняющихся условиях.

Основные выводы

Google Beam - это потрясающий шаг к тому, чтобы виртуальное общение стало более человечным. Несмотря на то, что эта технология находится на ранней стадии развития, она способна изменить наши представления о том, как мы встречаемся, общаемся и сотрудничаем. Благодаря сочетанию передового искусственного интеллекта, 3D-изображения и пространственного аудио он создает более реалистичный и увлекательный опыт удаленного общения.

По мере того как Google продолжает совершенствовать аппаратную часть Beam, делать его еще меньше и, возможно, предлагать его обычным пользователям, он открывает захватывающие возможности для будущего виртуального общения. Наряду с новыми технологическими тенденциями, такими как голографические встречи и 3D-аватары, Beam устанавливает новые стандарты для виртуальных встреч.

Присоединяйтесь к нашему сообществу и ознакомьтесь с нашими вариантами лицензирования, чтобы начать работать с компьютерным зрением уже сегодня. Ознакомьтесь с нашим репозиторием GitHub, чтобы узнать больше об искусственном интеллекте. Прочитайте страницы наших решений, чтобы получить представление о различных вариантах использования ИИ в розничной торговле и компьютерного зрения в сельском хозяйстве.