À la découverte de Google Beam : un outil de visioconférence 3D de nouvelle génération

Les appels vidéo et les réunions virtuelles ont rendu le travail à distance possible et aident les équipes à rester en contact malgré les frontières et les fuseaux horaires. Ils font désormais partie de notre quotidien et ont changé notre manière de communiquer.

Cependant, malgré leur usage répandu, la technologie fondamentale de la visioconférence a peu évolué au fil des ans. Grâce aux récentes avancées, les plateformes de visioconférence commencent à changer pour offrir des échanges plus naturels et plus réalistes.

Fait intéressant, lors de sa conférence annuelle pour les développeurs (Google I/O 2025), Google a présenté son nouvel outil de communication vidéo, baptisé Google Beam. Beam utilise l’intelligence artificielle (AI) et la visioconférence 3D pour dépasser le cadre des écrans plats traditionnels et créer une expérience plus immersive, comme en présentiel.

Fig. 1. Sundar Pichai, PDG de Google, présente Google Beam (Source).

En effet, Google Beam est conçu pour donner l’impression que la personne à qui tu parles se trouve juste devant toi. Contrairement aux appels vidéo classiques, il restitue des indices humains subtils, comme le contact visuel et les mouvements naturels qui s’adaptent à ton point de vue, autant de détails qui se perdent souvent sur les écrans plats.

Dans cet article, nous allons examiner en détail Google Beam, son développement, son fonctionnement et ses applications. C’est parti !

Du projet Starline à Google Beam#

Avant d’examiner Google Beam de plus près, faisons le point sur son prédécesseur, le projet Starline.

Présenté lors de Google I/O 2021, le projet Starline était une initiative de recherche visant à rendre les communications à distance plus réalistes, presque comme si les interlocuteurs se trouvaient dans la même pièce. Il fonctionnait en créant en temps réel des images 3D grandeur nature des personnes. Même si cette technologie a suscité beaucoup d’intérêt, elle nécessitait des installations complexes et du matériel lourd.

Fig. 2. Aperçu du projet Starline (Source).

Au fil des ans, les progrès technologiques ont permis à Google d’affiner le logiciel et de simplifier le matériel. Après quatre ans de développement, le projet Starline est devenu Google Beam, une solution plus compacte et plus facile à utiliser.

Google Beam utilise l’IA pour améliorer les appels vidéo en créant des images plus réalistes, en 3D, des personnes avec lesquelles tu échanges. La technologie convertit les vidéos 2D classiques en vues qui s’adaptent aux différents angles, ce qui aide à maintenir le contact visuel et rend les expressions faciales plus visibles. Elle inclut également des fonctionnalités comme la traduction en temps réel, le suivi de la tête et l’audio spatial.

Présentation de Google Beam#

Google Beam a été conçu pour fonctionner sans accessoires supplémentaires tels que des casques de réalité augmentée (AR) ou de réalité virtuelle (VR). Il intègre plutôt son propre écran, son système de caméras et le matériel nécessaire à la création de visuels 3D. Les appels vidéo sont ainsi plus naturels, confortables et engageants que les visioconférences classiques.

Fig. 3. Exemple d’utilisation de Google Beam (Source).

Comment Google Beam crée des réunions virtuelles réalistes#

Maintenant que nous avons vu comment Google Beam a vu le jour, examinons de plus près son fonctionnement.

Capture d’images pour une collaboration à distance immersive#

Tout commence par la capture d’informations visuelles. Beam utilise six caméras haute résolution pour prendre simultanément des images sous différents angles.

Ces caméras aident à suivre les traits du visage, le langage corporel et les petits mouvements en temps réel. L’IA joue un rôle essentiel en optimisant les réglages des caméras et en synchronisant parfaitement tous les flux vidéo. Le système est ainsi prêt pour l’étape suivante : le traitement des données.

De l’image 2D à la visioconférence 3D#

L’IA combine ensuite les six flux vidéo 2D des caméras pour générer en temps réel un modèle 3D de la personne filmée. Au lieu de simplement superposer des images 2D, elle reconstitue la profondeur, les ombres et les relations spatiales afin de créer un jumeau numérique 3D complet.

Pour construire ce modèle 3D, Beam utilise l’IA et des techniques de vision par ordinateur, comme l’estimation de la profondeur et le suivi des mouvements. Ces méthodes permettent de déterminer la distance entre une personne et la caméra, ses mouvements et la position de son corps. Grâce à ces données, le système peut cartographier avec précision les traits du visage et les parties du corps dans l’espace 3D.

Le modèle d’IA derrière Beam met à jour la représentation 3D à 60 images par seconde (FPS) pour garantir des conversations fluides et réalistes. Il effectue également des ajustements en temps réel afin de reproduire fidèlement les mouvements de la personne.

Fig. 4. Les six caméras de Google Beam capturent des images sous différents angles (Source).

Les systèmes d’affichage à champ lumineux de Google Beam#

Le modèle 3D s’affiche sur le système Beam du destinataire au moyen d’un écran à champ lumineux. Contrairement aux écrans classiques, qui affichent la même image aux deux yeux, un écran à champ lumineux émet des images légèrement différentes pour chaque œil, simulant ainsi notre perception de la profondeur dans la vie réelle. Il en résulte une expérience visuelle tridimensionnelle plus réaliste.

Fig. 5. Échange de tapes dans la main virtuelles avec Google Beam (Source).

Suivi de la tête en temps réel avec une précision millimétrique#

L’une des fonctionnalités les plus impressionnantes de Google Beam est son suivi par IA en temps réel. Le système utilise un suivi précis de la tête et des yeux pour détecter les mouvements jusque dans leurs moindres détails.

Par exemple, le moteur d’IA de Beam peut suivre en continu la position de la tête de l’utilisateur et ajuster subtilement l’image en temps réel. La personne à l’écran semble alors vraiment assise en face de toi. Quand tu bouges la tête, l’image 3D se déplace en conséquence, comme lors d’une véritable conversation en face à face.

Traitement audio pour des communications virtuelles améliorées par l’IA#

Beam améliore également l’expérience audio en utilisant un son spatial qui correspond à la position de la personne à l’écran. Si une personne se trouve à gauche de l’écran, sa voix semble provenir de la gauche. Quand elle change de position, le son s’adapte. Les conversations paraissent ainsi plus naturelles et ton cerveau peut identifier qui parle sans effort supplémentaire.

Pour cela, Beam combine des techniques audio directionnelles et le suivi en temps réel. Beam utilise l’audio spatial pour simuler notre perception naturelle des sons dans le monde réel, en fonction de leur direction et de la façon dont ils atteignent chaque oreille. Le système suit également les mouvements de la tête de la personne qui regarde l’écran et ajuste la sortie audio en conséquence, de sorte que le son reste « attaché » à la personne à l’écran.

Applications de Google Beam#

Bien qu’il n’en soit qu’à ses débuts, Google Beam présente un potentiel prometteur dans le domaine de la visioconférence. Voici quelques-unes de ses principales applications :

• Collaboration à distance : Google Beam peut rendre les réunions, notamment les discussions de direction ou les négociations à forts enjeux, plus personnelles et plus efficaces. En capturant des indices subtils comme le langage corporel et le contact visuel, il aide les participants à se sentir plus présents, même à distance.
• Éducation : Beam pourrait rendre l’apprentissage virtuel plus stimulant et accessible. Imagine un scientifique qui donne un cours en direct à des étudiants à l’autre bout du monde : ceux-ci ont vraiment l’impression d’être dans la même salle.
• Santé : Beam pourrait rendre les consultations à distance plus personnelles. Lorsque les médecins et les patients peuvent se voir clairement et établir naturellement un contact visuel, cela renforce la confiance et rend l’interaction plus humaine.
• Industries créatives : Pour les professionnels de la création, comme les animateurs, les artistes et les producteurs, Beam peut rendre le travail d’équipe à distance plus simple et plus naturel. Qu’il s’agisse de réfléchir à des idées ou d’examiner un projet, on a davantage l’impression d’être réunis dans un studio que de participer à un appel vidéo.

Avantages et inconvénients de Google Beam#

Voici quelques-uns des principaux avantages qu’une innovation comme Google Beam peut offrir :

• Aucun casque nécessaire : Contrairement à de nombreuses technologies immersives, Beam fonctionne sans casque AR ou VR. L’expérience est donc plus confortable et évite les problèmes courants comme le mal des transports ou la contrainte de porter un équipement supplémentaire.
• Moins de fatigue visuelle : L’écran 3D offre une expérience de visionnage plus naturelle et confortable, ce qui peut réduire la fatigue oculaire par rapport à une exposition prolongée aux écrans plats.
• Traduction linguistique en temps réel : Beam peut intégrer la traduction en temps réel par IA, ce qui facilite les échanges entre personnes parlant des langues différentes lors de réunions internationales ou dans des contextes d’apprentissage.

Beam est une avancée prometteuse, mais, comme toute nouvelle technologie, elle comporte quelques limites. Voici certains éléments à prendre en compte :

• Configuration matérielle requise : Beam nécessite du matériel spécialisé haut de gamme, comme des écrans à champ lumineux et plusieurs caméras, ce qui le rend coûteux et moins accessible aux particuliers et aux petites organisations.
• Pas portable : Le système Beam est conçu pour une installation fixe et n’est pas facile à déplacer, ce qui limite sa flexibilité et son utilisation dans des environnements mobiles ou changeants.

Points clés à retenir#

Google Beam est une avancée fascinante vers des communications virtuelles plus humaines. Même s’il n’en est qu’à ses débuts, il pourrait transformer notre manière de nous réunir, d’échanger et de collaborer. En associant une IA avancée, l’imagerie 3D et l’audio spatial, il offre une expérience à distance plus réaliste et plus engageante.

À mesure que Google améliore le matériel de Beam, le rend encore plus compact et envisage de le proposer au grand public, les perspectives pour l’avenir des communications virtuelles deviennent passionnantes. Avec de nouvelles tendances technologiques comme les réunions holographiques et les avatars 3D, Beam établit une nouvelle norme pour les réunions virtuelles.

Rejoins notre communauté et consulte nos options de licence pour te lancer dès aujourd’hui dans la vision par ordinateur. Consulte notre dépôt GitHub pour en savoir plus sur l’IA. Découvre nos pages de solutions pour mieux comprendre les différentes applications de l’IA dans le commerce de détail et de la vision par ordinateur dans l’agriculture.