Découverte de Google Beam : un outil de visioconférence 3D de nouvelle génération

Les appels vidéo et les réunions virtuelles ont rendu le travail à distance possible, en aidant les équipes à rester connectées entre les pays et les fuseaux horaires. Ils sont devenus une composante régulière de notre quotidien et ont changé notre façon de communiquer.

Cependant, malgré leur utilisation généralisée, la technologie fondamentale qui sous-tend la visioconférence est restée largement inchangée pendant des années. Grâce aux avancées récentes, les plateformes de visioconférence commencent à évoluer pour offrir une expérience plus naturelle et réaliste.

Fait intéressant, lors de sa conférence annuelle destinée aux développeurs (Google I/O 2025), Google a présenté son nouvel outil de communication vidéo, connu sous le nom de Google Beam. Beam utilise l’intelligence artificielle (AI) et la technologie de visioconférence 3D pour aller au-delà des écrans plats traditionnels et créer une expérience plus immersive, proche du présentiel.

Fig. 1. Le PDG de Google, Sundar Pichai, présente Google Beam (Source).

En fait, Google Beam est conçu pour donner l’impression que la personne à qui tu parles se trouve juste devant toi. Contrairement aux appels vidéo classiques, il restitue des signaux humains subtils, comme le contact visuel et les mouvements naturels qui changent selon ton point de vue, autant de détails souvent perdus sur les écrans plats.

Dans cet article, nous allons examiner en détail ce qu’est Google Beam, comment il a été développé, comment il fonctionne et quelles sont ses applications. C’est parti !

De Project Starline à Google Beam#

Avant d’examiner Google Beam de plus près, commençons par mieux comprendre son prédécesseur, Project Starline.

Présenté lors de Google I/O 2021, Project Starline était une initiative de recherche visant à rendre la communication à distance plus réaliste, presque comme si tu te trouvais dans la même pièce. Le système créait en temps réel des images 3D de personnes à taille réelle. Même si cette technologie a suscité beaucoup d’attention, elle nécessitait des installations complexes et un matériel lourd.

Fig. 2. Aperçu de Project Starline (Source).

Au fil des années, à mesure que la technologie progressait, Google a perfectionné le logiciel et rationalisé le matériel. Après quatre années de développement, Project Starline a évolué pour devenir Google Beam, une solution plus compacte et plus conviviale.

Google Beam utilise l’AI pour améliorer les appels vidéo en créant des images plus réalistes, semblables à des images 3D, des personnes à qui tu parles. Il transforme la vidéo 2D classique en vues qui s’adaptent à différents angles, ce qui aide à maintenir le contact visuel et rend les expressions faciales plus faciles à voir. Il comprend également des fonctionnalités comme la traduction en temps réel, le suivi de la tête et l’audio spatial.

Présentation de Google Beam#

Google Beam a été développé pour fonctionner sans accessoires supplémentaires comme des casques de réalité augmentée (AR) ou de réalité virtuelle (VR). Il intègre à la place son propre écran, son système de caméras et son matériel pour créer des visuels 3D. Les appels vidéo paraissent ainsi plus naturels, confortables et captivants que les réunions vidéo classiques.

Fig. 3. Exemple d’utilisation de Google Beam (Source).

Comment Google Beam crée des réunions virtuelles réalistes#

Maintenant que nous avons vu comment Google Beam a vu le jour, examinons de plus près son fonctionnement.

Capture d’images pour une collaboration à distance immersive#

Tout commence par la capture d’informations visuelles. Beam utilise six caméras haute résolution pour prendre simultanément des images sous différents angles.

Ces caméras permettent de suivre les traits du visage, le langage corporel et les petits mouvements en temps réel. L’AI joue un rôle essentiel en optimisant les réglages des caméras et en maintenant une synchronisation parfaite de tous les flux vidéo. Le système est ainsi prêt pour l’étape suivante : le traitement des données.

De l’image 2D à la visioconférence 3D#

Ensuite, l’AI combine les six flux vidéo 2D pour générer en temps réel un modèle 3D de la personne filmée. Plutôt que de simplement superposer des images 2D, elle reconstruit la profondeur, les ombres et les relations spatiales afin de créer un jumeau numérique 3D complet.

Pour construire ce modèle 3D, Beam utilise l’AI et des techniques de vision par ordinateur comme l’estimation de profondeur et le suivi des mouvements. Ces méthodes permettent de déterminer à quelle distance se trouve une personne de la caméra, comment elle se déplace et comment son corps est positionné. Grâce à ces données, le système peut cartographier précisément les traits du visage et les parties du corps dans l’espace 3D.

Le modèle d’AI qui sous-tend Beam met à jour la représentation 3D à 60 images par seconde (FPS) afin de maintenir des conversations fluides et réalistes. Il effectue également des ajustements en temps réel pour reproduire fidèlement les mouvements de la personne.

Fig. 4. Les six caméras de Google Beam capturent des images sous différents angles (Source).

Les systèmes d’affichage en champ lumineux de Google Beam#

Le modèle 3D est affiché sur le système Beam du destinataire à l’aide d’un affichage en champ lumineux. Contrairement aux écrans conventionnels qui présentent la même image aux deux yeux, un affichage en champ lumineux émet des images légèrement différentes pour chaque œil, simulant la manière dont nous percevons la profondeur dans la vie réelle. Cela crée une expérience visuelle plus réaliste et tridimensionnelle.

Fig. 5. Échanger des tapes dans la main virtuelles avec Google Beam (Source).

Suivi de la tête en temps réel avec une précision millimétrique#

L’une des fonctionnalités les plus impressionnantes de Google Beam est sa capacité de suivi par AI en temps réel. Le système utilise un suivi précis de la tête et des yeux pour suivre les mouvements dans leurs moindres détails.

Par exemple, le moteur d’AI de Beam peut suivre en continu la position de la tête de l’utilisateur et ajuster subtilement l’image en temps réel. Cela donne l’impression que la personne à l’écran est réellement assise en face de toi. Lorsque tu bouges la tête, l’image 3D se déplace en conséquence, comme lors d’une véritable conversation en face à face.

Traitement audio pour une communication virtuelle améliorée par l’AI#

Beam améliore également l’expérience audio en utilisant un son spatial qui correspond à la position de la personne à l’écran. Si quelqu’un se trouve sur le côté gauche de l’écran, sa voix semblera provenir de la gauche. Lorsqu’il change de position, l’audio s’adapte à ses mouvements. Les conversations paraissent ainsi plus naturelles et ton cerveau peut suivre la personne qui parle sans effort supplémentaire.

Cela fonctionne en combinant des techniques audio directionnelles avec le suivi en temps réel. Beam utilise l’audio spatial pour simuler la manière dont nous percevons naturellement les sons dans le monde réel, en fonction de leur direction et de la façon dont ils atteignent chaque oreille. Le système suit également les mouvements de la tête du spectateur et ajuste la sortie audio en conséquence, de sorte que le son reste « attaché » à la personne à l’écran.

Applications de Google Beam#

Bien qu’il n’en soit encore qu’à ses débuts, Google Beam présente un potentiel prometteur dans le domaine de la visioconférence. Voici quelques-unes de ses principales applications :

• Collaboration à distance : Google Beam peut rendre les réunions, notamment les discussions de direction ou les négociations à forts enjeux, plus personnelles et plus efficaces. En capturant des éléments subtils comme le langage corporel et le contact visuel, il aide les participants à se sentir davantage présents, même lorsqu’ils sont éloignés.
• Éducation** :** Beam pourrait rendre l’apprentissage virtuel plus stimulant et plus accessible. Imagine un scientifique donnant une conférence en direct à des étudiants à l’autre bout du monde, avec l’impression qu’ils se trouvent réellement dans la même pièce.
• Santé** :** Beam pourrait rendre les consultations à distance plus personnelles. Lorsque les médecins et les patients peuvent se voir clairement et établir un contact visuel naturel, la confiance s’installe et l’interaction paraît plus humaine.
• Industries créatives : Pour les professionnels de domaines créatifs comme l’animation, les arts et la production, Beam peut rendre le travail d’équipe à distance plus simple et plus naturel. Qu’il s’agisse de réfléchir à des idées ou d’examiner un projet, l’expérience ressemble davantage à une collaboration dans un studio qu’à un appel vidéo.

Avantages et inconvénients de Google Beam#

Voici quelques-uns des principaux avantages qu’une innovation comme Google Beam peut apporter :

• Aucun casque nécessaire : Contrairement à de nombreuses technologies immersives, Beam fonctionne sans nécessiter de casques AR ou VR. L’expérience est ainsi plus confortable et évite les problèmes courants comme le mal des transports ou les contraintes liées au port d’un équipement supplémentaire.
• Réduction de la fatigue visuelle : L’affichage 3D offre une expérience de visionnage plus naturelle et plus confortable, ce qui peut contribuer à réduire la fatigue oculaire par rapport à une exposition prolongée à des écrans plats.
• Traduction linguistique en temps réel : Beam peut intégrer une traduction en temps réel alimentée par l’AI, ce qui facilite la communication naturelle entre des personnes parlant des langues différentes lors de réunions internationales ou dans des environnements d’apprentissage.

Beam représente une avancée prometteuse, mais comme toute nouvelle technologie, il présente certaines limites. Voici quelques éléments à prendre en compte :

• Exigences matérielles : Beam nécessite un équipement spécialisé haut de gamme, comme des écrans en champ lumineux et plusieurs caméras, ce qui le rend coûteux et moins accessible aux particuliers et aux petites organisations.
• Non portable : Le système Beam est conçu pour une installation fixe et n’est pas destiné à être facilement déplacé, ce qui limite sa flexibilité et son utilisation dans des environnements mobiles ou changeants.

Points clés à retenir#

Google Beam constitue une avancée fascinante vers une communication virtuelle plus humaine. Bien qu’il n’en soit encore qu’à ses débuts, il pourrait transformer notre manière de nous réunir, de nous connecter et de collaborer. En combinant une AI avancée, l’imagerie 3D et l’audio spatial, il crée une expérience à distance plus réaliste et immersive.

Alors que Google continue d’améliorer le matériel de Beam, de le rendre encore plus compact et pourrait éventuellement le proposer au grand public, de nouvelles possibilités enthousiasmantes se dessinent pour l’avenir de la communication virtuelle. Avec de nouvelles tendances technologiques comme les réunions holographiques et les avatars 3D, Beam établit une nouvelle référence pour les réunions virtuelles.

Rejoins notre communauté et consulte nos options de licence pour commencer dès aujourd’hui avec la vision par ordinateur. Consulte notre dépôt GitHub pour en savoir plus sur l’AI. Consulte nos pages de solutions pour découvrir différents cas d’utilisation de l’AI dans le commerce de détail et de la vision par ordinateur dans l’agriculture.