À la découverte de Google Beam : un outil de visioconférence 3D de nouvelle génération

Les appels vidéo et les réunions virtuelles ont rendu le travail à distance possible et aident les équipes à rester en contact malgré les frontières et les fuseaux horaires. Ils font désormais partie de notre quotidien et ont changé notre manière de communiquer.

Cependant, malgré leur usage répandu, la technologie fondamentale de la visioconférence a peu évolué au fil des ans. Grâce aux récentes avancées, les plateformes de visioconférence commencent à changer pour offrir des échanges plus naturels et plus réalistes.

Fait intéressant, lors de sa conférence annuelle pour les développeurs (Google I/O 2025), Google a présenté son nouvel outil de communication vidéo, baptisé Google Beam. Beam utilise l’intelligence artificielle (AI) et la visioconférence 3D pour dépasser le cadre des écrans plats traditionnels et créer une expérience plus immersive, comme en présentiel.

Fig. 1. Sundar Pichai, PDG de Google, présente Google Beam (Source).

En effet, Google Beam est conçu pour donner l’impression que la personne à qui tu parles se trouve juste devant toi. Contrairement aux appels vidéo classiques, il restitue des indices humains subtils, comme le contact visuel et les mouvements naturels qui s’adaptent à ton point de vue, autant de détails qui se perdent souvent sur les écrans plats.

Dans cet article, nous allons voir ce qu’est Google Beam, comment il a été développé, son fonctionnement et ses applications.

Du projet Starline à Google Beam#

Avant d’examiner Google Beam de plus près, faisons le point sur son prédécesseur, le projet Starline.

Présenté lors de Google I/O 2021, Project Starline était une initiative de recherche visant à rendre les communications à distance plus réalistes, presque comme si les interlocuteurs se trouvaient dans la même pièce. Le système créait en temps réel des images des personnes à taille réelle et en 3D. Malgré l’attention suscitée par cette technologie, elle nécessitait des installations complexes et du matériel lourd.

Fig. 2. Aperçu du projet Starline (Source).

Au fil des ans, les progrès technologiques ont permis à Google d’affiner le logiciel et de simplifier le matériel. Après quatre ans de développement, le projet Starline est devenu Google Beam, une solution plus compacte et plus facile à utiliser.

Google Beam utilise l’IA pour améliorer les appels vidéo en créant des images plus réalistes, en 3D, des personnes avec qui tu parles. Le système transforme la vidéo 2D classique en vues qui s’adaptent aux différents angles, ce qui aide à maintenir le contact visuel et rend les expressions faciales plus faciles à voir. Il comprend également des fonctionnalités comme la traduction en temps réel, le suivi de la tête et l’audio spatial.

Présentation de Google Beam#

Google Beam a été conçu pour fonctionner sans accessoires supplémentaires tels que des casques de réalité augmentée (AR) ou de réalité virtuelle (VR). Il intègre plutôt son propre écran, son système de caméras et le matériel nécessaire à la création de visuels 3D. Les appels vidéo sont ainsi plus naturels, confortables et engageants que les visioconférences classiques.

Fig. 3. Exemple d’utilisation de Google Beam (Source).

Comment Google Beam crée des réunions virtuelles réalistes#

Maintenant que nous avons vu comment Google Beam a vu le jour, examinons de plus près son fonctionnement.

Capture d’images pour une collaboration à distance immersive#

Tout commence par la capture d’informations visuelles. Beam utilise six caméras haute résolution pour prendre simultanément des images sous différents angles.

Ces caméras permettent de suivre en temps réel les traits du visage, le langage corporel et les petits mouvements. L’IA joue un rôle clé en optimisant les réglages des caméras et en synchronisant tous les flux vidéo. Le système est ainsi prêt pour l’étape suivante : le traitement des données.

De l’image 2D à la visioconférence 3D#

Ensuite, l’IA combine les six flux des caméras 2D afin de générer un modèle 3D en temps réel de la personne à l’écran. Au lieu de simplement superposer des images 2D, elle reconstitue la profondeur, les ombres et les relations spatiales pour créer un jumeau numérique complet en 3D.

Pour créer ce modèle 3D, Beam utilise l’IA et des techniques de vision par ordinateur comme l’estimation de profondeur et le suivi des mouvements. Ces méthodes permettent de déterminer à quelle distance une personne se trouve de la caméra, comment elle bouge et comment son corps est positionné. Grâce à ces données, le système peut cartographier avec précision les traits du visage et les parties du corps dans l’espace 3D.

Le modèle d’IA derrière Beam met à jour la représentation 3D à 60 images par seconde (FPS) pour garantir des conversations fluides et réalistes. Il effectue également des ajustements en temps réel afin de reproduire fidèlement les mouvements de la personne.

Fig. 4. Les six caméras de Google Beam capturent des images sous différents angles (Source).

Les systèmes d’affichage à champ lumineux de Google Beam#

Le modèle 3D s’affiche sur le système Beam du destinataire au moyen d’un écran à champ lumineux. Contrairement aux écrans classiques, qui affichent la même image aux deux yeux, un écran à champ lumineux émet des images légèrement différentes pour chaque œil, simulant ainsi notre perception de la profondeur dans la vie réelle. Il en résulte une expérience visuelle tridimensionnelle plus réaliste.

Fig. 5. Échange de tapes dans la main virtuelles avec Google Beam (Source).

Suivi de la tête en temps réel avec une précision millimétrique#

L’une des fonctionnalités les plus impressionnantes de Google Beam est son suivi par IA en temps réel. Le système utilise un suivi précis de la tête et des yeux pour détecter les mouvements jusque dans leurs moindres détails.

Par exemple, le moteur d’IA de Beam peut suivre en continu la position de la tête de l’utilisateur et ajuster subtilement l’image en temps réel. Cela donne l’impression que la personne à l’écran est réellement assise en face de toi. Lorsque tu bouges la tête, l’image 3D se déplace en conséquence, comme lors d’une véritable conversation en face à face.

Traitement audio pour des communications virtuelles améliorées par l’IA#

Beam améliore également l’expérience audio en utilisant un son spatial qui correspond à la position de la personne à l’écran. Si une personne se trouve à gauche de l’écran, sa voix semble provenir de la gauche. Quand elle change de position, le son s’adapte. Les conversations paraissent ainsi plus naturelles et ton cerveau peut identifier qui parle sans effort supplémentaire.

Le système combine des techniques audio directionnelles et un suivi en temps réel. Beam utilise l’audio spatial pour simuler notre perception naturelle du son dans le monde réel, en fonction de sa direction et de la façon dont il atteint chaque oreille. Le système suit également les mouvements de la tête de la personne qui regarde et ajuste la sortie audio en conséquence, de sorte que le son reste « attaché » à la personne à l’écran.

Applications de Google Beam#

Bien qu’il n’en soit qu’à ses débuts, Google Beam présente un potentiel prometteur dans le domaine de la visioconférence. Voici quelques-unes de ses principales applications :

• Collaboration à distance : Google Beam peut rendre les réunions, notamment les discussions de direction ou les négociations à forts enjeux, plus personnelles et plus efficaces. En capturant des indices subtils comme le langage corporel et le contact visuel, il aide les participants à se sentir plus présents, même à distance.
• Éducation : Beam pourrait rendre l’apprentissage virtuel plus stimulant et accessible. Imagine un scientifique donnant un cours en direct à des étudiants à l’autre bout du monde, avec l’impression qu’ils sont dans la même pièce.
• Santé : Beam pourrait rendre les consultations à distance plus personnelles. Lorsque médecins et patients peuvent se voir clairement et se regarder naturellement dans les yeux, la confiance se renforce et l’échange paraît plus humain.
• Industries créatives : Pour les professionnels de la création, comme les animateurs, les artistes et les producteurs, Beam peut rendre le travail d’équipe à distance plus simple et plus naturel. Qu’il s’agisse de réfléchir à des idées ou d’examiner un projet, on a davantage l’impression d’être réunis dans un studio que de participer à un appel vidéo.

Avantages et inconvénients de Google Beam#

Voici quelques-uns des principaux avantages qu’une innovation comme Google Beam peut offrir :

• Aucun casque nécessaire : Contrairement à de nombreuses technologies immersives, Beam fonctionne sans casque AR ou VR. L’expérience est donc plus confortable et évite les problèmes courants comme le mal des transports ou la contrainte de porter un équipement supplémentaire.
• Moins de fatigue visuelle : L’écran 3D offre une expérience de visionnage plus naturelle et confortable, ce qui peut réduire la fatigue oculaire par rapport à une exposition prolongée aux écrans plats.
• Traduction linguistique en temps réel : Beam peut intégrer la traduction en temps réel par IA, ce qui facilite les échanges entre personnes parlant des langues différentes lors de réunions internationales ou dans des contextes d’apprentissage.

Beam est une avancée prometteuse, mais, comme toute nouvelle technologie, elle comporte quelques limites. Voici certains éléments à prendre en compte :

• Configuration matérielle requise : Beam nécessite du matériel spécialisé haut de gamme, comme des écrans à champ lumineux et plusieurs caméras, ce qui le rend coûteux et moins accessible aux particuliers et aux petites organisations.
• Pas portable : Le système Beam est conçu pour une installation fixe et n’est pas facile à déplacer, ce qui limite sa flexibilité et son utilisation dans des environnements mobiles ou changeants.

Points clés à retenir#

Google Beam est une avancée fascinante vers des communications virtuelles plus humaines. Même s’il n’en est qu’à ses débuts, il pourrait transformer notre manière de nous réunir, d’échanger et de collaborer. En associant une IA avancée, l’imagerie 3D et l’audio spatial, il offre une expérience à distance plus réaliste et plus engageante.

Alors que Google continue d’améliorer le matériel de Beam, de le rendre encore plus compact et peut-être de le proposer au grand public, de nouvelles perspectives prometteuses s’ouvrent pour l’avenir des communications virtuelles. Associé à de nouvelles tendances technologiques comme les réunions holographiques et les avatars 3D, Beam pourrait établir une nouvelle norme pour les réunions virtuelles.

Rejoins notre communauté et consulte nos options de licence pour te lancer dès aujourd’hui dans la vision par ordinateur. Consulte notre dépôt GitHub pour en savoir plus sur l’IA. Découvre nos pages de solutions pour mieux comprendre les différentes applications de l’IA dans le commerce de détail et de la vision par ordinateur dans l’agriculture.