Erkundung von Google Beam: Ein 3D-Videokonferenztool der nächsten Generation

Videoanrufe und virtuelle Meetings haben das Arbeiten aus der Ferne ermöglicht und helfen Teams dabei, über Länder- und Zeitzonengrenzen hinweg in Verbindung zu bleiben. Sie sind zu einem festen Bestandteil unseres Lebens geworden und haben die Art und Weise verändert, wie wir kommunizieren.

Doch trotz ihrer weiten Verbreitung ist die Kerntechnologie hinter Videokonferenzen seit Jahren weitgehend unverändert geblieben. Dank jüngster Fortschritte beginnen sich Videokonferenzplattformen jedoch zu wandeln, mit dem Ziel, sich natürlicher und lebensechter anzufühlen.

Interessanterweise stellte Google auf seiner jährlichen Entwicklerkonferenz (Google I/O 2025) sein neues Videokommunikationswerkzeug namens Google Beam vor. Beam nutzt Künstliche Intelligenz (KI) und 3D-Videokonferenztechnologie, um über herkömmliche Flachbildschirme hinauszugehen und ein immersiveres, persönliches Erlebnis zu schaffen.

Abb. 1: Googles CEO Sundar Pichai stellt Google Beam vor (Quelle).

Tatsächlich ist Google Beam so konzipiert, dass es sich anfühlt, als stünde die Person, mit der du sprichst, direkt vor dir. Im Gegensatz zu regulären Videoanrufen bringt es subtile menschliche Signale zurück, wie Augenkontakt und natürliche Bewegungen, die sich mit deiner Perspektive verändern – Details, die auf flachen Bildschirmen oft verloren gehen.

In diesem Artikel tauchen wir tief in das Thema ein, was Google Beam ist, wie es entwickelt wurde, wie es funktioniert und welche Anwendungsmöglichkeiten es gibt. Fangen wir an!

Von Project Starline zu Google Beam#

Bevor wir uns Google Beam genauer ansehen, wollen wir ein besseres Verständnis für dessen Vorgänger, Project Starline, gewinnen.

Project Starline wurde auf der Google I/O 2021 vorgestellt und war eine Forschungsinitiative mit dem Ziel, die Kommunikation aus der Ferne lebendiger wirken zu lassen, fast so, als wäre man im selben Raum. Es funktionierte, indem es lebensgroße 3D-Bilder von Personen in Echtzeit erzeugte. Auch wenn die Technologie viel Aufmerksamkeit erregte, erforderte sie komplexe Aufbauten und schwere Hardware.

Abb. 2: Ein Blick auf Project Starline (Quelle).

Im Laufe der Jahre hat Google die Software verfeinert und die Hardware optimiert, während die Technologie voranschritt. Nach vier Jahren Entwicklung hat sich Project Starline zu Google Beam weiterentwickelt – einer kompakteren und benutzerfreundlicheren Lösung.

Google Beam nutzt KI, um Videoanrufe zu verbessern, indem realistischere, 3D-ähnliche Bilder der Person erstellt werden, mit der du sprichst. Es wandelt gewöhnliches 2D-Video in Ansichten um, die sich an verschiedene Winkel anpassen, was hilft, den Augenkontakt aufrechtzuerhalten und Gesichtsausdrücke leichter erkennbar macht. Es umfasst zudem Funktionen wie Echtzeitübersetzung, Kopfverfolgung (Tracking) und räumlichen Audio-Sound.

Ein Überblick über Google Beam#

Google Beam wurde so entwickelt, dass es ohne zusätzliches Zubehör wie Headsets für Augmented Reality (AR) oder Virtual Reality (VR) funktioniert. Stattdessen verfügt es über ein eigenes eingebautes Display, ein Kamerasystem und Hardware, um 3D-Visualisierungen zu erzeugen. Dadurch fühlen sich Videoanrufe natürlicher, angenehmer und ansprechender an als typische Videomeetings.

Abb. 3: Ein Beispiel für die Nutzung von Google Beam (Quelle).

Wie Google Beam realistische virtuelle Meetings erzeugt#

Jetzt, da wir besprochen haben, wie es zu Google Beam kam, wollen wir uns genauer ansehen, wie es funktioniert.

Bildaufnahme für immersive Zusammenarbeit aus der Ferne#

Alles beginnt mit der Erfassung visueller Informationen. Beam verwendet sechs hochauflösende Kameras, um gleichzeitig Bilder aus verschiedenen Winkeln aufzunehmen.

Diese Kameras helfen dabei, Gesichtszüge, Körpersprache und kleine Bewegungen in Echtzeit zu verfolgen. KI spielt eine Schlüsselrolle, indem sie die Kameraeinstellungen optimiert und alle Video-Feeds perfekt synchronisiert. Dies bereitet das System auf die nächste Stufe vor: die Datenverarbeitung.

Von 2D-Bildern zu 3D-Videokonferenzen#

Als Nächstes wird KI verwendet, um die sechs 2D-Kamera-Feeds zu kombinieren und ein 3D-Modell der sichtbaren Person in Echtzeit zu generieren. Anstatt 2D-Bilder einfach zu schichten, werden Tiefe, Schatten und räumliche Beziehungen rekonstruiert, um einen vollständigen digitalen 3D-Zwilling zu erstellen.

Um dieses 3D-Modell zu erstellen, nutzt Beam KI und Computer-Vision-Techniken wie Tiefenschätzung und Bewegungserfassung. Diese Methoden helfen zu bestimmen, wie weit eine Person von der Kamera entfernt ist, wie sie sich bewegt und wie ihr Körper positioniert ist. Mit diesen Daten kann das System Gesichtsmerkmale und Körperteile im 3D-Raum präzise abbilden.

Das KI-Modell hinter Beam aktualisiert die 3D-Darstellung mit 60 Bildern pro Sekunde (FPS), um Gespräche flüssig und lebensecht zu halten. Es nimmt zudem Echtzeitanpassungen vor, um die Bewegungen der Person präzise wiederzugeben.

Abb. 4: Die sechs Kameras von Google Beam erfassen Bilder aus verschiedenen Winkeln (Quelle).

Google Beams Lichtfeld-Displaysysteme#

Das 3D-Modell wird auf dem Beam-System des Empfängers mithilfe eines Lichtfeld-Displays angezeigt. Anders als herkömmliche Bildschirme, die beiden Augen dasselbe Bild präsentieren, strahlt ein Lichtfeld-Display für jedes Auge leicht unterschiedliche Bilder aus und simuliert so die Art und Weise, wie wir Tiefe im wirklichen Leben wahrnehmen. Dies erzeugt ein realistischeres, dreidimensionales visuelles Erlebnis.

Abb. 5: Virtuelles Abklatschen über Google Beam (Quelle).

Millimetergenaues Kopf-Tracking in Echtzeit#

Eines der beeindruckendsten Merkmale von Google Beam ist seine KI-Verfolgung in Echtzeit. Das System nutzt präzise Kopf- und Augenverfolgung, um Bewegungen bis ins kleinste Detail zu verfolgen.

Beispielsweise kann die KI-Engine von Beam die Kopfposition des Nutzers kontinuierlich verfolgen und in Echtzeit subtile Anpassungen am Bild vornehmen. Dies erweckt den Eindruck, dass die Person auf dem Bildschirm tatsächlich dir gegenüber sitzt. Wenn du deinen Kopf bewegst, verschiebt sich das 3D-Bild entsprechend, genau wie in einem echten persönlichen Gespräch.

Audioverarbeitung für KI-verbesserte virtuelle Kommunikation#

Beam verbessert auch das Klangerlebnis durch den Einsatz von räumlichem Ton, der der Position entspricht, an der die Person auf dem Bildschirm erscheint. Wenn sich jemand auf der linken Seite des Displays befindet, klingt seine Stimme, als käme sie von links. Wenn die Position wechselt, passt sich das Audio entsprechend an. Das lässt Unterhaltungen natürlicher wirken und hilft deinem Gehirn, dem Sprecher mühelos zu folgen.

Dies funktioniert durch die Kombination von direktionalen Audiotechniken mit Echtzeit-Tracking. Beam nutzt spatiales Audio, um zu simulieren, wie wir Klänge in der realen Welt auf natürliche Weise wahrnehmen (basierend auf der Richtung, aus der sie kommen, und wie sie jedes Ohr erreichen). Das System verfolgt zudem die Kopfbewegungen des Betrachters und passt die Tonausgabe entsprechend an, sodass der Ton an der Person auf dem Bildschirm „befestigt“ bleibt.

Anwendungsbereiche von Google Beam#

Obwohl sich Google Beam noch in einem frühen Stadium befindet, zeigt es vielversprechendes Potenzial im Bereich der Videokonferenzen. Hier sind einige seiner wichtigsten Anwendungsgebiete:

• Remote-Zusammenarbeit: Google Beam kann Meetings – insbesondere Führungskräfte-Diskussionen oder wichtige Verhandlungen – persönlicher und effektiver gestalten. Durch die Erfassung subtiler Faktoren wie Körpersprache und Augenkontakt hilft es den Teilnehmern, sich präsenter zu fühlen, selbst wenn sie weit voneinander entfernt sind.
• Bildung: Beam hat das Potenzial, virtuelles Lernen spannender und zugänglicher zu machen. Stell dir vor, ein Wissenschaftler hält eine Live-Vorlesung für Studierende am anderen Ende der Welt und es fühlt sich tatsächlich so an, als wären sie im selben Raum.
• Gesundheitswesen: Beam könnte Beratungen aus der Ferne persönlicher machen. Wenn Ärzte und Patienten sich klar sehen und natürlichen Augenkontakt pflegen können, baut das Vertrauen auf und die Interaktion wirkt menschlicher.
• Kreativbranche: Für Menschen in kreativen Bereichen wie Animatoren, Künstler und Produzenten kann Beam die Zusammenarbeit aus der Ferne einfacher und natürlicher gestalten. Ob beim Brainstorming oder bei der Projektprüfung – es fühlt sich eher so an, als säße man gemeinsam in einem Studio, statt in einem Videoanruf zu sein.

Vor- und Nachteile von Google Beam#

Hier sind einige der wichtigsten Vorteile, die eine Innovation wie Google Beam bietet:

• Keine Headsets erforderlich: Im Gegensatz zu vielen immersiven Technologien funktioniert Beam ohne AR- oder VR-Headsets. Dies macht das Erlebnis komfortabler und vermeidet häufige Probleme wie Reiseübelkeit oder die Unannehmlichkeit, zusätzliche Ausrüstung zu tragen.
• Reduzierte Bildschirmmüdigkeit: Das 3D-Display bietet ein natürlicheres und angenehmeres Seherlebnis, was dazu beitragen kann, die Augenbelastung im Vergleich zum langen Starren auf flache Bildschirme zu verringern.
• Echtzeit-Sprachübersetzung: Beam kann KI-gestützte Echtzeitübersetzung integrieren, was es Menschen, die unterschiedliche Sprachen sprechen, erleichtert, bei internationalen Treffen oder in Lernumgebungen natürlich zu kommunizieren.

Beam ist ein vielversprechender Fortschritt, aber wie bei jeder neuen Technologie gibt es einige Einschränkungen. Hier sind einige Punkte, die es zu berücksichtigen gilt:

• Hardware-Anforderungen: Beam benötigt spezielle High-End-Ausrüstung wie Lichtfeld-Displays und mehrere Kameras, was es teuer und für Einzelpersonen sowie kleinere Organisationen weniger zugänglich macht.
• Nicht tragbar: Das Beam-System ist für eine feste Installation konzipiert und nicht dafür gedacht, einfach transportiert zu werden, was seine Flexibilität und Nutzung in mobilen oder wechselnden Umgebungen einschränkt.

Wichtige Erkenntnisse#

Google Beam ist ein faszinierender Schritt, um virtuelle Kommunikation menschlicher zu gestalten. Obwohl es sich noch in einer frühen Phase befindet, hat es das Potenzial, die Art und Weise zu verändern, wie wir uns treffen, verbinden und zusammenarbeiten. Durch die Kombination von fortschrittlicher KI, 3D-Bildgebung und räumlichem Audio entsteht ein lebensechteres und ansprechenderes Fern-Erlebnis.

Während Google die Hardware von Beam weiter verbessert, sie noch kompakter macht und sie möglicherweise für alltägliche Nutzer verfügbar macht, eröffnen sich spannende Möglichkeiten für die Zukunft der virtuellen Kommunikation. Zusammen mit neuen Technologietrends wie holografischen Meetings und 3D-Avataren setzt Beam einen neuen Standard für virtuelle Meetings.

Werde Teil unserer Community und wirf einen Blick auf unsere Lizenzierungsoptionen, um noch heute mit Computer Vision zu beginnen. Sieh dir unser GitHub-Repository an, um mehr über KI zu erfahren. Lies unsere Lösungsseiten, um Einblicke in verschiedene Anwendungsfälle von KI im Einzelhandel und Computer Vision in der Landwirtschaft zu erhalten.