Erkundung von Google Beam: Ein 3D-Videokonferenztool der nächsten Generation

Videoanrufe und virtuelle Meetings haben das Arbeiten aus der Ferne ermöglicht und helfen Teams dabei, über Länder- und Zeitzonengrenzen hinweg in Verbindung zu bleiben. Sie sind zu einem festen Bestandteil unseres Lebens geworden und haben die Art und Weise verändert, wie wir kommunizieren.

Doch trotz ihrer weiten Verbreitung ist die Kerntechnologie hinter Videokonferenzen seit Jahren weitgehend unverändert geblieben. Dank jüngster Fortschritte beginnen sich Videokonferenzplattformen jedoch zu wandeln, mit dem Ziel, sich natürlicher und lebensechter anzufühlen.

Interessanterweise hat Google auf seiner jährlichen Entwicklerkonferenz (Google I/O 2025) sein neues Videokommunikationstool namens Google Beam vorgestellt. Beam nutzt künstliche Intelligenz (KI) und 3D-Videokonferenztechnologie, um über herkömmliche flache Bildschirme hinauszugehen und ein immersiveres Erlebnis zu schaffen, das sich wie ein persönliches Treffen anfühlt.

Abb. 1: Google CEO Sundar Pichai bei der Vorstellung von Google Beam (Quelle).

Tatsächlich ist Google Beam so konzipiert, dass es sich anfühlt, als stünde die Person, mit der du sprichst, direkt vor dir. Im Gegensatz zu regulären Videoanrufen bringt es subtile menschliche Signale zurück, wie Augenkontakt und natürliche Bewegungen, die sich mit deiner Perspektive verändern – Details, die auf flachen Bildschirmen oft verloren gehen.

In diesem Artikel tauchen wir tief in das Thema ein, was Google Beam ist, wie es entwickelt wurde, wie es funktioniert und welche Anwendungsmöglichkeiten es gibt. Fangen wir an!

Link to this sectionVon Project Starline zu Google Beam#

Bevor wir uns Google Beam genauer ansehen, wollen wir ein besseres Verständnis für dessen Vorgänger, Project Starline, gewinnen.

Project Starline wurde auf der Google I/O 2021 vorgestellt und war eine Forschungsinitiative mit dem Ziel, die Kommunikation aus der Ferne lebensechter zu gestalten – fast so, als ob man sich im selben Raum befände. Es funktionierte durch die Erstellung lebensgroßer 3D-Bilder von Personen in Echtzeit. Obwohl die Technologie viel Aufmerksamkeit erregte, erforderte sie komplexe Aufbauten und umfangreiche Hardware.

Abb. 2: Ein Blick auf Project Starline (Quelle).

Im Laufe der Jahre hat Google die Software verfeinert und die Hardware optimiert, während die Technologie voranschritt. Nach vier Jahren Entwicklung hat sich Project Starline zu Google Beam weiterentwickelt – einer kompakteren und benutzerfreundlicheren Lösung.

Google Beam nutzt KI, um Videoanrufe zu verbessern, indem realistischere, 3D-ähnliche Bilder der Personen erstellt werden, mit denen du sprichst. Es verwandelt normales 2D-Video in Ansichten, die sich bei verschiedenen Winkeln anpassen, hilft dabei, Augenkontakt beizubehalten, und macht Mimik besser erkennbar. Es umfasst außerdem Funktionen wie Echtzeitübersetzung, Kopf-Tracking und räumliches Audio.

Link to this sectionEin Überblick über Google Beam#

Google Beam wurde so entwickelt, dass es ohne zusätzliches Zubehör wie Headsets für Augmented Reality (AR) oder Virtual Reality (VR) funktioniert. Stattdessen verfügt es über ein eigenes eingebautes Display, ein Kamerasystem und Hardware, um 3D-Visualisierungen zu erzeugen. Dadurch fühlen sich Videoanrufe natürlicher, angenehmer und ansprechender an als typische Videomeetings.

Abb. 3: Ein Beispiel für die Nutzung von Google Beam (Quelle).

Link to this sectionWie Google Beam realistische virtuelle Meetings erzeugt#

Jetzt, da wir besprochen haben, wie es zu Google Beam kam, wollen wir uns genauer ansehen, wie es funktioniert.

Link to this sectionBildaufnahme für immersive Zusammenarbeit aus der Ferne#

Alles beginnt mit der Erfassung visueller Informationen. Beam verwendet sechs hochauflösende Kameras, um gleichzeitig Bilder aus verschiedenen Blickwinkeln aufzunehmen.

Diese Kameras helfen dabei, Gesichtszüge, Körpersprache und kleine Bewegungen in Echtzeit zu verfolgen. KI spielt eine Schlüsselrolle, indem sie die Kameraeinstellungen optimiert und alle Video-Feeds perfekt synchronisiert. Dies bereitet das System auf die nächste Stufe vor: die Datenverarbeitung.

Link to this sectionVon 2D-Bildern zu 3D-Videokonferenzen#

Als Nächstes wird KI verwendet, um die sechs 2D-Kamera-Feeds zu kombinieren und ein 3D-Modell der sichtbaren Person in Echtzeit zu generieren. Anstatt 2D-Bilder einfach zu schichten, werden Tiefe, Schatten und räumliche Beziehungen rekonstruiert, um einen vollständigen digitalen 3D-Zwilling zu erstellen.

Um dieses 3D-Modell aufzubauen, nutzt Beam KI und Computer-Vision-Techniken wie Tiefenschätzung und Bewegungserfassung. Diese Methoden helfen dabei, zu bestimmen, wie weit eine Person von der Kamera entfernt ist, wie sie sich bewegt und wie ihr Körper positioniert ist. Mit diesen Daten kann das System Gesichtszüge und Körperteile präzise im 3D-Raum abbilden.

Das KI-Modell hinter Beam aktualisiert die 3D-Darstellung mit 60 Bildern pro Sekunde (FPS), um Unterhaltungen flüssig und lebensecht zu halten. Es nimmt zudem Echtzeitanpassungen vor, um die Bewegungen der Person präzise widerzuspiegeln.

Abb. 4: Die sechs Kameras von Google Beam erfassen Bilder aus verschiedenen Blickwinkeln (Quelle).

Link to this sectionGoogle Beams Lichtfeld-Displaysysteme#

Das 3D-Modell wird auf dem Beam-System des Empfängers mithilfe eines Lichtfeld-Displays angezeigt. Anders als herkömmliche Bildschirme, die beiden Augen dasselbe Bild präsentieren, strahlt ein Lichtfeld-Display für jedes Auge leicht unterschiedliche Bilder aus und simuliert so die Art und Weise, wie wir Tiefe im wirklichen Leben wahrnehmen. Dies erzeugt ein realistischeres, dreidimensionales visuelles Erlebnis.

Abb. 5: Virtuelle High-Fives via Google Beam austauschen (Quelle).

Link to this sectionMillimetergenaues Kopf-Tracking in Echtzeit#

Eine der beeindruckendsten Funktionen von Google Beam ist seine KI-Tracking-Fähigkeit in Echtzeit. Das System nutzt präzises Kopf- und Augen-Tracking, um Bewegungen bis ins kleinste Detail zu verfolgen.

Beispielsweise kann die KI-Engine von Beam die Kopfposition des Benutzers kontinuierlich verfolgen und subtile Anpassungen am Bild in Echtzeit vornehmen. Dies erzeugt den Eindruck, dass die Person auf dem Bildschirm tatsächlich gegenüber von dir sitzt. Wenn du deinen Kopf bewegst, verschiebt sich das 3D-Bild entsprechend, genau wie bei einem echten Gespräch von Angesicht zu Angesicht.

Link to this sectionAudioverarbeitung für KI-verbesserte virtuelle Kommunikation#

Beam verbessert auch das Klangerlebnis durch den Einsatz von räumlichem Ton, der der Position entspricht, an der die Person auf dem Bildschirm erscheint. Wenn sich jemand auf der linken Seite des Displays befindet, klingt seine Stimme, als käme sie von links. Wenn die Position wechselt, passt sich das Audio entsprechend an. Das lässt Unterhaltungen natürlicher wirken und hilft deinem Gehirn, dem Sprecher mühelos zu folgen.

Dies funktioniert durch die Kombination von direktionalen Audiotechniken mit Echtzeit-Tracking. Beam nutzt räumliches Audio, um zu simulieren, wie wir Geräusche in der realen Welt auf natürliche Weise wahrnehmen (basierend auf der Richtung, aus der sie kommen, und wie sie jedes Ohr erreichen). Das System verfolgt zudem die Kopfbewegungen des Betrachters und passt die Audioausgabe entsprechend an, sodass der Ton an der Person auf dem Bildschirm „haftet“.

Link to this sectionAnwendungsbereiche von Google Beam#

Obwohl sich Google Beam noch in einem frühen Stadium befindet, zeigt es vielversprechendes Potenzial im Bereich der Videokonferenzen. Hier sind einige seiner wichtigsten Anwendungsgebiete:

• Remote-Zusammenarbeit: Google Beam kann Meetings – insbesondere Führungskräfte-Diskussionen oder wichtige Verhandlungen – persönlicher und effektiver gestalten. Durch die Erfassung subtiler Faktoren wie Körpersprache und Augenkontakt hilft es den Teilnehmern, sich präsenter zu fühlen, selbst wenn sie weit voneinander entfernt sind.
• Bildung: Beam hat das Potenzial, virtuelles Lernen spannender und zugänglicher zu machen. Stell dir einen Wissenschaftler vor, der eine Live-Vorlesung für Studenten am anderen Ende der Welt hält, und es fühlt sich tatsächlich so an, als wären sie im selben Raum.
• Gesundheitswesen: Beam könnte Fernkonsultationen persönlicher gestalten. Wenn Ärzte und Patienten sich klar sehen und natürlichen Augenkontakt aufbauen können, schafft das Vertrauen und macht die Interaktion menschlicher.
• Kreativbranche: Für Menschen in kreativen Bereichen wie Animatoren, Künstler und Produzenten kann Beam die Zusammenarbeit aus der Ferne einfacher und natürlicher gestalten. Ob beim Brainstorming oder bei der Projektprüfung – es fühlt sich eher so an, als säße man gemeinsam in einem Studio, statt in einem Videoanruf zu sein.

Link to this sectionVor- und Nachteile von Google Beam#

Hier sind einige der wichtigsten Vorteile, die eine Innovation wie Google Beam bietet:

• Keine Headsets erforderlich: Im Gegensatz zu vielen immersiven Technologien funktioniert Beam, ohne dass AR- oder VR-Headsets erforderlich sind. Dies macht das Erlebnis komfortabler und vermeidet häufige Probleme wie Reisekrankheit oder die Unannehmlichkeit, zusätzliche Ausrüstung tragen zu müssen.
• Reduzierte Bildschirmmüdigkeit: Das 3D-Display bietet ein natürlicheres und angenehmeres Seherlebnis, was dazu beitragen kann, die Augenbelastung im Vergleich zum langen Starren auf flache Bildschirme zu verringern.
• Echtzeit-Sprachübersetzung: Beam kann KI-gestützte Echtzeitübersetzung integrieren, was es Menschen, die unterschiedliche Sprachen sprechen, erleichtert, bei internationalen Treffen oder in Lernumgebungen natürlich zu kommunizieren.

Beam ist ein vielversprechender Fortschritt, aber wie bei jeder neuen Technologie gibt es einige Einschränkungen. Hier sind einige Punkte, die es zu berücksichtigen gilt:

• Hardware-Anforderungen: Beam benötigt spezielle High-End-Ausrüstung wie Lichtfeld-Displays und mehrere Kameras, was es teuer und für Einzelpersonen sowie kleinere Organisationen weniger zugänglich macht.
• Nicht tragbar: Das Beam-System ist für eine feste Installation konzipiert und nicht dafür gedacht, einfach transportiert zu werden, was seine Flexibilität und Nutzung in mobilen oder wechselnden Umgebungen einschränkt.

Link to this sectionWichtige Erkenntnisse#

Google Beam ist ein faszinierender Schritt, um virtuelle Kommunikation menschlicher zu gestalten. Obwohl es sich noch in einer frühen Phase befindet, hat es das Potenzial, die Art und Weise zu verändern, wie wir uns treffen, verbinden und zusammenarbeiten. Durch die Kombination von fortschrittlicher KI, 3D-Bildgebung und räumlichem Audio entsteht ein lebensechteres und ansprechenderes Fern-Erlebnis.

Während Google die Hardware von Beam weiter verbessert, sie noch kompakter macht und sie möglicherweise für alltägliche Nutzer verfügbar macht, eröffnen sich spannende Möglichkeiten für die Zukunft der virtuellen Kommunikation. Zusammen mit neuen Technologietrends wie holografischen Meetings und 3D-Avataren setzt Beam einen neuen Standard für virtuelle Meetings.

Tritt unserer Community bei und wirf einen Blick auf unsere Lizenzoptionen, um heute mit Computer Vision zu starten. Besuche unser GitHub-Repository, um mehr über KI zu erfahren. Lies unsere Lösungsseiten, um Einblicke in verschiedene Anwendungsfälle von KI im Einzelhandel und Computer Vision in der Landwirtschaft zu erhalten.