Google Beamの探求: 次世代の3Dビデオ会議ツール

ビデオ通話やバーチャルミーティングはリモートワークを可能にし、国やタイムゾーンを超えてチームが繋がる手助けをしてきました。これらは私たちの生活の一部となり、コミュニケーションの方法を大きく変えました。

しかし、広く普及しているにもかかわらず、ビデオ会議の核となる技術は長年ほとんど変わっていません。近年の進歩により、ビデオ会議プラットフォームはより自然でリアルな感覚を目指して変化し始めています。

興味深いことに、Googleは年次開発者会議（Google I/O 2025）で、Google Beamと呼ばれる新しいビデオコミュニケーションツールを発表しました。Beamは、artificial intelligence (AI)と3Dビデオ会議技術を使用して、従来のフラットスクリーンを超えた、より没入感のある対面のような体験を作り出します。

図1: GoogleのCEOであるサンダー・ピチャイ氏がGoogle Beamを紹介している様子（Source）。

実際、Google Beamは、話している相手がまるで目の前にいるかのように感じられるよう設計されています。通常のビデオ通話とは異なり、アイコンタクトや視点に合わせて変化する自然な動きといった、平面スクリーンでは失われがちな微妙な人間的要素を再現します。

この記事では、Google Beamとは何か、どのように開発され、どのように機能するのか、そしてその応用事例について詳しく解説します。それでは始めましょう！

Project StarlineからGoogle Beamへ#

Google Beamについて詳しく見る前に、その前身であるProject Starlineについて理解を深めておきましょう。

Google I/O 2021で発表されたProject Starlineは、リモートコミュニケーションをよりリアルに感じさせ、まるで同じ部屋にいるかのようにするための研究イニシアチブでした。これは、リアルタイムで人々の実物大の3D imagesを作成することで機能していました。この技術は大きな注目を集めましたが、複雑なセットアップと強力なハードウェアが必要でした。

図2: Project Starlineの様子（Source）。

長年にわたる技術の進歩に伴い、Googleはソフトウェアを改良し、ハードウェアを簡素化しました。4年の開発期間を経て、Project Starlineは、よりコンパクトで使いやすいソリューションであるGoogle Beamへと進化しました。

Google BeamはAIを使用して、会話している相手のよりリアルで3Dのような画像を作成し、ビデオ通話を強化します。通常の2Dビデオをさまざまな角度に合わせて調整されるビューに変換し、アイコンタクトの維持を助け、表情をより見やすくします。また、リアルタイム翻訳、ヘッドtracking、空間オーディオなどの機能も備えています。

Google Beamの概要#

Google Beamは、拡張現実 (AR) や仮想現実 (VR) ヘッドセットのような追加のアクセサリなしで動作するように開発されました。代わりに、独自のディスプレイ、カメラシステム、ハードウェアを内蔵しており、3Dビジュアルを生成します。これにより、ビデオ通話は通常の会議よりも自然で快適、かつ魅力的なものになります。

図3: Google Beamの使用例（Source）。

Google Beamがいかにしてリアルなバーチャルミーティングを実現するか#

Google Beamの誕生の経緯を説明したところで、次にその仕組みを詳しく見ていきましょう。

没入型リモートコラボレーションのための画像キャプチャ#

すべては視覚情報のキャプチャから始まります。Beamは6台の高解像度camerasを使用して、さまざまな角度から同時に写真を撮影します。

これらのカメラは、顔の特徴、ボディランゲージ、微細な動きをリアルタイムで追跡するのに役立ちます。AIは、カメラ設定を最適化し、すべてのビデオフィードを完全に同期させるという重要な役割を担っています。これにより、システムは次の段階であるデータ処理へと備えます。

2D画像から3Dビデオ会議へ#

次に、AIを使用して6つの2Dカメラフィードを統合し、視界内の人物のリアルタイム3Dモデルを生成します。単に2D画像を重ね合わせるのではなく、奥行き、影、空間的関係を再構築して完全な3Dデジタルツインを作成します。

この3Dモデルを構築するために、BeamはAIと、深度推定やモーション追跡などのcomputer vision techniquesを使用します。これらの方法は、人物がカメラからどれくらい離れているか、どのように動くか、そして身体がどのように配置されているかを判断するのに役立ちます。このデータにより、システムは3D空間内で顔のパーツや体の部位を正確にマッピングできます。

Beamの背後にあるAIモデルは、3D表現を毎秒60 frames per second (FPS)で更新し、会話をスムーズかつリアルに保ちます。また、人物の動きを正確に反映するためにリアルタイムで調整を行います。

図4: Google Beamの6台のカメラがさまざまな角度から画像をキャプチャしている様子（Source）。

Google Beamのライトフィールドディスプレイシステム#

3Dモデルは、ライトフィールドディスプレイを使用して受信側のBeamシステムに表示されます。両目に同じ画像を表示する従来のスクリーンとは異なり、ライトフィールドディスプレイは左右の目にわずかに異なる画像を出力し、現実世界で奥行きを知覚する方法をシミュレートします。これにより、よりリアルで立体的な視覚体験が生まれます。

図5: Google Beamを通じてバーチャルハイタッチを交わしている様子（Source）。

リアルタイムのミリメートル単位の頭部トラッキング#

Google Beamの最も印象的な機能の1つは、リアルタイムのAIトラッキング機能です。このシステムは、高精度な頭部およびeye trackingを使用して、細部に至るまで動きを追跡します。

たとえば、BeamのAIエンジンは、ユーザーの頭部の位置を継続的に追跡し、real timeで画像に微調整を加えることができます。これにより、画面上の人物が本当に目の前に座っているかのような印象を生み出します。頭を動かすと、現実の対面での会話のように、それに応じて3D画像が変化します。

AI強化型バーチャルコミュニケーションのためのオーディオ処理#

Beamは、スクリーン上の人物の表示位置に合わせて空間サウンドを使用することで、オーディオ体験も向上させています。誰かがディスプレイの左側にいる場合、その声は左側から聞こえるように感じられます。相手が位置を変えると、オーディオもそれに追従して調整されます。これにより会話がより自然に感じられ、誰が話しているかを意識せずとも脳が自然に追跡できるようになります。

これは、指向性オーディオ技術とreal-time trackingを組み合わせることで機能します。Beamは空間オーディオを使用して、現実世界での音の知覚方法（音が発せられる方向や各耳への届き方に基づく）をシミュレートします。また、システムは視聴者の頭の動きを追跡し、それに応じて音声出力を調整するため、音は画面上の人物に「固定された」状態を維持します。

Google Beamの応用#

Google Beamはまだ初期段階ですが、ビデオ会議の分野で有望な可能性を示しています。主な応用例をいくつか挙げます：

• リモートコラボレーション: Google Beamは、リーダーシップ会議や重要な交渉などにおいて、ミーティングをより個人的で効果的なものにできます。ボディランゲージやアイコンタクトといった微妙な要素を捉えることで、離れていても相手の存在感をより強く感じられるようになります。
• Education: Beamには、バーチャル学習をよりエキサイティングでアクセスしやすいものにする可能性があります。ある科学者が世界中の半分離れた学生に向けてライブ講義を行い、まるで同じ部屋にいるかのように感じられることを想像してみてください。
• Healthcare: Beamにより、遠隔医療の相談をより個人的なものに感じさせることができます。医師と患者が互いをはっきりと見合って自然なアイコンタクトを取ることができれば、信頼関係が築かれ、対話がより人間味のあるものになります。
• クリエイティブ産業: アニメーター、アーティスト、プロデューサーなど、クリエイティブな分野の人々にとって、Beamはリモートでのチームワークをより簡単で自然なものにします。アイデアのブレインストーミングやプロジェクトのレビューを行う際、単なるビデオ通話よりも、スタジオで一緒に座っているかのような感覚が得られます。

Google Beamの利点と欠点#

Google Beamのようなイノベーションがもたらす主なメリットは以下の通りです：

• ヘッドセットは不要: 多くの没入型技術とは異なり、BeamはAR or VR headsetsを必要とせずに動作します。これにより、体験がより快適になり、乗り物酔いや追加の装備を装着する不便さなどの一般的な問題を回避できます。
• 画面疲労の軽減: 3Dディスプレイはより自然で快適な視聴体験を提供するため、長時間平面スクリーンを見つめることによる眼精疲労を軽減できる可能性があります。
• リアルタイム言語翻訳: BeamはAI駆動のリアルタイム翻訳を組み込むことができ、異なる言語を話す人々が国際会議や学習環境において自然にコミュニケーションをとるのを容易にします。

Beamは有望な一歩ですが、他の新しい技術と同様にいくつかの制限があります。考慮すべき点をいくつか挙げます：

• ハードウェア要件: Beamはライトフィールドディスプレイや複数のカメラといった特殊なハイエンド機器を必要とするため、高価であり、個人や小規模組織には手が届きにくいという現状があります。
• ポータビリティなし: Beamのシステムは固定設置向けに設計されており、簡単に移動できるように作られていないため、柔軟性が制限され、モバイル環境や頻繁に場所が変わる環境での使用には適していません。

重要なポイント#

Google Beamは、バーチャルコミュニケーションをより人間らしいものにするための魅力的な一歩です。まだ初期段階ではありますが、会議、接続、コラボレーションの方法を一変させる可能性を秘めています。高度なAI、3Dイメージング、空間オーディオを融合させることで、よりリアルで魅力的なリモート体験を創出しています。

GoogleがBeamのハードウェアを改善し、さらに小型化して一般的なユーザーに普及させるにつれ、バーチャルコミュニケーションの未来には心躍る可能性が広がります。ホログラフィック会議や3Dアバターといった新しい技術トレンドとともに、Beamはバーチャルミーティングの新しい基準を打ち立てようとしています。

communityに参加し、licensing optionsを確認して、今すぐcomputer visionを始めましょう。GitHub repositoryをチェックしてAIについて詳しく学びましょう。AI in retailやcomputer vision in agricultureのさまざまなユースケースについてのインサイトを得るには、ソリューションページをお読みください。