4D Gaussian Splatting

4D Gaussian Splattingは、コンピュータービジョンとディープラーニングにおける最先端のレンダリング手法であり、時間次元を追加して、明示的な3Dシーン表現の原則を拡張します。従来の3Dモデリングが静的な環境を捉えるのに対し、4D Gaussian Splattingでは、動的に移動するシーンをフォトリアルかつリアルタイムにレンダリングできます。物体や環境が時間とともに変形し、移動する様子をモデル化することで、この技術は静止画像と実写のような動画合成の隔たりを埋め、高いフレームレートでかつてない視覚的忠実度を実現します。

関連するレンダリング手法との違い#

この概念を理解するには、密接に関連する新規視点合成手法と比較すると役立ちます。標準的な3D Gaussian Splattingでは、数百万個の静的な楕円体状分布を使ってシーンを表現します。4D版では時間依存属性を導入することで、これらの楕円体を複数のフレームにわたって移動、回転、拡大縮小できるようにします。

さらに、すべてのピクセルの光と色を暗黙的に計算するために深層ニューラルネットワークを利用するニューラルラディアンスフィールド（NeRF）とは異なり、4Dガウシアンスプラッティングは空間と時間における点の位置を明示的に計算します。この明示的なラスタライズによって、通常のコンピューターグラフィックスのレンダリングに伴う計算オーバーヘッドが大幅に低減され、動的なシーンを大幅に高速にレンダリングできます。

4D Gaussian Splattingの仕組み#

このアーキテクチャでは、連続的な数学関数を使って、任意のタイムスタンプにおける各ガウシアンの状態を追跡します。最適化中は、機械学習アルゴリズムが時間的な変形場とともに、空間座標（X、Y、Z）や色の値を更新します。研究者は通常、PyTorchやTensorFlowなどのフレームワークでモデルを構築し、時間パラメーターの学習に必要な誤差逆伝播を処理します。

システムは、レンダリング出力と正解動画シーケンスの差を最小化します。arXivやACMデジタルライブラリなどの学術アーカイブで発表された最近のブレークスルーでは、静的な背景と動的な前景要素を分離すると、トレーニングの安定性が大幅に向上することが示されています。

現実世界におけるAIとMLの活用例#

• 没入型仮想現実（VR）: 4D Gaussian Splattingは、VRや拡張現実向けに動的な人間のパフォーマンスを撮影するために広く使われています。扱いにくいモーションキャプチャスーツに頼る代わりに、複数の角度から俳優を撮影し、パフォーマンスを自由な視点から閲覧できる動画として生成できます。
• 自動運転車とロボティクス: 自動運転車には、周囲の環境を堅牢に理解する能力が必要です。移動する歩行者や交通を含む動的な道路シーンを再構築することで、エンジニアは自律ナビゲーションモデルを実環境にデプロイする前に、安全性を保ちながらテストできる、非常に現実的なシミュレーションを作成できます。

4D再構築に向けたデータ準備#

高品質な4Dシーンを生成する重要な工程として、静的な背景から移動物体を分離することが挙げられます。開発者は、スプラッティング処理を始める前に、物体追跡とインスタンスセグメンテーションを使って動的マスクを作成することがよくあります。

Ultralytics YOLO26のセグメンテーションモデルを使うと、動画内の移動物体を追跡し、フレームごとのマスクを生成できます。以下のコードは、この前処理の手順を示しています。

from ultralytics import YOLO

# YOLO26のインスタンスセグメンテーションモデルを読み込みます
model = YOLO("yolo26n-seg.pt")

# 動的なシーンの動画で移動対象を追跡し、各フレームの各物体についてマスクを生成します
results = model.track(source="dynamic_scene.mp4", show=True, save=True)

チームは、録画した動画やアノテーションをUltralytics Platformにアップロードして、データセットを管理し、カスタムモデルを学習できます。モデル学習のヒントを活用すると、4Dシーンを生成する前に、生成されるマスクが動的な要素と静的な背景をより明確に分離できるようになります。