4D Gaussian Splatting
4D 가우시안 스플래팅은 동영상에서 시간에 따라 변하는 가우시안으로 움직이는 장면을 재구성하여, 실시간으로 어느 시점에서든 원하는 순간의 뷰를 렌더링합니다.
4D 가우시안 스플래팅(4DGS)은 동영상을 사용해 움직이는 장면을 재구성하므로, 언제든지 새로운 시점에서 실시간으로 렌더링할 수 있습니다. 정적인 장면을 화면에 투영하고 혼합하는 수백만 개의 부드러운 3D 타원체로 표현하는 3D 가우시안 스플래팅을 확장해, 가우시안이 시간에 따라 이동하고 회전하며 형태를 바꾸거나 나타나고 사라지도록 합니다. 2023년 10월에 발표된 두 논문은 서로 다른 설계로 이 용어를 소개했습니다. 화중과학기술대학교와 Huawei의 Guanjun Wu 등이 발표한 실시간 동적 장면 렌더링을 위한 4D 가우시안 스플래팅(CVPR 2024)은 학습된 변형 필드로 하나의 3D 가우시안 집합을 변형합니다. 푸단대학교의 Zeyu Yang 등이 발표한 4D 가우시안 스플래팅을 활용한 실시간 사진처럼 사실적인 동적 장면 표현 및 렌더링(ICLR 2024)은 공간과 시간에 걸쳐 정의된 고유한 4D 가우시안을 사용합니다. 두 방식 모두 동적 새로운 시점 합성 방법이며, 이를 자유 시점 비디오라고도 합니다.
4D 가우시안 스플래팅의 작동 방식#
가장 적합한 입력은 Neural 3D Video 데이터 세트(Plenoptic Video라고도 함)처럼 장면을 둘러싼 카메라에서 촬영한 동기화된 동영상입니다. 이 데이터 세트에는 구조 복원으로 포즈를 구한 18~21대 카메라의 10초, 30FPS 녹화 영상이 포함됩니다. 움직이는 카메라 한 대만으로도 가능하지만 깊이와 움직임을 분리하기가 더 어렵습니다. 학습은 3D 방식에 따릅니다. 학습 카메라 하나에서 특정 시각의 장면을 렌더링하고, 실제 동영상 프레임과 이미지를 비교한 다음, 미분 가능 렌더러를 통해 경사 하강법으로 모든 매개변수를 업데이트합니다. 두 설계는 해당 시각의 가우시안을 생성하는 방식이 다릅니다:
- 변형 필드: Wu 등은 하나의 정규 3D 가우시안 집합을 유지합니다. 각 시점에 대해 HexPlane과 같이 평면으로 분해된 학습 가능한 공간·시간 특징의 소형 그리드가 각 가우시안에 대한 특징을 제공하며, 경량 MLP가 가우시안의 이동 거리, 회전량, 늘어나는 정도를 예측합니다. 이 방식은 RTX 3090 GPU에서 800×800 해상도로 82 FPS를 렌더링합니다.
- 고유한 4D 가우시안: Yang 등은 각 프리미티브에 x, y, z, 시간 차원으로 이루어진 4D 평균과 공분산을 부여하며, 4D 회전은 쿼터니언 쌍으로 구성합니다. 시야 방향과 시간에 따른 색상 변화는 4D 구형 원통 조화 함수로 표현하며, 이는 구면 조화 함수에 시간에 대한 푸리에 급수를 곱한 것입니다. Neural 3D Video 벤치마크에서 논문은 114 FPS를 보고했으며, 변형 필드 방식은 36 FPS를 기록했습니다.
특정 시점 t에서 고유한 4D 가우시안을 슬라이싱하는 것은 가우시안 조건화입니다. t를 고정하면 중심이 이동하고 공분산이 감소한 3D 가우시안이 남으며, 가우시안의 시간에 대한 1D 주변 분포가 불투명도를 조정합니다. 시점 t에서 시간 가중치가 무시할 정도로 작은 가우시안은 래스터화 전에 제외합니다. 이 PyTorch 코드는 하나의 4D 가우시안을 세 시점에서 슬라이싱합니다:
import torch
torch.manual_seed(0)
# One 4D Gaussian over (x, y, z, t): a mean and a covariance that couples position with time
mean = torch.tensor([0.0, 0.0, 0.0, 0.5])
factor = torch.randn(4, 4) * 0.3
cov = factor @ factor.T + 0.01 * torch.eye(4)
# Slicing at time t conditions the 4D Gaussian on t, leaving a 3D Gaussian to rasterize
for t in (0.1, 0.5, 0.9):
center = mean[:3] + cov[:3, 3] / cov[3, 3] * (t - mean[3])
cov_3d = cov[:3, :3] - torch.outer(cov[:3, 3], cov[3, :3]) / cov[3, 3]
# The temporal marginal fades the Gaussian in and out around its mean time
opacity_scale = torch.exp(-0.5 * (t - mean[3]) ** 2 / cov[3, 3])
print(f"t={t}: center {center.numpy().round(2)}, opacity x{opacity_scale:.2f}, volume {cov_3d.det().sqrt():.4f}")출력에는 t=0.1에서의 중심 [0.23 -0.15 0.16], t=0.5에서의 중심 [0. 0. 0.], t=0.9에서의 중심 [-0.23 0.15 -0.16]가 표시됩니다. 불투명도 계수는 0.74에서 1.00까지 증가했다가 다시 0.74로 낮아지며, 부피는 0.1030으로 유지됩니다. 조건부 공분산은 t에 따라 달라지지 않으므로 각 4D 가우시안은 고정된 모양으로 직선을 따라 미끄러지듯 이동하며 서서히 나타났다가 사라지는 3D 가우시안이 됩니다. 복잡한 움직임은 수명이 짧은 가우시안 여러 개가 모여 구현됩니다.
재구성 오차의 대부분은 움직이는 객체에서 발생하므로, 많은 파이프라인은 정적 배경과 동적 전경 요소를 분리하며, 일부는 움직이는 각 객체에 별도의 가우시안 집합을 할당합니다. Ultralytics YOLO26 인스턴스 세그멘테이션 모델을 추적 모드로 실행하면 각 프레임의 사람과 차량마다 마스크를 생성하고, 동영상 전체에서 유지되는 ID를 할당하여 각 픽셀이 어떤 움직이는 객체에 속하는지 표시합니다.
4D 가우시안 스플래팅과 관련 방법 비교#
- 프레임별 3D 가우시안 스플래팅: 프레임을 각각 재구성하면 프레임마다 완전한 장면을 저장해야 하고 프레임 간에 깜박임이 발생합니다. 4DGS는 시간에 걸쳐 가우시안을 공유하므로 정적 배경은 한 번만 저장하고 움직이는 부분은 시간적으로 일관성을 유지합니다.
- 동적 NeRF: D-NeRF, HexPlane 등 동적 신경 복사장도 각 시점에 맞춰 정규 장면을 매핑하지만, 모든 카메라 광선을 따라 수많은 지점에서 신경 필드를 계산합니다. 따라서 가우시안을 래스터화하는 것보다 렌더링 속도가 훨씬 느립니다. 변형 필드를 사용하는 4DGS 설계는 정규 표현과 변형이라는 동일한 아이디어를 래스터화된 가우시안에 적용합니다.
- 동적 3D 가우시안: Jonathon Luiten 등은 각 가우시안의 색상, 불투명도, 크기를 고정하고 위치와 회전만 변경하며, 국소 강성 제약을 적용합니다. 장면의 모든 요소를 조밀하게 6자유도로 추적하는 결과도 재구성 과정에서 얻을 수 있습니다.
- 비디오 생성: 생성형 비디오 모델은 프롬프트로 새로운 영상을 만듭니다. 4DGS는 카메라로 녹화한 사건을 재구성하고 새로운 시점과 순간에서 다시 렌더링합니다.
실제 적용 사례#
- VR 및 AR용 볼류메트릭 비디오: 카메라 장비로 촬영한 공연, 스포츠 장면, 인터뷰를 자유 시점 클립으로 만들어 시청자가 헤드셋이나 브라우저에서 주변을 둘러보며 감상할 수 있습니다.
- 텔레프레즌스 및 아바타: 여러 대의 카메라로 촬영한 사람의 모습을 원격 소통과 디지털 더블에 활용할 수 있는 애니메이션 기반의 사실적인 3D 표현으로 만듭니다.
- 주행 시뮬레이션: 자율주행 차량 팀은 움직이는 교통 상황을 포함해 녹화된 주행 장면을 재구성하고 카메라 위치를 옮겨 다시 렌더링하여 인지 시스템을 테스트합니다. Street Gaussians 모델은 추적된 각 차량을 최적화된 추적 포즈에 따라 움직이는 고유한 가우시안 집합으로 표현하고, 약 30분 만에 학습을 마치며, 1066×1600 해상도에서 135 FPS로 거리 장면을 렌더링합니다.










