YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

4D Gaussian Splatting

4D 가우시안 스플래팅은 동영상에서 시간에 따라 변하는 가우시안으로 움직이는 장면을 재구성하여, 실시간으로 어느 시점에서든 원하는 순간의 뷰를 렌더링합니다.

4D 가우시안 스플래팅(4DGS)은 동영상을 사용해 움직이는 장면을 재구성하므로, 언제든지 새로운 시점에서 실시간으로 렌더링할 수 있습니다. 정적인 장면을 화면에 투영하고 혼합하는 수백만 개의 부드러운 3D 타원체로 표현하는 3D 가우시안 스플래팅을 확장해, 가우시안이 시간에 따라 이동하고 회전하며 형태를 바꾸거나 나타나고 사라지도록 합니다. 2023년 10월에 발표된 두 논문은 서로 다른 설계로 이 용어를 소개했습니다. 화중과학기술대학교와 Huawei의 Guanjun Wu 등이 발표한 실시간 동적 장면 렌더링을 위한 4D 가우시안 스플래팅(CVPR 2024)은 학습된 변형 필드로 하나의 3D 가우시안 집합을 변형합니다. 푸단대학교의 Zeyu Yang 등이 발표한 4D 가우시안 스플래팅을 활용한 실시간 사진처럼 사실적인 동적 장면 표현 및 렌더링(ICLR 2024)은 공간과 시간에 걸쳐 정의된 고유한 4D 가우시안을 사용합니다. 두 방식 모두 동적 새로운 시점 합성 방법이며, 이를 자유 시점 비디오라고도 합니다.

4D 가우시안 스플래팅의 작동 방식#

가장 적합한 입력은 Neural 3D Video 데이터 세트(Plenoptic Video라고도 함)처럼 장면을 둘러싼 카메라에서 촬영한 동기화된 동영상입니다. 이 데이터 세트에는 구조 복원으로 포즈를 구한 18~21대 카메라의 10초, 30FPS 녹화 영상이 포함됩니다. 움직이는 카메라 한 대만으로도 가능하지만 깊이와 움직임을 분리하기가 더 어렵습니다. 학습은 3D 방식에 따릅니다. 학습 카메라 하나에서 특정 시각의 장면을 렌더링하고, 실제 동영상 프레임과 이미지를 비교한 다음, 미분 가능 렌더러를 통해 경사 하강법으로 모든 매개변수를 업데이트합니다. 두 설계는 해당 시각의 가우시안을 생성하는 방식이 다릅니다:

  • 변형 필드: Wu 등은 하나의 정규 3D 가우시안 집합을 유지합니다. 각 시점에 대해 HexPlane과 같이 평면으로 분해된 학습 가능한 공간·시간 특징의 소형 그리드가 각 가우시안에 대한 특징을 제공하며, 경량 MLP가 가우시안의 이동 거리, 회전량, 늘어나는 정도를 예측합니다. 이 방식은 RTX 3090 GPU에서 800×800 해상도로 82 FPS를 렌더링합니다.
  • 고유한 4D 가우시안: Yang 등은 각 프리미티브에 x, y, z, 시간 차원으로 이루어진 4D 평균과 공분산을 부여하며, 4D 회전은 쿼터니언 쌍으로 구성합니다. 시야 방향과 시간에 따른 색상 변화는 4D 구형 원통 조화 함수로 표현하며, 이는 구면 조화 함수에 시간에 대한 푸리에 급수를 곱한 것입니다. Neural 3D Video 벤치마크에서 논문은 114 FPS를 보고했으며, 변형 필드 방식은 36 FPS를 기록했습니다.

특정 시점 t에서 고유한 4D 가우시안을 슬라이싱하는 것은 가우시안 조건화입니다. t를 고정하면 중심이 이동하고 공분산이 감소한 3D 가우시안이 남으며, 가우시안의 시간에 대한 1D 주변 분포가 불투명도를 조정합니다. 시점 t에서 시간 가중치가 무시할 정도로 작은 가우시안은 래스터화 전에 제외합니다. 이 PyTorch 코드는 하나의 4D 가우시안을 세 시점에서 슬라이싱합니다:

import torch

torch.manual_seed(0)
# One 4D Gaussian over (x, y, z, t): a mean and a covariance that couples position with time
mean = torch.tensor([0.0, 0.0, 0.0, 0.5])
factor = torch.randn(4, 4) * 0.3
cov = factor @ factor.T + 0.01 * torch.eye(4)

# Slicing at time t conditions the 4D Gaussian on t, leaving a 3D Gaussian to rasterize
for t in (0.1, 0.5, 0.9):
    center = mean[:3] + cov[:3, 3] / cov[3, 3] * (t - mean[3])
    cov_3d = cov[:3, :3] - torch.outer(cov[:3, 3], cov[3, :3]) / cov[3, 3]
    # The temporal marginal fades the Gaussian in and out around its mean time
    opacity_scale = torch.exp(-0.5 * (t - mean[3]) ** 2 / cov[3, 3])
    print(f"t={t}: center {center.numpy().round(2)}, opacity x{opacity_scale:.2f}, volume {cov_3d.det().sqrt():.4f}")

출력에는 t=0.1에서의 중심 [0.23 -0.15 0.16], t=0.5에서의 중심 [0. 0. 0.], t=0.9에서의 중심 [-0.23 0.15 -0.16]가 표시됩니다. 불투명도 계수는 0.74에서 1.00까지 증가했다가 다시 0.74로 낮아지며, 부피는 0.1030으로 유지됩니다. 조건부 공분산은 t에 따라 달라지지 않으므로 각 4D 가우시안은 고정된 모양으로 직선을 따라 미끄러지듯 이동하며 서서히 나타났다가 사라지는 3D 가우시안이 됩니다. 복잡한 움직임은 수명이 짧은 가우시안 여러 개가 모여 구현됩니다.

재구성 오차의 대부분은 움직이는 객체에서 발생하므로, 많은 파이프라인은 정적 배경과 동적 전경 요소를 분리하며, 일부는 움직이는 각 객체에 별도의 가우시안 집합을 할당합니다. Ultralytics YOLO26 인스턴스 세그멘테이션 모델을 추적 모드로 실행하면 각 프레임의 사람과 차량마다 마스크를 생성하고, 동영상 전체에서 유지되는 ID를 할당하여 각 픽셀이 어떤 움직이는 객체에 속하는지 표시합니다.

  • 프레임별 3D 가우시안 스플래팅: 프레임을 각각 재구성하면 프레임마다 완전한 장면을 저장해야 하고 프레임 간에 깜박임이 발생합니다. 4DGS는 시간에 걸쳐 가우시안을 공유하므로 정적 배경은 한 번만 저장하고 움직이는 부분은 시간적으로 일관성을 유지합니다.
  • 동적 NeRF: D-NeRF, HexPlane 등 동적 신경 복사장도 각 시점에 맞춰 정규 장면을 매핑하지만, 모든 카메라 광선을 따라 수많은 지점에서 신경 필드를 계산합니다. 따라서 가우시안을 래스터화하는 것보다 렌더링 속도가 훨씬 느립니다. 변형 필드를 사용하는 4DGS 설계는 정규 표현과 변형이라는 동일한 아이디어를 래스터화된 가우시안에 적용합니다.
  • 동적 3D 가우시안: Jonathon Luiten 등은 각 가우시안의 색상, 불투명도, 크기를 고정하고 위치와 회전만 변경하며, 국소 강성 제약을 적용합니다. 장면의 모든 요소를 조밀하게 6자유도로 추적하는 결과도 재구성 과정에서 얻을 수 있습니다.
  • 비디오 생성: 생성형 비디오 모델은 프롬프트로 새로운 영상을 만듭니다. 4DGS는 카메라로 녹화한 사건을 재구성하고 새로운 시점과 순간에서 다시 렌더링합니다.

실제 적용 사례#

  • VR 및 AR용 볼류메트릭 비디오: 카메라 장비로 촬영한 공연, 스포츠 장면, 인터뷰를 자유 시점 클립으로 만들어 시청자가 헤드셋이나 브라우저에서 주변을 둘러보며 감상할 수 있습니다.
  • 텔레프레즌스 및 아바타: 여러 대의 카메라로 촬영한 사람의 모습을 원격 소통과 디지털 더블에 활용할 수 있는 애니메이션 기반의 사실적인 3D 표현으로 만듭니다.
  • 주행 시뮬레이션: 자율주행 차량 팀은 움직이는 교통 상황을 포함해 녹화된 주행 장면을 재구성하고 카메라 위치를 옮겨 다시 렌더링하여 인지 시스템을 테스트합니다. Street Gaussians 모델은 추적된 각 차량을 최적화된 추적 포즈에 따라 움직이는 고유한 가우시안 집합으로 표현하고, 약 30분 만에 학습을 마치며, 1066×1600 해상도에서 135 FPS로 거리 장면을 렌더링합니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요