4D Gaussian Splatting

4D Gaussian Splatting은 컴퓨터 비전 및 딥러닝 분야의 최첨단 렌더링 기법으로, 명시적 3D 장면 표현 원리에 시간(temporal) 차원을 추가하여 확장한 것입니다. 전통적인 3D 모델링이 정적인 환경을 포착하는 반면, 4D Gaussian Splatting은 동적이고 움직이는 장면을 실사 수준의 실시간 렌더링으로 구현할 수 있게 합니다. 이 기술은 객체와 환경이 시간에 따라 변형되고 이동하는 방식을 모델링함으로써 정적 이미지와 생생한 비디오 합성 사이의 간극을 메우며, 높은 프레임 속도에서 전례 없는 시각적 충실도를 제공합니다.

Link to this section관련 렌더링 기술과의 차별점#

이 개념을 이해하려면 밀접하게 관련된 노블 뷰 합성(novel view synthesis) 방식과 비교하는 것이 도움이 됩니다. 표준 3D Gaussian Splatting은 수백만 개의 정적인 타원형 분포를 사용하여 장면을 표현합니다. 4D 변형 모델은 시간 의존적 속성을 도입하여 이러한 타원체가 여러 프레임에 걸쳐 이동, 회전 및 크기 조절이 가능하도록 합니다.

또한, 모든 픽셀의 빛과 색상을 계산하기 위해 딥러닝 신경망에 암시적으로 의존하는 신경 복사 필드(NeRF)와 달리, 4D Gaussian Splatting은 공간과 시간 내의 포인트 위치를 명시적으로 계산합니다. 이러한 명시적 래스터화(rasterization)는 일반적으로 컴퓨터 그래픽 렌더링과 관련된 계산 오버헤드를 획기적으로 줄여 동적 장면을 훨씬 빠르게 렌더링할 수 있게 합니다.

Link to this section4D Gaussian Splatting의 작동 원리#

이 아키텍처는 연속적인 수학적 함수를 사용하여 특정 타임스탬프에서 각 가우시안의 상태를 추적합니다. 최적화 과정에서 머신 러닝 알고리즘은 시간적 변형 필드와 함께 공간 좌표(X, Y, Z) 및 색상 값을 업데이트합니다. 연구자들은 종종 공식 PyTorch 문서나 TensorFlow 가이드에 기록된 기초 라이브러리를 활용하여 이러한 시간적 모델을 훈련하는 데 필요한 복잡한 역전파(backpropagation)를 처리합니다.

이 시스템은 렌더링된 출력과 실제(ground-truth) 비디오 시퀀스 간의 차이를 최소화합니다. arXiv나 ACM 디지털 라이브러리와 같은 학술 아카이브에 발표된 최근의 혁신적인 연구 결과들은 정적 배경과 동적 전경 요소를 분리하는 것이 훈련 안정성을 크게 향상시킨다는 점을 보여주었습니다.

Link to this section실세계 AI 및 ML 응용 분야#

• 몰입형 가상 현실(VR): 4D Gaussian Splatting은 VR 및 증강 현실을 위한 동적 인간 퍼포먼스를 캡처하는 데 널리 사용됩니다. 제작자는 번거로운 모션 캡처 수트에 의존하는 대신, 배우를 여러 각도에서 녹화하여 퍼포먼스에 대한 자유로운 시점의 내비게이션이 가능한 비디오를 생성할 수 있습니다.
• 자율 주행 차량 및 로봇 공학: 자율 주행 차량은 주변 환경에 대한 강력한 이해를 필요로 합니다. 엔지니어는 이동하는 보행자와 교통 상황을 포함한 역동적인 거리 장면을 재구성함으로써, 실제 환경에 배치하기 전에 자율 주행 모델을 안전하게 테스트할 수 있는 매우 사실적인 시뮬레이션을 생성할 수 있습니다.

Link to this section4D 재구성을 위한 데이터 준비#

고품질 4D 장면을 생성하는 데 있어 중요한 단계는 정적인 배경에서 움직이는 객체를 분리하는 것입니다. 개발자들은 종종 스플래팅 프로세스를 시작하기 전에 객체 추적(object tracking)과 인스턴스 분할(instance segmentation)을 사용하여 동적 마스크를 생성합니다.

Ultralytics YOLO26 모델을 사용하면 비디오에서 움직이는 객체를 쉽게 추적하고 분리할 수 있습니다. 다음 코드는 전처리 워크플로우 중에 이를 실행하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run real-time tracking on a dynamic scene video to isolate moving subjects
results = model.track(source="dynamic_scene.mp4", show=True, save=True)

최신 생성형 AI 워크플로우를 활용하여 팀은 기록된 비디오와 주석을 Ultralytics Platform에 직접 업로드하여 데이터셋을 효율적으로 관리할 수 있습니다. 그 후 모델 훈련 팁을 적용하면 생성된 바운딩 박스가 동적 요소를 완벽하게 마스킹하여, 깨끗한 4D 장면 생성을 위한 길을 열어줍니다. Google DeepMind 및 OpenAI와 같은 기관의 고급 연구에 따르면 객체 인식 공간 마스킹을 통합하는 것이 시간적 뷰 합성의 표준 모범 사례가 되고 있습니다.