4D Gaussian Splatting

4D 가우시안 스플래팅은 컴퓨터 비전과 딥러닝의 최첨단 렌더링 기법으로, 시간 차원을 추가해 명시적 3D 장면 표현의 원리를 확장합니다. 기존 3D 모델링이 정적인 환경을 포착하는 반면, 4D 가우시안 스플래팅은 역동적으로 움직이는 장면을 사실적으로 실시간 렌더링합니다. 객체와 환경이 시간에 따라 변형되고 이동하는 양상을 모델링함으로써 이 기술은 정적인 이미지와 실감 나는 동영상 합성 사이의 간극을 해소하며, 높은 프레임 속도에서도 전례 없는 시각적 충실도를 제공합니다.

관련 렌더링 기법과의 차이점#

이 개념을 이해하려면 밀접하게 관련된 새로운 시점 합성 기법과 비교하는 것이 도움이 됩니다. 표준 3D 가우시안 스플래팅은 타원체 형태의 정적 분포 수백만 개를 사용해 장면을 표현합니다. 4D 방식은 시간에 따라 변하는 속성을 도입해 여러 프레임에 걸쳐 이러한 타원체가 이동, 회전, 크기 조정되도록 합니다.

모든 픽셀의 빛과 색을 암묵적으로 계산하기 위해 심층 신경망에 의존하는 신경 방사장(NeRF)과 달리, 4D 가우시안 스플래팅은 시공간상의 점 위치를 명시적으로 계산합니다. 이러한 명시적 래스터화는 일반적으로 컴퓨터 그래픽스 렌더링에 수반되는 연산 부담을 크게 줄여 동적 장면을 훨씬 빠르게 렌더링할 수 있게 합니다.

4D 가우시안 스플래팅의 작동 방식#

이 아키텍처는 연속적인 수학 함수를 사용해 특정 시점의 각 가우시안 상태를 추적합니다. 최적화 과정에서 머신러닝 알고리즘은 시간 변형 필드와 함께 공간 좌표(X, Y, Z) 및 색상 값을 업데이트합니다. 연구자는 일반적으로 PyTorch나 TensorFlow와 같은 프레임워크에서 모델을 구축하며, 이러한 프레임워크는 시간 매개변수 학습에 필요한 역전파를 처리합니다.

시스템은 렌더링된 출력과 정답 동영상 시퀀스 간의 차이를 최소화합니다. arXiv와 같은 학술 아카이브 및 ACM 디지털 라이브러리에 발표된 최근의 획기적인 연구는 정적 배경과 동적 전경 요소를 분리하면 학습 안정성이 크게 향상된다는 점을 보여주었습니다.

실제 AI 및 ML 애플리케이션#

• 몰입형 가상 현실(VR): 4D 가우시안 스플래팅은 가상 현실과 증강 현실용으로 역동적인 인물의 움직임을 포착하는 데 널리 사용됩니다. 번거로운 모션 캡처 수트에 의존하는 대신 제작자는 여러 각도에서 배우를 촬영해 자유로운 시점에서 온전히 탐색할 수 있는 공연 동영상을 생성할 수 있습니다.
• 자율주행차 및 로보틱스: 자율주행차에는 주변 환경에 대한 견고한 이해가 필요합니다. 움직이는 보행자와 차량을 포함한 역동적인 도로 장면을 재구성하면 엔지니어는 실제 환경에 배포하기 전에 자율 주행 모델을 안전하게 테스트할 수 있는 매우 사실적인 시뮬레이션을 만들 수 있습니다.

4D 재구성을 위한 데이터 준비하기#

고품질 4D 장면을 생성할 때 중요한 단계는 정적 배경에서 움직이는 객체를 분리하는 것입니다. 개발자는 스플래팅을 시작하기 전에 객체 추적과 인스턴스 분할을 사용해 동적 마스크를 만드는 경우가 많습니다.

Ultralytics YOLO26 분할 모델을 사용하면 비디오에서 움직이는 객체를 추적하고 프레임별 마스크를 생성할 수 있습니다. 다음 코드는 이 전처리 단계를 보여줍니다.

from ultralytics import YOLO

# YOLO26 인스턴스 분할 모델을 불러옵니다
model = YOLO("yolo26n-seg.pt")

# 동적 장면 비디오에서 움직이는 대상들을 추적하고 모든 프레임의 각 객체에 대한 마스크를 생성합니다
results = model.track(source="dynamic_scene.mp4", show=True, save=True)

팀은 녹화한 비디오와 어노테이션을 Ultralytics Platform에 업로드해 데이터셋을 관리하고 맞춤형 모델을 학습할 수 있습니다. 모델 학습 팁을 적용하면 4D 장면을 생성하기 전에 결과 마스크가 정적 배경에서 동적 요소를 더 명확하게 분리하도록 개선할 수 있습니다.