4D Gaussian Splatting

4D Gaussian Splatting은 computer vision 및 deep learning의 최첨단 렌더링 기술로, 시간(time) 차원을 추가하여 명시적 3D 장면 표현의 원리를 확장합니다. 전통적인 3D 모델링은 정적인 환경을 포착하는 반면, 4D Gaussian Splatting은 동적이고 움직이는 장면을 실시간으로 포토리얼리스틱하게 렌더링할 수 있게 해줍니다. 물체와 환경이 시간에 따라 변형되고 이동하는 방식을 모델링함으로써, 이 기술은 정적 이미지와 생동감 넘치는 비디오 합성 사이의 간극을 메우며 높은 프레임 레이트에서 전례 없는 시각적 충실도를 제공합니다.

관련 렌더링 기술과의 차별점#

이 개념을 이해하기 위해, 밀접한 관련이 있는 novel view synthesis 방법과 비교하는 것이 유용합니다. 표준 3D Gaussian Splatting은 수백만 개의 정적 타원체 형태의 분포를 사용하여 장면을 표현합니다. 4D 변형 모델은 시간에 따라 달라지는 속성을 도입하여 이 타원체들이 여러 프레임에 걸쳐 이동, 회전, 크기 조절될 수 있도록 합니다.

또한, 딥네럴 네트워크에 의존하여 모든 픽셀의 빛과 색상을 암시적으로 계산하는 Neural Radiance Fields (NeRF)와 달리, 4D Gaussian Splatting은 시공간에서 점의 위치를 명시적으로 계산합니다. 이러한 명시적 rasterization은 일반적으로 computer graphics rendering과 관련된 연산 오버헤드를 대폭 줄여주어 동적 장면을 훨씬 더 빠르게 렌더링할 수 있게 합니다.

4D Gaussian Splatting의 작동 원리#

이 아키텍처는 주어진 타임스탬프에서 각 Gaussian의 상태를 추적하기 위해 연속적인 수학 함수에 의존합니다. 최적화 과정 동안 machine learning algorithms은 시간적 변형 필드와 함께 공간 좌표(X, Y, Z) 및 색상 값을 업데이트합니다. 연구원들은 이러한 시간적 모델을 학습하는 데 필요한 복잡한 backpropagation을 처리하기 위해 official PyTorch documentation 또는 TensorFlow guides에 문서화된 기초 라이브러리를 종종 활용합니다.

시스템은 렌더링된 출력과 ground-truth 비디오 시퀀스 간의 차이를 최소화합니다. academic archives like arXiv 및 ACM Digital Library에 발표된 최근의 획기적인 연구 결과에 따르면 정적 배경을 동적 전경 요소로부터 분리하는 것이 학습 안정성을 크게 향상시키는 것으로 나타났습니다.

실세계 AI 및 ML 응용 분야#

• Immersive Virtual Reality (VR): 4D Gaussian Splatting은 VR 및 증강 현실을 위해 동적인 인간의 퍼포먼스를 포착하는 데 널리 사용됩니다. 크고 번거로운 모션 포착 슈트에 의존하는 대신, 제작자는 여러 각도에서 배우를 녹화하여 해당 퍼포먼스의 완전한 내비게이션 및 자유 시점 비디오를 생성할 수 있습니다.
• Autonomous Vehicles and Robotics: 자율주행 차량은 주변 환경에 대한 강력한 이해가 필요합니다. 움직이는 보행자와 교통 상황을 포함한 동적 거리 장면을 재구성함으로써 엔지니어는 실제 배포 전에 autonomous navigation models을 안전하게 테스트할 수 있는 매우 현실적인 시뮬레이션을 생성할 수 있습니다.

4D 재구성을 위한 데이터 준비#

고품질 4D 장면을 생성하는 데 있어 중요한 단계는 정적 배경에서 움직이는 객체를 격리하는 것입니다. 개발자는 스플래팅 프로세스가 시작되기 전에 동적 마스크를 생성하기 위해 종종 object tracking과 instance segmentation을 사용합니다.

Ultralytics YOLO26 모델을 사용하여 비디오에서 움직이는 객체를 쉽게 추적하고 격리할 수 있습니다. 다음 코드는 전처리 워크플로 중에 이를 실행하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run real-time tracking on a dynamic scene video to isolate moving subjects
results = model.track(source="dynamic_scene.mp4", show=True, save=True)

최신 generative AI 워크플로를 활용하여 팀은 녹화된 비디오와 주석을 Ultralytics Platform에 직접 업로드하여 데이터셋을 효율적으로 관리할 수 있습니다. 거기서 model training tips을 적용하면 결과 바운딩 박스가 동적 요소를 완벽하게 마스킹하여 깨끗한 4D 장면 생성을 위한 길을 열어줍니다. Google DeepMind 및 OpenAI 같은 조직의 고급 연구에 따르면 객체 인식형 공간 마스킹을 통합하는 것이 시간적 뷰 합성에서 표준 모범 사례가 되고 있음을 나타냅니다.