Gaussian Splatting

3D 가우시안 스플래팅이라고도 하는 가우시안 스플래팅은 일반 사진에서 사실적인 3D 장면을 재구성하고 그 장면의 새로운 시점을 실시간으로 렌더링하는 기술입니다. 이 기술은 위치, 모양, 불투명도, 시점에 따라 달라지는 색상을 각각 갖는 부드러운 타원체인 3D 가우시안 수백만 개로 장면을 표현합니다. 이미지를 그릴 때는 가우시안들을 화면에 투영("스플래팅")한 뒤 혼합합니다. SIGGRAPH 2023에서 발표된 실시간 복사장 렌더링을 위한 3D 가우시안 스플래팅은 최고의 신경 복사장 (NeRF)과 동등한 이미지 품질을 구현하면서 1080p에서 초당 30프레임 이상으로 렌더링했습니다. 이는 이전에는 크고 경계가 없는 장면에서 달성된 적이 없었습니다. 가우시안 스플래팅은 새 시점 합성 및 3D 재구성 기법입니다.

Gaussian Splatting의 작동 방식#

각 가우시안은 학습 가능한 숫자 59개를 저장합니다. 여기에는 3D 위치, 3D 스케일, 그리고 공분산(모양과 방향)을 함께 정의하는 숫자 4개의 회전 쿼터니언, 불투명도, 구면 조화 함수 계수 48개(색상 채널당 16개)가 포함됩니다. 구면 조화 함수 계수는 시선 방향에 따라 색상을 바꾸어 반사와 광택을 표현합니다. 학습은 카메라를 보정하면서 Structure from Motion (SfM)이 생성하는 희소 포인트 클라우드에서 시작하며, 각 점에 가우시안 하나를 배치합니다. 반복마다 학습 시점 하나를 렌더링하고, L1 및 D-SSIM 손실의 가중 조합을 사용해 실제 사진과 비교한 뒤 미분 가능한 렌더러를 통해 경사 하강법으로 모든 가우시안을 업데이트합니다. 100회 반복마다 적응형 밀도 제어는 재구성이 부족한 영역에서 작은 가우시안을 복제하고, 지나치게 많은 세부 정보를 덮는 큰 가우시안을 분할하며, 거의 투명한 가우시안을 제거합니다. 논문에서는 이 과정을 통해 장면마다 가우시안 수가 100만 개에서 500만 개 사이로 늘어납니다.

프레임을 그릴 때 렌더러는 각 3D 가우시안을 이미지 평면의 2D 타원으로 투영하고, 화면을 16×16픽셀 타일로 나눕니다. 하나의 GPU 기수 정렬을 사용해 타일마다 겹치는 가우시안을 깊이순으로 정렬하고, 각 픽셀에 대해 앞에서 뒤 방향으로 알파 블렌딩합니다. 장면이 기본 도형의 명시적 목록으로 표현되므로 렌더링은 게임 엔진의 래스터라이저와 유사하게 작동하며 픽셀마다 신경망을 평가하지 않습니다.

가우시안 스플래팅과 NeRF 및 메시 비교#

NeRF는 장면을 신경망의 가중치에 암묵적으로 저장하고, 모든 카메라 광선을 따라 여러 지점에서 신경망을 조회해 렌더링합니다. 가우시안 스플래팅은 장면을 명시적으로 저장하므로 렌더링 과정은 정렬과 블렌딩으로 단순화됩니다. 원 논문과 동일한 하드웨어에서 Mip-NeRF360은 평균 학습 시간 48시간, 프레임당 렌더링 시간 약 10초를 기록했습니다. 완전히 학습된 가우시안 스플랫은 35~45분 학습 후 비슷하거나 약간 더 나은 품질을 달성하면서 실시간으로 렌더링했습니다. 명시적 표현에는 메모리 비용이 따릅니다. 가우시안당 숫자 59개를 저장하므로 가우시안 300만 개로 구성된 장면에는 32비트 부동소수점 수 약 700MB가 필요하며, 원래 구현에서 대규모 장면을 학습할 때 GPU 메모리 사용량이 20GB를 넘기도 했습니다. 스플랫에는 정의된 표면이 없으므로 충돌 형상이나 CAD 방식의 편집이 필요한 애플리케이션에서는 후속 방법을 사용해 메시로 변환합니다. 움직이는 장면에는 4D 가우시안 스플래팅과 같은 확장 기술이 필요합니다.

가우시안 스플래팅용 데이터 캡처#

캡처 데이터는 정적인 장면을 중심으로 이동하며 촬영한, 서로 겹치는 사진 또는 동영상 프레임의 집합입니다. 행인이나 자동차처럼 캡처 중에 움직이는 대상은 일부 프레임에는 나타나지만 다른 프레임에는 나타나지 않습니다. 최적화 과정에서는 이를 플로터라고 하는 반투명 아티팩트로 설명하려고 합니다. 따라서 학습 파이프라인은 움직이는 객체를 제외하는 마스크를 허용하며, Nerfstudio의 데이터 형식은 무시할 픽셀을 검은색으로 표시하는 흑백 마스크를 사용합니다. YOLO26 인스턴스 분할 모델은 각 프레임의 모든 사람을 분할해 이러한 마스크를 자동으로 생성합니다.

import cv2
from ultralytics import YOLO

# YOLO26 인스턴스 분할 모델을 불러옵니다
model = YOLO("yolo26n-seg.pt")

# 사람만 분할합니다(COCO 클래스 0). 캡처 데이터에서 플로터를 발생시키는 흔한 원인입니다.
results = model("https://ultralytics.com/images/bus.jpg", classes=[0], retina_masks=True)
result = results[0]

# 흰색은 학습할 정적 장면을, 검은색은 제외할 사람을 표시합니다.
people = result.masks.data.sum(dim=0) > 0
keep_mask = (~people).cpu().numpy().astype("uint8") * 255
cv2.imwrite("bus_mask.png", keep_mask)

저장된 bus_mask.png은 사진의 전체 해상도를 유지합니다. retina_masks=True이 원본 이미지 크기의 마스크를 반환하며 프레임에 있는 모든 사람이 검은색으로 표시되기 때문입니다.

응용 분야#

• 부동산 및 가상 투어: 주택, 박물관 또는 유적지를 휴대전화나 드론으로 촬영하면 방문객이 브라우저나 VR 헤드셋으로 자유롭게 둘러볼 수 있는 장면이 만들어집니다. 바닥과 창문의 반사도 보존됩니다.
• 시각 효과 및 가상 프로덕션: 영화 및 게임 제작팀은 실제 장소를 스플랫으로 캡처해 사실적인 배경과 세트 참고 자료로 활용합니다.
• 디지털 트윈 및 매핑: 지리공간 플랫폼은 도시, 건설 현장, 인프라의 대규모 스플랫 재구성을 기존 3D 타일과 함께 스트리밍합니다.
• 주행 및 로봇 시뮬레이션: 실제 주행을 재구성하면 자율주행차 팀은 기록된 장면을 새로운 카메라 위치에서 다시 렌더링해 인식 모델을 테스트할 수 있습니다.

gsplat과 같은 오픈 소스 라이브러리는 스플랫 학습을 위한 CUDA 래스터라이저를 제공합니다. Khronos Group은 Cesium, Esri, Niantic Spatial, NVIDIA, Huawei, Autodesk의 기여자들과 함께 개발한 가우시안 스플랫 저장용 glTF 2.0 확장인 KHR_gaussian_splatting을 승인했습니다.