3D Reconstruction
3D 재구성은 사진, 동영상, 깊이 카메라 또는 LiDAR를 사용해 객체와 장면의 형상을 포인트 클라우드, 메시 또는 방사 필드로 복원합니다.
3D 재구성은 사진, 동영상, 깊이 카메라 프레임, LiDAR 스캔 등의 측정 자료로부터 객체나 장면의 3차원 형상을 복원하는 과정입니다. 결과는 표면의 공간상 위치를 나타내며, 표면 점을 샘플링한 포인트 클라우드, 다각형 메시, 복셀 그리드 또는 방사 필드와 같은 학습된 함수의 형태를 취하고, 색상이나 텍스처를 포함할 수도 있습니다. 사진측량이라고도 하는 이미지 기반 재구성은 컴퓨터 비전에서 사진 촬영의 역과정입니다. 카메라는 3D 세계를 2D 픽셀로 평면화하고, 재구성은 동일한 표면을 여러 시점에서 촬영한 이미지로 그 투영을 되돌립니다.
이미지 기반 재구성의 작동 방식#
기본 파이프라인은 모든 이미지에서 SIFT 키포인트와 같은 구별 가능한 특징을 탐지하고, 겹치는 사진 간에 특징을 매칭한 다음 에피폴라 기하와 일치하는 매칭만 남기는 것으로 시작합니다. 구조 복원은 각 카메라의 위치와 방향, 그리고 희소한 3D 점 집합을 계산한 뒤 번들 조정을 통해 모든 값을 함께 정제합니다. 번들 조정은 모든 이미지에서 각 점의 재투영 오차를 최소화합니다. 다중 뷰 스테레오는 알려진 카메라 정보를 사용해 이미지마다 밀집 깊이 맵을 계산하고, 이 맵들을 하나의 포인트 클라우드로 융합합니다. 그런 다음 포아송 메시 생성과 같은 표면 재구성 기법으로 점을 폐쇄형 메시로 변환하고, 사진에서 텍스처를 입힙니다. Johannes Schönberger와 동료들이 개발한 COLMAP은 이 파이프라인을 구현한 널리 사용되는 오픈 소스 도구입니다. 깊이 카메라와 LiDAR는 매칭 단계를 생략하고 일반적으로 ICP(iterative closest point) 알고리즘을 사용해 겹치는 스캔을 직접 정렬합니다.
모든 3D 점은 삼각측량으로 구합니다. 보정된 카메라 두 대가 주어졌을 때, 각 카메라에서 관측된 픽셀에 가장 잘 투영되는 점을 찾습니다. 다음 예제는 0.3 m 간격으로 떨어진 두 카메라가 관측한 벽 위의 점을 삼각측량하며, 각 관측에는 0.5픽셀의 노이즈가 있습니다.
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]]) # camera intrinsics in pixels
# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])
for z in [2.0, 10.0]:
# 200 points on a wall z meters away, observed in both images with half-pixel noise
points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
X = np.vstack([points.T, np.ones(200)])
x1, x2 = P1 @ X, P2 @ X
x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))
# Triangulate: find the 3D point whose projections best match both observations
Xh = cv2.triangulatePoints(P1, P2, x1, x2)
error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")출력 결과는 2 m 거리의 벽에서 중앙값 오차 0.8 cm, 10 m 거리에서 18.4 cm를 보여줍니다. 거리가 5배 늘어나면 오차는 약 23배 커집니다. 이는 두 시점 기하학이 예측하는 제곱에 가까운 증가율이며, 따라서 사진측량에서는 멀리 있는 표면을 촬영할 때 시점 간 거리를 넓게 벌려 여러 방향에서 촬영합니다.
재구성은 장면이 정적이라고 가정하므로 촬영 중 움직이는 사람이나 차량은 유령 형태의 기하 구조와 매칭되지 않는 특징을 만듭니다. COLMAP은 이미지별 마스크에서 검은색으로 표시된 영역의 특징 추출을 건너뜁니다. Ultralytics YOLO26 인스턴스 분할 모델로 사람과 자동차의 마스크를 생성하면 이러한 움직이는 객체를 정적 재구성에서 제외할 수 있습니다.
표현 방식 및 학습 기반 재구성#
포인트 클라우드는 쉽게 생성할 수 있지만 연결 관계가 없습니다. 메시는 측정, 게임 엔진, 디지털 트윈에 사용할 수 있는 연속적인 표면을 제공하며, 복셀 그리드는 공간을 셀로 나눕니다. Richard Newcombe와 동료들이 2011년 발표한 KinectFusion은 실시간으로 깊이 카메라 프레임을 절단 부호 거리 볼륨에 융합했습니다. Open3D와 같은 라이브러리는 지금도 이 볼륨 융합 기법을 구현합니다. 암시적 신경 표현은 좌표를 점유도 또는 부호 거리로 매핑하는 네트워크로 표면을 저장합니다. 신경 방사 필드와 가우시안 스플래팅은 모든 방향에서의 외관을 모델링해 새로운 시점 합성에 활용되지만, 기하 구조를 메시만큼 직접 측정하기는 어렵습니다. 이제 피드포워드 네트워크는 최적화 과정을 완전히 생략합니다. 옥스퍼드 대학교의 Visual Geometry Group과 Meta AI가 개발한 VGGT는 이미지 한 장부터 수백 장까지 한 번에 처리해 카메라 포즈, 깊이 맵, 3D 점을 예측했으며 CVPR 2025 최우수 논문상을 받았습니다.
관련 작업은 산출물이 서로 다릅니다. 깊이 추정은 한 시점의 각 픽셀에 대한 거리를 예측하므로 부분적인 표면 하나만 제공합니다. 스테레오 비전은 동기화된 카메라 두 대로부터 재구성합니다. 시각 SLAM은 이동하는 카메라를 추적하고 실시간으로 지도를 구축해 탐색에 활용하며, 완전성보다 속도를 우선합니다. 3D 객체 탐지는 표면을 복원하는 대신 객체 주위에 박스를 배치합니다.
실제 적용 사례#
- 증강 현실: Apple의 ARKit은 LiDAR가 탑재된 iPhone과 iPad에서 실시간으로 공간 메시를 구축하므로 가상 객체가 바닥 위에 놓이고 가구 뒤에 가려집니다.
- 제조 검사: 완성된 부품의 스캔 결과를 CAD 모델과 비교해 편차를 측정하며, 같은 스캔을 사용해 생산 라인의 디지털 트윈을 최신 상태로 유지합니다.
- 로보틱스: 로봇은 탑재된 깊이 카메라를 사용해 집어야 하는 객체와 이동할 공간을 재구성합니다.
- 문화유산 및 지도 제작: 사진측량은 건물, 발굴 현장, 도시 전체를 디지털화합니다. 2009년 Building Rome in a Day 프로젝트는 Flickr 사진 150,000장으로 로마의 랜드마크를 496개 프로세서 코어가 있는 클러스터에서 21시간 만에 재구성했습니다.










