YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

3D Reconstruction

3D 재구성은 사진, 동영상, 깊이 카메라 또는 LiDAR를 사용해 객체와 장면의 형상을 포인트 클라우드, 메시 또는 방사 필드로 복원합니다.

3D 재구성은 사진, 동영상, 깊이 카메라 프레임, LiDAR 스캔 등의 측정 자료로부터 객체나 장면의 3차원 형상을 복원하는 과정입니다. 결과는 표면의 공간상 위치를 나타내며, 표면 점을 샘플링한 포인트 클라우드, 다각형 메시, 복셀 그리드 또는 방사 필드와 같은 학습된 함수의 형태를 취하고, 색상이나 텍스처를 포함할 수도 있습니다. 사진측량이라고도 하는 이미지 기반 재구성은 컴퓨터 비전에서 사진 촬영의 역과정입니다. 카메라는 3D 세계를 2D 픽셀로 평면화하고, 재구성은 동일한 표면을 여러 시점에서 촬영한 이미지로 그 투영을 되돌립니다.

이미지 기반 재구성의 작동 방식#

기본 파이프라인은 모든 이미지에서 SIFT 키포인트와 같은 구별 가능한 특징을 탐지하고, 겹치는 사진 간에 특징을 매칭한 다음 에피폴라 기하와 일치하는 매칭만 남기는 것으로 시작합니다. 구조 복원은 각 카메라의 위치와 방향, 그리고 희소한 3D 점 집합을 계산한 뒤 번들 조정을 통해 모든 값을 함께 정제합니다. 번들 조정은 모든 이미지에서 각 점의 재투영 오차를 최소화합니다. 다중 뷰 스테레오는 알려진 카메라 정보를 사용해 이미지마다 밀집 깊이 맵을 계산하고, 이 맵들을 하나의 포인트 클라우드로 융합합니다. 그런 다음 포아송 메시 생성과 같은 표면 재구성 기법으로 점을 폐쇄형 메시로 변환하고, 사진에서 텍스처를 입힙니다. Johannes Schönberger와 동료들이 개발한 COLMAP은 이 파이프라인을 구현한 널리 사용되는 오픈 소스 도구입니다. 깊이 카메라와 LiDAR는 매칭 단계를 생략하고 일반적으로 ICP(iterative closest point) 알고리즘을 사용해 겹치는 스캔을 직접 정렬합니다.

모든 3D 점은 삼각측량으로 구합니다. 보정된 카메라 두 대가 주어졌을 때, 각 카메라에서 관측된 픽셀에 가장 잘 투영되는 점을 찾습니다. 다음 예제는 0.3 m 간격으로 떨어진 두 카메라가 관측한 벽 위의 점을 삼각측량하며, 각 관측에는 0.5픽셀의 노이즈가 있습니다.

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]])  # camera intrinsics in pixels

# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])

for z in [2.0, 10.0]:
    # 200 points on a wall z meters away, observed in both images with half-pixel noise
    points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
    X = np.vstack([points.T, np.ones(200)])
    x1, x2 = P1 @ X, P2 @ X
    x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))

    # Triangulate: find the 3D point whose projections best match both observations
    Xh = cv2.triangulatePoints(P1, P2, x1, x2)
    error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
    print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")

출력 결과는 2 m 거리의 벽에서 중앙값 오차 0.8 cm, 10 m 거리에서 18.4 cm를 보여줍니다. 거리가 5배 늘어나면 오차는 약 23배 커집니다. 이는 두 시점 기하학이 예측하는 제곱에 가까운 증가율이며, 따라서 사진측량에서는 멀리 있는 표면을 촬영할 때 시점 간 거리를 넓게 벌려 여러 방향에서 촬영합니다.

재구성은 장면이 정적이라고 가정하므로 촬영 중 움직이는 사람이나 차량은 유령 형태의 기하 구조와 매칭되지 않는 특징을 만듭니다. COLMAP은 이미지별 마스크에서 검은색으로 표시된 영역의 특징 추출을 건너뜁니다. Ultralytics YOLO26 인스턴스 분할 모델로 사람과 자동차의 마스크를 생성하면 이러한 움직이는 객체를 정적 재구성에서 제외할 수 있습니다.

표현 방식 및 학습 기반 재구성#

포인트 클라우드는 쉽게 생성할 수 있지만 연결 관계가 없습니다. 메시는 측정, 게임 엔진, 디지털 트윈에 사용할 수 있는 연속적인 표면을 제공하며, 복셀 그리드는 공간을 셀로 나눕니다. Richard Newcombe와 동료들이 2011년 발표한 KinectFusion은 실시간으로 깊이 카메라 프레임을 절단 부호 거리 볼륨에 융합했습니다. Open3D와 같은 라이브러리는 지금도 이 볼륨 융합 기법을 구현합니다. 암시적 신경 표현은 좌표를 점유도 또는 부호 거리로 매핑하는 네트워크로 표면을 저장합니다. 신경 방사 필드와 가우시안 스플래팅은 모든 방향에서의 외관을 모델링해 새로운 시점 합성에 활용되지만, 기하 구조를 메시만큼 직접 측정하기는 어렵습니다. 이제 피드포워드 네트워크는 최적화 과정을 완전히 생략합니다. 옥스퍼드 대학교의 Visual Geometry Group과 Meta AI가 개발한 VGGT는 이미지 한 장부터 수백 장까지 한 번에 처리해 카메라 포즈, 깊이 맵, 3D 점을 예측했으며 CVPR 2025 최우수 논문상을 받았습니다.

관련 작업은 산출물이 서로 다릅니다. 깊이 추정은 한 시점의 각 픽셀에 대한 거리를 예측하므로 부분적인 표면 하나만 제공합니다. 스테레오 비전은 동기화된 카메라 두 대로부터 재구성합니다. 시각 SLAM은 이동하는 카메라를 추적하고 실시간으로 지도를 구축해 탐색에 활용하며, 완전성보다 속도를 우선합니다. 3D 객체 탐지는 표면을 복원하는 대신 객체 주위에 박스를 배치합니다.

실제 적용 사례#

  • 증강 현실: Apple의 ARKit은 LiDAR가 탑재된 iPhone과 iPad에서 실시간으로 공간 메시를 구축하므로 가상 객체가 바닥 위에 놓이고 가구 뒤에 가려집니다.
  • 제조 검사: 완성된 부품의 스캔 결과를 CAD 모델과 비교해 편차를 측정하며, 같은 스캔을 사용해 생산 라인의 디지털 트윈을 최신 상태로 유지합니다.
  • 로보틱스: 로봇은 탑재된 깊이 카메라를 사용해 집어야 하는 객체와 이동할 공간을 재구성합니다.
  • 문화유산 및 지도 제작: 사진측량은 건물, 발굴 현장, 도시 전체를 디지털화합니다. 2009년 Building Rome in a Day 프로젝트는 Flickr 사진 150,000장으로 로마의 랜드마크를 496개 프로세서 코어가 있는 클러스터에서 21시간 만에 재구성했습니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요