3D Reconstruction

3D 재구성은 시각 또는 깊이 측정값으로부터 물체나 환경의 디지털 3차원 표현을 만드는 과정입니다. 컴퓨터 비전에서는 사진, 비디오 프레임, 스테레오 이미지 또는 LiDAR 스캔과 같은 관측값을 3D 공간에서 표면의 위치를 나타내는 기하 정보로 변환합니다. 결과물은 희소 랜드마크 집합, 조밀한 포인트 클라우드, 폴리곤 메시 또는 측정, 렌더링 및 분석이 가능한 텍스처 모델일 수 있습니다.

3D 재구성의 작동 방식#

일반적인 재구성 파이프라인은 기하학, 이미지 처리, 머신러닝을 결합합니다:

1. 캡처: 카메라 또는 깊이 센서가 하나 이상의 시점에서 대상을 관측합니다. 같은 표면이 여러 프레임에 나타나도록 이미지가 서로 겹쳐야 합니다.
2. 보정: 시스템은 초점 거리와 광학 중심 같은 카메라 내부 파라미터를 추정하고 렌즈 왜곡을 보정합니다. 공식 OpenCV 카메라 보정 튜토리얼에서 이러한 파라미터를 설명합니다.
3. 대응점: 이미지 간에 특징적인 픽셀 또는 학습된 특징을 매칭합니다. 대응점은 두 픽셀이 동일한 물리적 지점을 나타냄을 의미합니다.
4. 카메라 포즈 추정: 각 카메라의 상대적인 위치와 방향을 복원합니다.
5. 깊이 복원: 카메라 기하 정보가 알려져 있으면 매칭된 관측값을 삼각 측량해 3D 좌표로 변환할 수 있습니다. 이미지 기반 도구는 일반적으로 Structure-from-Motion 및 다중 뷰 스테레오 워크플로를 사용하며, RGB-D 시스템은 깊이를 직접 얻거나 추정합니다.
6. 정합 및 융합: 부분 포인트 클라우드를 공통 좌표계로 변환합니다. Open3D 포인트 클라우드 정합에서는 겹치는 스캔을 정렬하는 방법을 확인할 수 있습니다.
7. 표면 생성: 표면 재구성 과정을 사용해 점을 연결하거나 맞춰 삼각형 메시를 만들 수 있으며, 이후 텍스처 매핑과 정리 작업을 수행합니다. (docs.opencv.org)

표현 방식 및 관련 개념#

포인트 클라우드는 개별 3D 점을 저장하며, 여기에 색상 또는 신뢰도 값이 포함되는 경우가 많습니다. 메시는 꼭짓점을 모서리 및 삼각형 면으로 연결해 연속적인 표면을 만듭니다. 복셀 그리드는 공간을 작은 3D 셀로 나누며, 암시적 표현은 학습된 함수 안에 기하 정보를 인코딩합니다.

3D 재구성은 여러 관련 개념과 겹치는 부분이 있지만 목표는 다릅니다:

• 깊이 추정은 이미지 픽셀과 카메라 사이의 거리를 예측합니다. 깊이 맵은 재구성의 입력으로 사용되는 경우가 많지만, 깊이 맵 하나만으로는 숨겨진 표면까지 포함한 완전한 모델을 자동으로 얻을 수 없습니다.
• 스테레오 비전은 거리가 알려진 두 카메라를 이용해 깊이를 추론합니다. 재구성에는 스테레오 깊이를 사용할 수 있지만 여러 카메라, 비디오 또는 능동 센서를 활용할 수도 있습니다.
• 비주얼 SLAM은 일반적으로 실시간 내비게이션을 위해 지도를 만들면서 카메라 움직임을 추정합니다. 재구성은 일반적으로 결과 기하 정보의 품질과 완전성을 우선시합니다.
• 뉴럴 래디언스 필드와 가우시안 스플래팅은 사실적인 렌더링과 새로운 시점을 위해 장면을 표현합니다. 이 방식의 출력이 반드시 측정에 바로 사용할 수 있는 명시적 메시인 것은 아닙니다.
• 3D 객체 탐지는 보이는 모든 표면을 재구성하는 대신 3D 공간에서 객체의 위치를 찾고 분류합니다.

실제 적용 사례#

• 로봇 검사 및 제조: 로봇은 RGB-D 이미지로 부품을 재구성하고, 예상 설계와 기하 정보를 비교하며, 움푹 들어간 곳, 재료 누락 또는 잘못된 조립을 식별할 수 있습니다. 결과 모델은 제조 디지털 트윈도 업데이트할 수 있어 측정, 시뮬레이션, 유지보수 계획 및 품질 관리를 지원합니다.

• 증강 현실 및 실내 매핑: 모바일 기기는 벽, 바닥, 가구 및 기타 표면을 재구성해 가상 콘텐츠가 실제 공간과 올바르게 상호작용하도록 할 수 있습니다. 예를 들어 ARKit 장면 재구성은 사실적인 오클루전, 충돌 및 객체 배치를 지원하는 폴리곤 메시를 생성합니다. 그런 다음 모델을 표준화된 glTF 3D 에셋 형식과 같은 형식으로 제공할 수 있습니다. (nist.gov)

Ultralytics YOLO를 활용한 깊이 추정#

Ultralytics YOLO26 깊이 추정은 단일 RGB 이미지에서 조밀한 미터법 깊이 맵을 제공할 수 있습니다. 전용 깊이 센서를 사용할 수 없을 때 RGB-D 매핑, 장애물 기하 정보 및 포인트 클라우드 생성에 유용한 구성 요소입니다.

from ultralytics import YOLO

# 사전 학습된 단안 깊이 모델을 불러옵니다.
model = YOLO("yolo26n-depth.pt")

# 단일 RGB 이미지에서 픽셀별 깊이를 추정합니다.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# 깊이 시각화 결과를 저장합니다.
result.save(filename="depth_result.jpg")

이 워크플로는 이미지에 정렬된 깊이를 생성하지만 완전한 3D 장면을 독립적으로 재구성하지는 않습니다. 전체 파이프라인에는 보정된 카메라 파라미터가 필요하며, 여러 프레임을 사용하는 경우 신뢰할 수 있는 카메라 포즈도 필요합니다. Open3D RGB-D 이미지 워크플로에서는 정렬된 색상, 깊이 및 카메라 내부 파라미터를 사용해 포인트 클라우드를 생성하는 방법을 확인할 수 있습니다. 맞춤형 비전 구성 요소를 개발하는 팀은 Ultralytics Platform을 사용해 데이터셋에 주석을 추가하고, 모델을 학습 및 배포하며, 운영 추론을 모니터링할 수 있습니다.

실제 과제 및 지침#

재구성 품질은 캡처 조건에 크게 좌우됩니다. 서로 겹치는 시점에서 촬영하고, 카메라만 회전시키지 말고 대상을 중심으로 이동하며, 조명을 가능한 한 일정하게 유지하세요. 질감이 없는 벽, 투명하거나 반사되는 물체, 모션 블러, 오클루전 및 조명 변화는 특징 매칭을 방해하거나 구멍과 중복 표면을 만들 수 있습니다.

보정 오류는 스케일과 형태를 왜곡하며, 부정확한 카메라 포즈는 스캔 간 정렬을 어긋나게 합니다. 단안 입력에는 고유한 스케일 모호성과 숨겨진 표면에 대한 모호성이 있습니다. 학습된 가정을 사용하지 않는 한 이미지 하나로는 물체의 뒷면을 알 수 없습니다. 외관만 보고 판단하기보다 알려진 치수, 재투영 오차, 스캔 중첩률 및 애플리케이션별 허용 오차를 사용해 재구성을 검증하세요.