3D Reconstruction

3D 재구성은 시각적 또는 깊이 측정값을 바탕으로 객체나 환경의 디지털 3차원 표현을 생성하는 과정입니다. 컴퓨터 비전에서는 사진, 비디오 프레임, 스테레오 이미지, LiDAR 스캔 등의 관측값을 3차원 공간에서 표면이 존재하는 위치를 설명하는 지오메트리로 변환합니다. 그 결과로 드문드문 위치한 랜드마크 집합, 조밀한 포인트 클라우드, 폴리곤 메시 또는 측정이 가능하고 렌더링 및 분석이 가능한 텍스처 모델이 생성될 수 있습니다.

3D 재구성이 작동하는 방식#

일반적인 재구성 파이프라인은 지오메트리, 이미지 처리, 머신러닝을 결합합니다:

1. 캡처: 카메라나 깊이 센서가 하나 이상의 시점에서 피사체를 관찰합니다. 동일한 표면이 여러 프레임에 나타나도록 여러 이미지가 겹쳐야 합니다.
2. 보정: 시스템은 초점 거리 및 광학 중심과 같은 카메라 내부 매개변수를 추정하고 렌즈 왜곡을 보정합니다. 공식 OpenCV 카메라 보정 튜토리얼에서는 이러한 매개변수에 대해 설명합니다.
3. 대응점 매칭: 이미지 전반에 걸쳐 고유한 픽셀이나 학습된 피처가 매칭됩니다. 대응점은 두 픽셀이 동일한 물리적 점을 나타내고 있음을 의미합니다.
4. 카메라 포즈 추정: 각 카메라의 상대적 위치와 방향이 복원됩니다.
5. 깊이 복원: 알려진 카메라 지오메트리를 사용하여 매칭된 관측값을 삼각 측량하여 3D 좌표로 변환할 수 있습니다. 이미지 기반 도구는 일반적으로 structure-from-motion and multi-view stereo 워크플로를 사용하는 반면, RGB-D 시스템은 깊이를 직접 획득하거나 추정합니다.
6. 등록 및 융합: 부분적인 포인트 클라우드가 공유 좌표계로 변환됩니다. Open3D 포인트 클라우드 등록에서는 겹치는 스캔을 정렬하는 방법을 보여줍니다.
7. 표면 생성: 표면 재구성 프로세스를 사용하여 점들을 연결하거나 삼각형 메시 형태로 맞춘 후, 텍스처 매핑과 정리를 수행할 수 있습니다. (docs.opencv.org)

표현 방식 및 관련 개념#

포인트 클라우드는 개별 3D 점들을 저장하며, 대개 색상이나 신뢰도 값을 포함합니다. 메시는 정점을 모서리와 삼각형 면으로 연결하여 연속적인 표면을 생성합니다. 복셀 그리드는 공간을 작은 3D 셀로 나누고, 암시적 표현 방식은 학습된 함수 내에 지오메트리를 인코딩합니다.

3D 재구성은 여러 관련 개념과 겹치지만 목표가 다릅니다:

• 깊이 추정은 이미지 픽셀에 대해 카메라로부터의 거리를 예측합니다. 깊이 맵은 대개 재구성을 위한 입력으로 사용되지만, 단일 맵만으로는 숨겨진 표면의 완전한 모델이 자동으로 제공되지 않습니다.
• 스테레오 비전은 알려진 거리를 두고 떨어진 두 카메라로부터 깊이를 유추합니다. 재구성은 스테레오 깊이를 사용할 수 있지만 여러 대의 카메라, 비디오 또는 액티브 센서를 사용할 수도 있습니다.
• 시각적 SLAM은 주로 실시간 내비게이션을 위해 맵을 구축하는 동안 카메라 모션을 추정합니다. 반면 재구성은 일반적으로 결과 지오메트리의 품질과 완성도를 우선시합니다.
• 뉴럴 래디언스 필드와 가우시안 스플래팅은 사실적인 렌더링 및 새로운 시점을 위해 장면을 표현합니다. 이들의 출력 결과가 반드시 측정에 바로 사용할 수 있는 명시적인 메시는 아닙니다.
• 3D 객체 감지는 모든 가시적 표면을 재현하는 대신 3D 공간 내에서 객체를 찾아내고 분류합니다.

실제 애플리케이션 사례#

• 로봇 검사 및 제조: 로봇은 RGB-D 이미지로부터 부품을 재구성하고, 그 지오메트리를 예상 설계와 비교하여 찌그러짐, 누락된 재질, 잘못된 조립 여부를 식별할 수 있습니다. 결과 모델은 제조 디지털 트윈을 업데이트하는 데에도 사용되어 측정, 시뮬레이션, 유지보수 계획 및 품질 관리를 지원합니다.

• 증강 현실 및 실내 매핑: 모바일 기기는 가상 콘텐츠가 실제 방과 올바르게 상호작용할 수 있도록 벽, 바닥, 가구 및 기타 표면을 재구성할 수 있습니다. 예를 들어 ARKit 장면 재구성은 현실적인 가림(occlusion), 충돌, 객체 배치를 지원하는 다각형 메시를 생성합니다. 그런 다음 표준화된 glTF 3D 에셋 포맷과 같은 포맷으로 모델을 전달할 수 있습니다. (nist.gov)

Ultralytics YOLO를 활용한 깊이 추정#

Ultralytics YOLO26 깊이 추정은 하나의 RGB 이미지에서 조밀한 미터법 깊이 맵을 제공할 수 있습니다. 이는 전용 깊이 센서를 사용할 수 없을 때 RGB-D 매핑, 장애물 지오메트리, 포인트 클라우드 생성을 위해 유용한 구성 요소입니다.

from ultralytics import YOLO

# Load a pretrained monocular depth model.
model = YOLO("yolo26n-depth.pt")

# Estimate per-pixel depth from one RGB image.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Save the depth visualization.
result.save(filename="depth_result.jpg")

이 워크플로는 이미지와 정렬된 깊이를 생성하며, 완전한 3D 장면을 독립적으로 재구성하지는 않습니다. 전체 파이프라인에는 보정된 카메라 매개변수가 필요하며, 여러 프레임의 경우 신뢰할 수 있는 카메라 포즈가 필요합니다. Open3D RGB-D 이미지 워크플로에서는 정렬된 색상, 깊이, 카메라 내부 매개변수를 사용하여 포인트 클라우드를 생성하는 방법을 보여줍니다. 커스텀 비전 컴포넌트를 개발하는 팀은 Ultralytics Platform을 사용하여 데이터셋 주석 작업, 모델 학습, 배포 및 프로덕션 추론 모니터링을 수행할 수 있습니다.

실무적 과제 및 가이드#

재구성 품질은 캡처 조건에 크게 좌우됩니다. 오버랩이 높은 뷰를 사용하고, 카메라만 회전시키는 대신 피사체 주변으로 이동하며, 조명을 비교적 일정하게 유지하세요. 텍스처가 없는 벽, 투명하거나 반사되는 객체, 모션 블러, 가림 현상, 변화하는 조명은 피처 매칭을 방해하거나 구멍 및 중복된 표면을 발생시킬 수 있습니다.

보정 오류는 스케일과 형태를 왜곡시키며, 부정확한 카메라 포즈는 스캔 데이터가 어긋나게 만듭니다. 또한 단안 입력은 고유한 스케일 및 숨겨진 표면 모호성을 내포하고 있습니다. 즉, 학습된 가정 없이는 단일 이미지로 객체의 뒷면을 드러낼 수 없습니다. 외형만 보고 판단하기보다는 알려진 치수, 재투영 오차, 스캔 오버랩, 그리고 애플리케이션별 공차를 사용하여 재구성을 검증하세요.