Depth Estimation

깊이 추정(Depth estimation)은 컴퓨터 비전에서 카메라로부터 객체까지의 거리를 결정하는 핵심 프로세스로, 2D 이미지에 효과적으로 세 번째 차원을 추가합니다. 이미지 내 모든 픽셀이 얼마나 멀리 떨어져 있는지 계산함으로써 이 기법은 픽셀 강도가 거리에 대응하는 표현인 depth map을 생성합니다. 이 기능은 인간의 binocular vision을 모방하여 기계가 공간적 관계와 기하학적 구조를 인식할 수 있도록 합니다. 이는 자율 주행 시스템이 안전하게 주행하고, 주변 환경을 이해하며, 물리적 객체와 상호작용할 수 있도록 하는 기초 기술입니다.

핵심 메커니즘 및 기술#

깊이 추정을 구현하는 방법은 하드웨어 기반 솔루션부터 인공지능을 활용한 순수 소프트웨어 방식까지 다양합니다.

• 스테레오 비전 시스템: 인간의 눈과 유사하게, stereo vision은 나란히 배치된 두 대의 카메라를 사용합니다. 알고리즘은 좌우 이미지 간의 미세한 차이(또는 시차)를 분석하여 거리를 삼각측량합니다. 이는 두 프레임에서 동일한 포인트를 식별하기 위해 정확한 feature matching에 크게 의존합니다.
• 모노큘러 깊이 추정: 이 고급 방법은 단일 이미지로부터 깊이를 추정합니다. 단일 2D 사진에는 고유한 깊이 데이터가 부족하기 때문에, deep learning models은 원근감, 객체 크기, 가림 현상 같은 시각적 단서를 인식하도록 방대한 데이터셋으로 학습됩니다. convolutional neural networks (CNNs)과 같은 현대의 아키텍처는 이 작업에 탁월하여 표준 카메라로부터 3D 구조를 도출할 수 있게 해줍니다.
• LiDAR 및 ToF(Time-of-Flight): LiDAR (Light Detection and Ranging) 및 Time-of-Flight cameras와 같은 능동 센서는 빛 펄스를 방출하고 그것이 돌아오는 시간을 측정합니다. 이러한 방법들은 매우 정확한 point clouds를 생성하며, 머신 러닝 모델 학습을 위한 정답(Ground Truth) 데이터를 수집하는 데 종종 사용됩니다.

실제 애플리케이션 사례#

거리를 측정하는 능력은 많은 산업 전반에 걸쳐 혁신적이며, 공간 인식이 필요한 애플리케이션을 구동합니다.

• 자율 주행: 자율주행차는 장애물을 감지하고, 다른 차량까지의 거리를 측정하며, 복잡한 도로망을 안전하게 주행하기 위해 깊이 추정에 의존합니다. 이는 보행자와 자전거 이용자를 식별하기 위한 3D object detection의 필수적인 요소입니다.
• 로보틱스 및 자동화: 로봇은 path planning 및 객체 조작 같은 작업을 위해 깊이 인식을 사용합니다. 예를 들어, 물류창고 로봇은 충돌 없이 패키지를 집어 올리기 위해 선반이 정확히 얼마나 떨어져 있는지 알아야 합니다.
• 증강 현실(AR): 가상 물체를 실제 환경에 자연스럽게 배치하기 위해 AR 기기는 환경의 3D 기하학적 구조를 이해해야 합니다. 깊이 추정은 가상 캐릭터가 실제 가구 뒤에 숨을 수 있도록 보장하며, 이를 오클루전(occlusion) 처리라고 합니다.

코드 예제: 단안 깊이 추정#

특화된 깊이 모델이 존재하지만, 간단한 시나리오에서는 거리의 대용물로서 객체 감지 바운딩 박스를 사용하여 공간적 관계를 유추할 수 있는 경우가 많습니다(박스가 클수록 보통 더 가까운 객체를 의미합니다). 다음은 많은 깊이 인식 파이프라인의 첫 번째 단계인 객체 감지를 위해 ultralytics 패키지를 사용하여 모델을 로드하는 방법입니다.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Process results
for result in results:
    # Get bounding boxes (xyxy format)
    boxes = result.boxes.xyxy

    # Iterate through detections
    for box in boxes:
        print(f"Detected object at: {box}")

다른 컴퓨터 비전 개념과의 관계#

깊이 추정을 관련 용어들과 구별하는 것이 중요합니다. object detection이 (바운딩 박스를 사용하여) 2D 공간에서 객체가 무엇이고 어디에 있는지 식별하는 반면, 깊이 추정은 그것이 얼마나 멀리 떨어져 있는지(Z축) 식별합니다. 이와 유사하게, semantic segmentation은 픽셀을 범주(예: 도로, 하늘, 자동차)로 분류하는 반면, 깊이 추정은 동일한 픽셀에 거리 값을 할당합니다.

공간 AI의 발전#

generative AI의 최근 진전은 2D와 3D 비전 사이의 격차를 좁히고 있습니다. Neural Radiance Fields (NeRF) 같은 기법들은 기저의 깊이 원리에 크게 의존하여 여러 개의 2D 이미지를 사용해 복잡한 3D 장면을 재구성합니다. 게다가, model optimization 기법이 향상됨에 따라 edge AI devices에서 고도로 정확한 깊이 추정을 실행하는 것이 실현 가능해지고 있습니다. 이는 효율적인 모델 학습 및 배포를 위한 Ultralytics Platform과 같은 플랫폼의 지원을 받아 드론이나 스마트 안경처럼 작은 하드웨어에서도 실시간 공간 컴퓨팅을 가능하게 합니다.