3D Object Detection

3D 객체 탐지는 기계가 3차원 공간 내에서 객체를 식별하고, 위치를 파악하며, 크기를 결정할 수 있도록 하는 고도화된 컴퓨터 비전 작업입니다. 이미지 내의 항목 주위에 평면적인 2D 객체 탐지로 bounding box를 그리는 기존 방식과 달리, 3D 객체 탐지는 객체를 감싸는 직육면체(3D 박스)를 추정합니다. 이는 중요한 깊이 정보, 방향(헤딩), 그리고 정확한 공간적 치수를 제공하여 시스템이 객체가 '무엇'인지뿐만 아니라 실제 세계에서 센서를 기준으로 '어디'에 있는지 정확하게 이해할 수 있게 합니다. 이 기능은 환경과 물리적으로 상호작용해야 하는 기술에 있어 필수적입니다.

Link to this section3D 객체 탐지의 작동 원리#

깊이와 부피를 인식하기 위해 3D 탐지 모델은 일반적으로 표준 카메라가 제공하는 것보다 더 풍부한 데이터 입력을 사용합니다. 일부 고급 방식은 단안(싱글 렌즈) 이미지로부터 3D 구조를 추론할 수 있지만, 대부분의 강력한 시스템은 LiDAR 센서, 레이더 또는 스테레오 카메라의 데이터를 활용합니다. 이러한 센서는 객체의 외부 표면을 나타내는 방대한 데이터 포인트 집합인 point clouds를 생성합니다.

이 과정은 몇 가지 핵심 단계를 포함합니다:

• 데이터 획득: 센서가 장면의 기하학적 구조를 포착합니다. 예를 들어 LiDAR는 레이저 펄스를 사용하여 거리를 측정하고 정확한 3D 맵을 생성합니다.
• 특징 추출: Convolutional Neural Networks (CNNs) 또는 Transformer 기반의 딥러닝 모델은 포인트 클라우드나 융합된 이미지 데이터를 처리하여 패턴을 식별합니다.
• Bounding Box 예측: 모델은 중심 좌표(x, y, z), 치수(길이, 너비, 높이) 및 회전 각도(yaw)로 정의되는 3D bounding box를 출력합니다.
• 분류: 이미지 분류와 유사하게, 시스템은 탐지된 객체에 라벨(예: "보행자", "차량")을 할당합니다.

Link to this section2D 및 3D 탐지의 차이점#

이 두 가지 관련된 개념을 구분하는 것이 중요합니다.

• 2D 객체 탐지: 평면 이미지(픽셀)에서 작동합니다. 객체가 프레임의 "왼쪽 상단"이나 "오른쪽 하단"에 있다고 알려주지만, 참조 마커 없이는 거리나 실제 크기를 효과적으로 판단할 수 없습니다. 이는 제조 결함 식별이나 깊이가 덜 중요한 비디오 피드 분석과 같은 작업에 이상적입니다.
• 3D 객체 탐지: 부피 공간(복셀 또는 포인트)에서 작동합니다. 카메라로부터의 거리(깊이), 객체의 물리적 크기 및 방향을 제공합니다. 이는 동적 환경에서 충돌을 방지하는 데 필수적입니다.

Link to this section실제 애플리케이션 사례#

2D에서 3D 인식으로의 전환은 안전과 공간 인식이 무엇보다 중요한 산업 분야에서 강력한 사용 사례를 가능하게 합니다.

• 자율 주행: 자율 주행 차량은 안전한 주행을 위해 3D 탐지에 크게 의존합니다. LiDAR와 카메라의 데이터를 처리함으로써 차량은 다른 차량, 보행자, 장애물을 탐지하고 정확한 거리와 속도를 계산할 수 있습니다. 이를 통해 인식 시스템은 궤적을 예측하고 real-time inference 상황에서 제동 또는 조향 결정을 내릴 수 있습니다. Waymo와 같은 기업들은 이러한 강력한 센서 제품군을 사용하여 도시 환경을 즉각적으로 매핑합니다.
• 로봇 공학 및 빈 피킹: 물류 및 창고 분야에서 로봇은 빈(bin)에서 다양한 모양과 크기의 물체를 집어 올려야 합니다. 3D 탐지는 로봇 팔이 패키지의 방향을 이해하고, 최적의 파지 지점을 결정하며, 물체를 이동시키기 위한 충돌 없는 경로를 계획할 수 있게 합니다. 이는 복잡한 수동 작업을 자동화하여 AI in logistics의 효율성을 향상합니다.

Link to this sectionUltralytics를 사용한 객체 탐지 구현#

완전한 3D 탐지는 종종 특수 포인트 클라우드 아키텍처를 필요로 하지만, YOLO26과 같은 현대적인 2D 탐지기는 의사 3D(pseudo-3D) 워크플로우의 구성 요소나 bounding box 스케일링을 통한 깊이 추정을 위해 점점 더 많이 사용되고 있습니다. 자체 데이터셋으로 모델을 학습시키려는 개발자들을 위해 Ultralytics Platform은 주석(annotation)과 학습을 위한 간소화된 환경을 제공합니다.

다음은 더 큰 인식 파이프라인의 첫 번째 단계로 자주 사용되는 Ultralytics Python API를 사용하여 표준 탐지를 실행하는 간단한 예시입니다:

import cv2
from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Perform inference on a local image
results = model("path/to/image.jpg")

# Visualize the results
for result in results:
    # Plot predictions on the image (returns a numpy array)
    im_array = result.plot()

    # Display using OpenCV
    cv2.imshow("Detections", im_array)
    cv2.waitKey(0)  # Press any key to close
    cv2.destroyAllWindows()

Link to this section도전 과제 및 향후 트렌드#

유용성에도 불구하고 3D 객체 탐지는 연산 비용과 센서 비용 문제에 직면해 있습니다. 포인트 클라우드 내 수백만 개의 포인트를 처리하려면 상당한 GPU 성능이 필요하므로 에지 디바이스에서의 배포가 어렵습니다. 그러나 model quantization과 효율적인 신경망 아키텍처의 혁신으로 이러한 부담이 줄어들고 있습니다.

또한, 센서 융합과 같은 기술은 카메라의 풍부한 색상 정보와 LiDAR의 정확한 깊이 데이터를 결합하여 정확도를 향상시키고 있습니다. 이러한 기술이 성숙해짐에 따라 augmented reality glasses부터 스마트 가전제품에 이르기까지 더 많은 접근 가능한 기기에 3D 인식이 통합될 것으로 기대됩니다.