3D Object Detection

3D 객체 탐지는 장면에서 객체를 찾고 각 객체를 3D 바운딩 박스 또는 직육면체로 둘러싸 위치, 크기, 방향을 실제 단위로 나타냅니다. 표준 2D 객체 탐지는 이미지 픽셀 단위의 바운딩 박스를 출력합니다. 3D 탐지기는 자동차까지의 거리를 미터 단위로 나타내고, 자동차의 길이와 너비, 바라보는 방향을 알려 줍니다. 이는 자율주행차, 배송 로봇, 창고 로봇 팔이 움직임을 계획하고 충돌을 피하는 데 필요한 정보입니다.

3D 박스 표현 방식#

대부분의 3D 탐지기는 객체마다 숫자 7개와 클래스, 신뢰도 점수를 출력합니다. 7개 숫자는 박스 중심 좌표(x, y, z), 길이·너비·높이, 수직축을 기준으로 한 방향각 또는 요 각도입니다. 자동차, 사람, 대부분의 실내 객체가 똑바로 서 있다고 가정하므로 롤과 피치는 0으로 간주하며, nuScenes와 같은 주행 벤치마크는 객체의 속도도 요구합니다. 7개 숫자를 모서리 점 8개로 변환하는 것은 이미지에 박스를 그리거나 다른 박스와의 겹침을 계산하는 첫 단계입니다.

import numpy as np

# 3D 박스 하나: 중심(m), 크기(m), 수직 z축 기준 방향각(rad)
center = np.array([12.0, -3.0, 0.9])
length, width, height = 4.5, 1.9, 1.6
yaw = np.pi / 6

# 회전 전 박스 중심을 기준으로 한 박스의 모서리 8개
signs = np.array([[sx, sy, sz] for sx in (1, -1) for sy in (1, -1) for sz in (1, -1)])
corners = signs * [length / 2, width / 2, height / 2]

# 방향각으로 회전한 다음 박스를 중심으로 이동
c, s = np.cos(yaw), np.sin(yaw)
rotation = np.array([[c, -s, 0], [s, c, 0], [0, 0, 1]])
corners = corners @ rotation.T + center
print(corners.round(2))

출력된 행 8개는 x축을 따라 12m 지점에 중심이 있고 30도 회전한 자동차 크기 박스의 모서리입니다. 그중 4개는 지붕 높이인 z = 1.7m에, 나머지 4개는 바닥 높이인 z = 0.1m에 있습니다.

센서와 방법#

3D 탐지에는 깊이 정보가 필요하며 시스템은 세 가지 유형의 입력에서 이를 얻습니다. 라이더 스캐너는 레이저 펄스로 거리를 직접 측정하고 장면의 포인트 클라우드를 반환합니다. 라이더 탐지기는 공간을 3D 복셀로 나누거나 PointPillars처럼 점을 수직 열로 그룹화한 다음, 빠른 2D 합성곱을 사용해 조감도 이미지로 처리하거나 원시 점을 직접 처리합니다.

카메라 기반 방법은 이미지에서 깊이를 추론합니다. 단일 카메라에서는 작은 근거리 객체와 큰 원거리 객체가 똑같이 보일 수 있어 깊이를 모호하게 파악하므로, 단안 탐지기는 객체 크기와 장면 문맥으로부터 깊이를 학습합니다. BEVFormer와 같은 다중 카메라 시스템은 여러 방향의 뷰에서 특징을 가져와 하나의 공통 조감도 격자로 통합합니다. 카메라 파이프라인에서는 YOLO26의 2D 박스와 YOLO26 깊이 모델을 함께 사용할 수도 있습니다. 이 깊이 모델은 RGB 이미지 하나에서 픽셀별 깊이 맵을 미터 단위로 예측해 각 탐지 객체까지의 거리를 추정합니다.

센서 퓨전은 라이다의 정밀한 기하 정보와 카메라 이미지의 색상 및 질감 정보를 결합합니다. BEVFusion은 두 센서의 특징을 공통 조감도 공간에서 병합합니다.

3D 탐지와 관련 작업 비교#

• 깊이 추정: 장면을 객체나 클래스로 구분하지 않고 모든 픽셀의 거리를 예측합니다.
• 방향성 바운딩 박스: 이미지 평면에서 회전된 2D 박스로, 3D 박스의 하향 투영 형태와 비슷해 항공 이미지에서 자주 사용됩니다.
• 3D 재구성: 개별 객체에 레이블을 지정하지 않고 메시나 포인트 클라우드와 같은 장면 전체의 기하 구조를 복원합니다.

응용 분야와 과제#

자율주행차는 3D 탐지를 사용해 주변 자동차, 보행자, 자전거 운전자를 찾고 이동 경로를 예측합니다. 창고 및 물류 로봇은 물체를 잡기 전에 상자의 위치와 방향을 찾는 데 3D 탐지를 사용합니다. 주요 난제에는 라이다 포인트가 적게 잡히는 원거리 및 소형 객체, 부분적으로 가려진 객체, 거리가 멀수록 오차가 커지는 단안 깊이 추정, 그리고 어노테이터가 모든 학습용 직육면체를 3D로 맞춰야 하는 어노테이션 비용이 있습니다.

3D 탐지기 평가#

평가 지표는 교집합 대비 합집합(IoU)과 평균 정밀도(mAP)를 3차원으로 확장합니다. KITTI 3D 벤치마크는 자동차에 0.7, 보행자와 자전거 운전자에 0.5의 3D 박스 IoU를 요구하며, 2019년부터 재현율 위치 11개가 아닌 40개에서 정밀도를 평균합니다. nuScenes 벤치마크는 지면 평면에서 예측 박스와 레이블 박스 중심 간 거리를 기준으로 예측 결과를 레이블과 매칭하고, 0.5, 1, 2, 4m 임계값에서 AP를 평균합니다. nuScenes 탐지 점수(NDS)는 이 mAP에 가중치 5를 적용하고, 이동, 스케일, 방향, 속도, 속성 오류에서 계산한 점수 5개에 각각 가중치 1을 적용해 결합합니다.