Stereo Vision
스테레오 비전은 두 대의 서로 떨어진 카메라에서 각 점을 대응시키고 두 시점 사이의 이동량을 삼각 측량해 깊이를 측정합니다. 로봇, 자동차, 탐사 로버 등에 활용됩니다.
스테레오 비전은 서로 일정한 거리를 두고 설치된 카메라가 같은 장면을 촬영한 두 이미지에서 깊이를 복원하는 컴퓨터 비전 기법입니다. 가까운 물체의 한 점은 왼쪽과 오른쪽 이미지에서 서로 확연히 다른 위치에 나타나는 반면, 먼 지점은 거의 같은 위치에 나타납니다. 시차라고 하는 이 수평 오프셋은 삼각 측량을 통해 거리로 직접 변환됩니다. 사람의 양안 시각도 약 6 cm 떨어진 두 눈을 사용해 같은 방식으로 작동합니다. 스테레오 카메라 장치는 로보틱스 시스템, 자동차, 드론, 행성 탐사 로버에 일반 수동 카메라를 이용한 정밀한 깊이 추정을 제공합니다.
스테레오 비전 작동 방식#
스테레오 시스템은 먼저 카메라 보정이 필요합니다. 여기에는 카메라별 초점 거리와 렌즈 왜곡, 두 카메라 사이의 회전과 이동이 포함됩니다. 그런 다음 정류를 통해 두 이미지를 변환하면 에피폴라 기하학이 가장 단순한 형태가 됩니다. 즉, 각 점의 대응점이 다른 이미지의 동일한 행에 놓입니다. 이로써 두 시점에서 동일한 장면 지점을 찾는 대응점 문제가 행을 따라 이루어지는 1차원 검색으로 바뀝니다. 시차가 d인 대응 픽셀의 깊이는 Z = f × B / d로 계산합니다. 여기서 f는 픽셀 단위 초점 거리이고 B는 카메라 사이 거리인 기준선입니다.
이 예제는 scikit-image에 포함된 Middlebury 2014 스테레오 벤치마크의 정류된 이미지 쌍에 OpenCV의 준전역 매처를 실행합니다. 해당 벤치마크에는 구조광으로 측정한 서브픽셀 정밀도의 정답 시차 정보도 함께 제공됩니다:
import cv2
import numpy as np
from skimage import data
# Rectified Middlebury stereo pair with ground-truth disparity (focal length 995 px, baseline 0.193 m)
left, right, true_disp = data.stereo_motorcycle()
left, right = cv2.cvtColor(left, cv2.COLOR_RGB2GRAY), cv2.cvtColor(right, cv2.COLOR_RGB2GRAY)
# Semi-global matching searches each pixel's row in the other image; OpenCV returns 1/16-pixel units
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=80, blockSize=5, P1=200, P2=800, uniquenessRatio=10)
disp = sgbm.compute(left, right).astype(np.float32) / 16
# Score the pixels that have ground truth and a confident match
valid = np.isfinite(true_disp) & (disp > 0)
good = np.abs(disp - true_disp)[valid] < 1
print(f"Matched {valid.mean():.0%} of pixels, {good.mean():.1%} of them within 1 px of ground truth")
# Triangulate depth: Z = focal * baseline / (disparity + offset between the two principal points)
depth, true_depth = (994.978 * 0.193 / (d + 31.086) for d in (disp, true_disp))
print(f"Depth at the image center: {depth[250, 370]:.2f} m (ground truth {true_depth[250, 370]:.2f} m)")Matched 79% of pixels, 91.0% of them within 1 px of ground truth과 이미지 중앙의 깊이 2.40 m를 출력하며, 이는 정답과 일치합니다. 대응점을 찾지 못한 픽셀 대부분은 왼쪽 가장자리를 따라 있는 80픽셀 띠에 모여 있습니다. 시차 80개를 검색하면 오른쪽 이미지의 경계를 벗어나기 때문입니다.
매칭 알고리즘 및 정확도#
픽셀의 작은 윈도우를 비교하는 방식은 윈도우에 질감이 없거나 패턴이 반복되거나 객체 경계에 걸쳐 있을 때 실패합니다. Heiko Hirschmüller가 2005년에 소개하고 OpenCV의 StereoSGBM으로 수정 구현된 준전역 매칭은 시차가 급격히 바뀔 때 평활도 페널티를 추가하고 이미지 전체의 여러 1D 경로를 따라 비용을 집계합니다. 이 방식은 약한 질감 영역을 채우면서 객체 경계는 선명하게 유지합니다. 딥러닝 방식은 직접 설계한 비용을 학습된 특징 맵과 후보 시차의 비용 볼륨으로 대체하며, RAFT-Stereo는 옵티컬 플로 네트워크 방식의 반복 업데이트를 통해 시차 필드를 개선합니다. 방법은 Daniel Scharstein과 Richard Szeliski가 2002년에 시작한 Middlebury 스테레오 벤치마크와 LiDAR 정답이 포함된 KITTI 주행 장면을 기준으로 비교합니다.
거리가 멀어질수록 정밀도는 빠르게 떨어집니다. 깊이 공식을 미분하면 시차 오차가 1픽셀일 때 픽셀당 깊이 오차는 약 Z² / (f × B)가 됩니다. 따라서 카메라가 위쪽에 있을 때 2.4 m에서는 오차가 3 cm, 10 m에서는 52 cm입니다. 베이스라인을 넓히거나 초점 거리를 늘리면 유효 범위가 확장되지만, 최소 거리가 늘어나고 한쪽 카메라에만 보이는 영역이 많아집니다. Intel RealSense D400 시리즈와 같은 액티브 스테레오 카메라는 장면에 적외선 도트 패턴을 투사하여, 매칭에 필요한 질감을 빈 벽에도 만들어 줍니다.
스테레오 비전과 단안 깊이 추정 및 액티브 센서 비교#
단안 깊이 추정은 원근, 객체 크기, 가림과 같은 학습된 단서를 사용해 단일 이미지에서 깊이를 예측하므로, 깊이의 스케일은 학습 데이터에서 얻습니다. 반면 스테레오는 기준선을 기하학적으로 이용해 스케일을 측정합니다. Ultralytics YOLO26 깊이 추정 모델은 단안 방식을 사용해 RGB 이미지 하나에서 미터 단위의 깊이 맵을 예측하며, model.calibrate()은 측정된 깊이가 있는 소수의 이미지로 특정 카메라에 맞게 미터법 스케일을 보정합니다. LiDAR와 비행시간 카메라는 방출한 빛의 시간을 측정해 거리를 능동적으로 측정하며, 많은 차량은 이를 스테레오와 센서 융합합니다. 스테레오 깊이는 3D 객체 감지, 3D 재구성, 시각 SLAM에도 사용되며, 시간 정보를 추가하면 모든 점의 3D 움직임인 장면 흐름이 됩니다.
실제 적용 사례#
- 운전자 보조: Subaru의 EyeSight 시스템은 룸미러 근처에 장착된 두 대의 카메라를 사용해 전방 차량과 보행자까지의 거리를 측정하여 어댑티브 크루즈 컨트롤과 자동 긴급 제동을 지원합니다.
- 로봇 피킹: 로봇 팔에 장착된 스테레오 깊이 카메라는 빈과 컨베이어 위의 부품 위치를 파악하여 그리퍼에 필요한 3D 위치와 방향을 제공합니다.
- 드론: DJI의 Mavic 시리즈와 같은 소비자용 드론은 여러 방향을 향하는 양안 비전 센서로 장애물을 감지합니다.
- 행성 탐사 로버: NASA의 Perseverance 로버는 스테레오 내비게이션 카메라로 온보드에서 3D 지형 지도를 생성해 화성 표면을 자율 주행합니다.










