Stereo Vision
ステレオビジョンでは、位置の異なる2台のカメラ間で各点を対応付け、視点間のずれを三角測量して深度を測定します。ロボット、自動車、探査車などで使われます。
ステレオビジョンは、既知の距離だけ離れたカメラで同じシーンを撮影した2枚の画像から深度を復元するコンピュータービジョン技術です。近くの物体上の点は左右の画像で明確に異なる位置に映り、遠くの点はほぼ同じ位置に映ります。視差と呼ばれるこの水平方向のずれから、三角測量によって直接距離を求められます。人間の両眼視も、約6 cm離れた目を使って同じように機能します。ステレオカメラリグは、ロボティクスシステム、自動車、ドローン、惑星探査車に、通常の受動カメラによる高密度な深度推定を提供します。
ステレオビジョンの仕組み#
ステレオシステムでは、まずカメラキャリブレーションが必要です。各カメラの焦点距離とレンズ歪みに加え、2台のカメラ間の回転と並進を求めます。次に、両方の画像をワープさせるレクティフィケーションを行い、エピポーラ幾何を最も単純な形にします。この形では、各点に対応する点がもう一方の画像の同じ行上にあります。これにより、両方の視点で同じシーン上の点を見つける対応付け問題は、行に沿った一次元探索になります。視差dを持つ対応ピクセルの場合、深度はZ = f × B / dで求められます。ここでfはピクセル単位の焦点距離、Bはカメラ間の距離であるベースラインです。
この例では、scikit-imageに同梱されたMiddlebury 2014ステレオベンチマークのレクティファイ済みペアに対して、OpenCVのsemi-global matcherを実行します。このベンチマークには、構造化光を使って測定されたサブピクセル精度の正解視差も含まれています:
import cv2
import numpy as np
from skimage import data
# Rectified Middlebury stereo pair with ground-truth disparity (focal length 995 px, baseline 0.193 m)
left, right, true_disp = data.stereo_motorcycle()
left, right = cv2.cvtColor(left, cv2.COLOR_RGB2GRAY), cv2.cvtColor(right, cv2.COLOR_RGB2GRAY)
# Semi-global matching searches each pixel's row in the other image; OpenCV returns 1/16-pixel units
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=80, blockSize=5, P1=200, P2=800, uniquenessRatio=10)
disp = sgbm.compute(left, right).astype(np.float32) / 16
# Score the pixels that have ground truth and a confident match
valid = np.isfinite(true_disp) & (disp > 0)
good = np.abs(disp - true_disp)[valid] < 1
print(f"Matched {valid.mean():.0%} of pixels, {good.mean():.1%} of them within 1 px of ground truth")
# Triangulate depth: Z = focal * baseline / (disparity + offset between the two principal points)
depth, true_depth = (994.978 * 0.193 / (d + 31.086) for d in (disp, true_disp))
print(f"Depth at the image center: {depth[250, 370]:.2f} m (ground truth {true_depth[250, 370]:.2f} m)")Matched 79% of pixels, 91.0% of them within 1 px of ground truthと、画像中央で2.40 mの深度を出力します。これは正解値と一致します。対応点が見つからないピクセルの大半は、左端の幅80ピクセルの帯状領域にあります。80種類の視差を探索すると、右画像の境界を越えてしまうためです。
マッチングアルゴリズムと精度#
小さなピクセルウィンドウの比較は、ウィンドウにテクスチャがない場合、パターンが繰り返される場合、または物体の境界をまたぐ場合に失敗します。Heiko Hirschmüllerが2005年に発表し、OpenCVのStereoSGBMとして改変実装されたsemi-global matchingは、視差の急変に対する滑らかさのペナルティを追加し、画像内の複数の一次元経路に沿って集約します。これにより、テクスチャの乏しい領域を補完しながら物体の境界を鮮明に保てます。ディープラーニング手法は、手作りのコストを学習済みの特徴マップと候補視差のコストボリュームに置き換えます。RAFT-Stereoは、オプティカルフローネットワークの手法にならい、反復更新で視差フィールドを改善します。手法の比較には、Daniel ScharsteinとRichard Szeliskiが2002年に開始したMiddlebury stereo benchmarkや、LiDARの正解データを含む走行シーンのKITTIが使われます。
距離が離れるにつれて精度は急速に低下します。深度の式を微分すると、視差誤差1ピクセルあたりの深度誤差は約 Z² / (f × B) となるため、カメラが高い位置にある場合、1ピクセルの誤差は2.4 mで3 cm、10 mで52 cmに相当します。ベースラインを広げるか焦点距離を長くすると実用範囲は広がりますが、最小距離が長くなり、片方のカメラだけに映る領域も増えます。Intel RealSense D400シリーズなどのアクティブステレオカメラは、赤外線のドットパターンをシーンに投影し、対応付けに必要なテクスチャを無地の壁にも与えます。
ステレオビジョンと単眼深度推定、アクティブセンサーの比較#
単眼深度推定は、遠近感、物体サイズ、オクルージョンなどの学習済みの手掛かりを使って単一画像から深度を予測するため、スケールはトレーニングデータに由来します。一方、ステレオではベースラインから幾何学的にスケールを測定します。Ultralytics YOLO26の深度推定モデルは単眼方式を採用し、1枚のRGB画像からメートル単位の深度マップを予測します。model.calibrate()は、深度を測定した少数の画像を使い、特定のカメラに合わせてモデルのメートルスケールを調整します。LiDARと飛行時間カメラは、発光からの時間を計測して距離を能動的に測定します。多くの車両では、これらをステレオと組み合わせてセンサーフュージョンを行います。ステレオ深度は3D物体検出、3D再構築、ビジュアルSLAMにも利用され、時間情報を加えると、すべての点の3D運動を示すシーンフローになります。
実際のアプリケーション#
- 運転支援: SubaruのEyeSightシステムは、ルームミラー付近に取り付けた2台のカメラで前方の車両や歩行者までの距離を測定し、アダプティブクルーズコントロールと自動緊急ブレーキに活用します。
- ロボットピッキング: ロボットアームに搭載したステレオ深度カメラは、ビンやコンベヤー上の部品を特定し、グリッパーに必要な3D位置と向きを取得します。
- ドローン: DJIのMavicシリーズなどの一般向けドローンは、複数の方向を向いた両眼視センサーで障害物を検出します。
- 惑星探査車: NASAの探査車Perseveranceは、ステレオナビゲーションカメラの画像から車載で3D地形マップを作成し、火星上を自律走行します。










