YOLOのライセンス
Ultralytics用語集に戻る

Stereo Vision

ステレオビジョンでは、位置の異なる2台のカメラ間で各点を対応付け、視点間のずれを三角測量して深度を測定します。ロボット、自動車、探査車などで使われます。

ステレオビジョンは、既知の距離だけ離れたカメラで同じシーンを撮影した2枚の画像から深度を復元するコンピュータービジョン技術です。近くの物体上の点は左右の画像で明確に異なる位置に映り、遠くの点はほぼ同じ位置に映ります。視差と呼ばれるこの水平方向のずれから、三角測量によって直接距離を求められます。人間の両眼視も、約6 cm離れた目を使って同じように機能します。ステレオカメラリグは、ロボティクスシステム、自動車、ドローン、惑星探査車に、通常の受動カメラによる高密度な深度推定を提供します。

ステレオビジョンの仕組み#

ステレオシステムでは、まずカメラキャリブレーションが必要です。各カメラの焦点距離とレンズ歪みに加え、2台のカメラ間の回転と並進を求めます。次に、両方の画像をワープさせるレクティフィケーションを行い、エピポーラ幾何を最も単純な形にします。この形では、各点に対応する点がもう一方の画像の同じ行上にあります。これにより、両方の視点で同じシーン上の点を見つける対応付け問題は、行に沿った一次元探索になります。視差dを持つ対応ピクセルの場合、深度はZ = f × B / dで求められます。ここでfはピクセル単位の焦点距離、Bはカメラ間の距離であるベースラインです。

この例では、scikit-imageに同梱されたMiddlebury 2014ステレオベンチマークのレクティファイ済みペアに対して、OpenCVのsemi-global matcherを実行します。このベンチマークには、構造化光を使って測定されたサブピクセル精度の正解視差も含まれています:

import cv2
import numpy as np
from skimage import data

# Rectified Middlebury stereo pair with ground-truth disparity (focal length 995 px, baseline 0.193 m)
left, right, true_disp = data.stereo_motorcycle()
left, right = cv2.cvtColor(left, cv2.COLOR_RGB2GRAY), cv2.cvtColor(right, cv2.COLOR_RGB2GRAY)

# Semi-global matching searches each pixel's row in the other image; OpenCV returns 1/16-pixel units
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=80, blockSize=5, P1=200, P2=800, uniquenessRatio=10)
disp = sgbm.compute(left, right).astype(np.float32) / 16

# Score the pixels that have ground truth and a confident match
valid = np.isfinite(true_disp) & (disp > 0)
good = np.abs(disp - true_disp)[valid] < 1
print(f"Matched {valid.mean():.0%} of pixels, {good.mean():.1%} of them within 1 px of ground truth")

# Triangulate depth: Z = focal * baseline / (disparity + offset between the two principal points)
depth, true_depth = (994.978 * 0.193 / (d + 31.086) for d in (disp, true_disp))
print(f"Depth at the image center: {depth[250, 370]:.2f} m (ground truth {true_depth[250, 370]:.2f} m)")

Matched 79% of pixels, 91.0% of them within 1 px of ground truthと、画像中央で2.40 mの深度を出力します。これは正解値と一致します。対応点が見つからないピクセルの大半は、左端の幅80ピクセルの帯状領域にあります。80種類の視差を探索すると、右画像の境界を越えてしまうためです。

マッチングアルゴリズムと精度#

小さなピクセルウィンドウの比較は、ウィンドウにテクスチャがない場合、パターンが繰り返される場合、または物体の境界をまたぐ場合に失敗します。Heiko Hirschmüllerが2005年に発表し、OpenCVのStereoSGBMとして改変実装されたsemi-global matchingは、視差の急変に対する滑らかさのペナルティを追加し、画像内の複数の一次元経路に沿って集約します。これにより、テクスチャの乏しい領域を補完しながら物体の境界を鮮明に保てます。ディープラーニング手法は、手作りのコストを学習済みの特徴マップと候補視差のコストボリュームに置き換えます。RAFT-Stereoは、オプティカルフローネットワークの手法にならい、反復更新で視差フィールドを改善します。手法の比較には、Daniel ScharsteinとRichard Szeliskiが2002年に開始したMiddlebury stereo benchmarkや、LiDARの正解データを含む走行シーンのKITTIが使われます。

距離が離れるにつれて精度は急速に低下します。深度の式を微分すると、視差誤差1ピクセルあたりの深度誤差は約 Z² / (f × B) となるため、カメラが高い位置にある場合、1ピクセルの誤差は2.4 mで3 cm、10 mで52 cmに相当します。ベースラインを広げるか焦点距離を長くすると実用範囲は広がりますが、最小距離が長くなり、片方のカメラだけに映る領域も増えます。Intel RealSense D400シリーズなどのアクティブステレオカメラは、赤外線のドットパターンをシーンに投影し、対応付けに必要なテクスチャを無地の壁にも与えます。

ステレオビジョンと単眼深度推定、アクティブセンサーの比較#

単眼深度推定は、遠近感、物体サイズ、オクルージョンなどの学習済みの手掛かりを使って単一画像から深度を予測するため、スケールはトレーニングデータに由来します。一方、ステレオではベースラインから幾何学的にスケールを測定します。Ultralytics YOLO26の深度推定モデルは単眼方式を採用し、1枚のRGB画像からメートル単位の深度マップを予測します。model.calibrate()は、深度を測定した少数の画像を使い、特定のカメラに合わせてモデルのメートルスケールを調整します。LiDARと飛行時間カメラは、発光からの時間を計測して距離を能動的に測定します。多くの車両では、これらをステレオと組み合わせてセンサーフュージョンを行います。ステレオ深度は3D物体検出、3D再構築、ビジュアルSLAMにも利用され、時間情報を加えると、すべての点の3D運動を示すシーンフローになります。

実際のアプリケーション#

  • 運転支援: SubaruのEyeSightシステムは、ルームミラー付近に取り付けた2台のカメラで前方の車両や歩行者までの距離を測定し、アダプティブクルーズコントロールと自動緊急ブレーキに活用します。
  • ロボットピッキング: ロボットアームに搭載したステレオ深度カメラは、ビンやコンベヤー上の部品を特定し、グリッパーに必要な3D位置と向きを取得します。
  • ドローン: DJIのMavicシリーズなどの一般向けドローンは、複数の方向を向いた両眼視センサーで障害物を検出します。
  • 惑星探査車: NASAの探査車Perseveranceは、ステレオナビゲーションカメラの画像から車載で3D地形マップを作成し、火星上を自律走行します。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう