Stereo Vision

ステレオビジョンは、ステレオスコピックビジョンとも呼ばれ、デジタル画像から3Dの深度情報を抽出するために使用されるcomputer visionの技術です。人間のbinocular visionを模倣して、わずかに異なる角度から撮影された同一シーンの2つ以上の2D画像を比較することで、AIシステムは対象物までの距離を正確に計算できます。この機能はspatial intelligenceの基礎であり、機械が周囲の環境をナビゲートし、物理的なオブジェクトと安全に相互作用することを可能にします。

ステレオビジョンの仕組み#

このプロセスは、左右のカメラ映像の違いを見つけることに依存しています。ここでの核心的な課題はcorrespondence problemであり、両方の画像内で全く同じピクセルや特徴を特定することが含まれます。一致するポイントが見つかると、システムは水平方向のズレを計算し、視差マップを作成します。

disparity mapでは、大きなズレは近いオブジェクトを示し、小さなズレはオブジェクトがより遠くにあることを意味します。次に、三角測量を使用してこのマップが高密度な3D点群に変換されます。従来は数学的アルゴリズムがこれらの計算を駆動してきましたが、最近のアプローチでは、複雑な照明やテクスチャのない領域での特徴マッチングの精度を向上させるために、convolutional neural networks (CNNs)やdeep learningに依存することが増えており、最近のIEEE computer vision researchに詳述されています。

ステレオビジョンと単眼深度推定の比較#

ステレオビジョンを、1台のカメラのみを使用するdepth estimation技術と区別することが重要です。単眼深度推定は、遠近法や陰影などの視覚的手がかりに基づいて、単一の2D画像から3D構造を予測するためにディープラーニングモデルを使用します。対照的に、ステレオシステムは2つのカメラレンズ間の幾何学的関係を使用して直接深度を測定します。単眼手法は計算負荷が軽めですが、ステレオビジョンは通常、重要な安全システムに不可欠な、より正確でリアルタイムな深度測定を提供します。

実世界のAIアプリケーション#

ステレオシステムは、現実世界の3D object detectionと空間認識を必要とするさまざまな業界で不可欠です。

• Autonomous Driving Navigation: Waymoなどの企業によって開発された自動運転技術は、ステレオカメラを使用して歩行者、他の車両、障害物までの距離をリアルタイムで正確に測定し、この正確な深度データをpredictive modelingシステムに入力して安全な経路を計画します。
• Industrial Robotics Automation: 製造ロボットは、複雑なビンピッキング（部品のランダムピッキング）作業にステレオビジョンを使用します。コンベアベルト上に散らばった部品の正確な深度と向きを計算することにより、ロボットシステムはグリッパーを完璧に位置合わせし、smart manufacturing pipelinesでの効率を向上させることができます。
• Advanced Medical Imaging: 手術用ロボットや診断システムは、低侵襲手術中に外科医に患者の解剖学的構造の非常に正確な3Dビューを提供するために立体視カメラを利用しています。この傾向は、recent arXiv preprints on medical AIで頻繁に取り上げられています。

AIとステレオデータの統合#

開発者は、何が（what）どこにあるのか（how far）の両方を見つけるために、オブジェクト検出と組み合わせてステレオビジョンを使用することがよくあります。OpenCV frameworkは視差マップの生成に一般的に使用され、多くの場合、広範なPyTorchやTensorFlowパイプライン内に統合され、AIモデルが認識を処理します。以下は、Ultralytics YOLO26を使用してオブジェクトを検出し、そのバウンディングボックスを取得するための概念的な例であり、関連するOpenCVの視差マップから平均距離値を抽出するために使用できます。

import cv2
from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for high-speed edge inference
model = YOLO("yolo26n.pt")

# Read the left camera frame (typically used as the primary frame for detection)
left_frame = cv2.imread("left_camera_frame.jpg")

# Run inference to detect objects in the scene
results = model(left_frame)

# Extract bounding boxes to later combine with a stereo disparity map
for result in results:
    for box in result.boxes.xyxy:
        x1, y1, x2, y2 = map(int, box[:4])
        print(f"Detected object bounding box: [{x1}, {y1}, {x2}, {y2}]")
        # Depth values can now be extracted from the disparity map within this specific region

進歩と将来のトレンド#

高度な認識モデルのトレーニングとデプロイは非常に効率的になりました。Ultralytics Platformのようなツールを使用することで、チームはステレオペアに安全にアノテーションを付け、頑健なモデルをトレーニングし、edge AI devicesでの低レイテンシ推論のためにTensorRTなどの最適化されたフォーマットにエクスポートできます。

Stanford Vision and Learning Labなどの組織からの最近の進歩は、対応問題（correspondence problem）をより速く解決するために、ステレオビジョンをVision Transformers (ViT)やGoogle DeepMindの基盤モデルと統合する傾向が高まっていることを示しています。さらに、AnthropicやOpenAIなどのリーダーによるマルチモーダルAIモデルが進化するにつれて、堅牢な3D空間データの統合は、具現化されたAIエージェントが認識し理解できることの境界を押し広げ続けます。