Depth Estimation

深度推定とは、画像の各ピクセルについて、そのピクセルに写る表面までのカメラからの距離を予測するコンピュータービジョンのタスクです。出力されるのは深度マップで、画像と同じサイズの距離グリッドを使って、平面写真に欠けている3次元情報を加えます。一般的なカメラの映像からシーンの3Dレイアウトを取得できるため、ロボット、車両、ARデバイスに活用できます。

深度を取得する方法#

• ステレオビジョン：既知の基線距離だけ離して設置した2台のキャリブレーション済みカメラで、各点をわずかに異なる水平位置から捉えます。このずれである視差から、焦点距離 × 基線長 ÷ 視差によって深度を求めます。そのため、視差の小さい遠方の物体ほど測定精度が下がり、白い壁のようなテクスチャのない面は2枚の画像間で対応付けるのが困難です。
• LiDARなどのアクティブセンサー：LiDARはレーザーパルスの往復時間を測定し、長距離では正確ながら疎な点群を出力します。飛行時間方式や構造化光方式のカメラは、主に屋内の近距離で密な深度を取得します。これらのセンサーは、学習モデルの教師データも生成します。
• 単眼深度推定：ニューラルネットワークが、遠近法、見慣れた物体の既知のサイズ、テクスチャ勾配、オクルージョンなどの手掛かりを使って、1枚の画像から深度を予測します。近くのミニカーと遠くの実車が同じ画像を生み出す場合があるため、この問題は不良設定です。そのため、モデルは一般的なシーンについて学習した知識に依存します。
• Visual SLAMなどのマルチビュー手法：Structure from MotionとVisual SLAMは、異なる位置から撮影したフレーム間の点を三角測量することで深度を復元します。

ディープラーニングによる単眼深度推定#

学習ベースの深度モデルには2種類あります。相対深度モデルは、未知のスケールとシフトを除いた表面の順序や形状を予測します。これは、背景ぼかしなどの効果や、どちらが近いかの順位付けには十分です。MiDaSは、3D映画を含む複数のデータセットを混ぜ、スケールとシフトに不変な損失で学習することで、非常に異なるシーンにも対応できる手法を実現しました。Depth Anything V2は、2,500万から13億のパラメーターを持つモデルを、合成ラベルと大量の疑似ラベル付き実画像で学習します。メートル単位の距離を予測するメトリック深度モデルは、ロボットや測定ツールに必要です。AppleのDepth Proは、カメラ内部パラメーターを使わず、標準的なGPUで0.3秒以内に225万画素のメトリック深度マップを生成します。

Ultralytics YOLO26の深度モデルは、1枚の画像からメトリック深度を予測します。出力範囲が約0.02～150メートルの対数深度ヘッドを備えているため、数メートルの奥行きの部屋から80メートル先までの運転シーンまで、同じモデルで対応できます。モデルの読み込み、推論、結果の保存は数行で行えます。

from ultralytics import YOLO

# Load a YOLO26 monocular depth model
model = YOLO("yolo26n-depth.pt")

# Predict a depth map for one image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-pixel depth in meters, at the original image's resolution
depth = result.depth.data
print(f"Nearest {depth.min():.1f} m, farthest {depth.max():.1f} m")

# Save a colorized depth map blended over the photo
result.save(filename="depth_result.jpg")

出力される範囲は、街路シーンでモデルが捉えた最も近い面と最も遠い面を示します。保存された画像では、予測した距離に応じて各ピクセルが色分けされます。

精度の測定#

深度モデルは、センサーの正解データとピクセル単位で比較して評価します。絶対相対誤差（AbsRel）は真の深度に対する誤差の割合を平均し、二乗平均平方根誤差（RMSE）は誤差をメートル単位で示します。δ₁は、予測値が正解値の1.25倍以内に収まるピクセルの割合です。標準的なベンチマークは、Kinectセンサーで撮影した屋内シーンのNYU Depth V2と、LiDARの正解データを持つ運転シーンのKITTIで、通常は80メートルまでを評価します。相対深度の予測値は評価前にスケールとシフトを正解データに合わせるため、指標が表すのは形状のみです。全ピクセルの平均では、予測深度が物体境界を越えてにじむ深度のにじみも見えにくくなります。そのためDepth Proでは、境界精度を評価する専用指標が導入されました。

深度推定と関連タスクの比較#

• 3D物体検出：多くの場合、深度を入力として、物体ごとに位置、サイズ、向きを持つ3Dボックスを予測します。
• セマンティックセグメンテーション：各ピクセルにクラスラベルを割り当てます。深度マップと組み合わせることで、ロボットは各表面が何であるかと、どれだけ離れているかの両方を把握できます。
• 3D再構成：通常は複数の視点から取得した深度を統合し、シーン全体のメッシュや点群を構築します。

実際のアプリケーション#

• 運転支援と自動運転：カメラベースの深度により、検出した車や歩行者までの距離を推定でき、LiDARと併用または代替できます。
• ロボティクス：把持やナビゲーションでは各表面までの距離が必要です。小型ロボットでは、単眼RGBカメラから深度を取得することで追加センサーを避けられます。
• 拡張現実：深度マップを使うと、仮想オブジェクトを実物の背後に正しく隠したり、実際の表面に配置したりできます。
• 写真撮影：スマートフォンのポートレートモードでは、デュアルカメラ、デュアルピクセルセンサー、または単眼モデルから得た深度を使って背景をぼかし、各ピクセルの推定距離に応じてぼかしの強さを設定します。