3D Reconstruction

3D再構築とは、視覚測定や深度測定からオブジェクトや環境のデジタルな3次元表現を作成するプロセスです。コンピュータビジョンでは、写真、ビデオフレーム、ステレオ画像、LiDARスキャンなどの観測データを、3D空間内のサーフェスの位置を記述するジオメトリに変換します。その結果得られるのは、スパースなランドマークのセット、デンスなポイントクラウド、ポリゴンメッシュ、または測定、レンダリング、分析が可能なテクスチャ付きモデルです。

3D再構築の仕組み#

一般的な再構築パイプラインは、ジオメトリ、画像処理、機械学習を組み合わせたものです。

1. キャプチャ: カメラまたは深度センサーが1つ以上の視点から被写体を観測します。同じサーフェスが複数のフレームに映るように、複数の画像がオーバーラップしている必要があります。
2. キャリブレーション: システムは、焦点距離や光学中心などのカメラの内部パラメータを推定し、レンズの歪みを補正します。公式のOpenCVカメラキャリブレーションチュートリアルでこれらのパラメータについて説明されています。
3. 対応付け: 画像間で特徴的なピクセルまたは学習された特徴がマッチングされます。対応付けは、2つのピクセルが同じ物理的ポイントを表していることを示します。
4. カメラ姿勢推定: 各カメラの相対的な位置と向きが復元されます。
5. 深度復元: カメラジオメトリが既知である場合、マッチングされた観測データを3D座標に三角測量できます。画像ベースのツールでは一般的にストラクチャ・フロム・モーションおよびマルチビュー・ステレオのワークフローが使用されますが、RGB-Dシステムでは深度を直接取得するか、推定します。
6. レジストレーションと統合: 部分的なポイントクラウドが共有座標系に変換されます。Open3Dポイントクラウドレジストレーションは、オーバーラップするスキャンをどのように整列できるかを示しています。
7. サーフェス再構築プロセスを使用してポイントを接続または三角形メッシュにフィッティングし、その後にテクスチャマッピングとクリーンアップを行うことができます。(docs.opencv.org)

表現と関連概念#

ポイントクラウドは、多くの場合色や信頼度値を持つ個々の3Dポイントを格納します。メッシュは、頂点をエッジや三角形の面で接続し、連続的なサーフェスを生成します。ボクセルグリッドは空間を小さな3Dセルに分割し、暗黙的表現は学習された関数内にジオメトリをエンコードします。

3D再構築はいくつかの関連概念と重なっていますが、目的が異なります。

• 深度推定は、画像ピクセルに対してカメラからの距離を予測します。深度マップは多くの場合再構築の入力となりますが、1つのマップだけでは隠されたサーフェスの完全なモデルが自動的に提供されるわけではありません。
• ステレオビジョンは、既知の間隔を持つ2台のカメラから深度を推論します。再構築ではステレオ深度を使用できますが、多数のカメラ、ビデオ、またはアクティブセンサーを使用する場合もあります。
• ビジュアルSLAMは、通常リアルタイムナビゲーションのためにマップを構築しながらカメラの動きを推定します。再構築は一般的に、結果として得られるジオメトリの品質と完全性を優先します。
• ニューラル・ラディアンス・フィールドやガウス・スプラッティングは、フォトリアルなレンダリングや新しい視点のためにシーンを表現します。その出力は、必ずしも明示的で測定可能なメッシュであるとは限りません。
• 3D物体検出は、すべての可視サーフェスを再作成するのではなく、3D空間内のオブジェクトの位置を特定して分類します。

実社会での応用#

• ロボットによる検査と製造: ロボットはRGB-D画像からコンポーネントを再構築し、そのジオメトリを期待される設計と比較して、へこみ、材料の欠損、または不正確な組み立てを特定できます。結果として得られるモデルは、製造業のデジタルツインを更新するためにも使用でき、測定、シミュレーション、保守計画、品質管理をサポートします。

• 拡張現実と屋内マッピング: モバイルデバイスは、仮想コンテンツが物理的ルームと正しく対話するように、壁、床、家具、その他のサーフェスを再構築できます。たとえば、ARKitシーン再構築は、現実的なオクルージョン、衝突、オブジェクト配置をサポートするポリゴンメッシュを作成します。その後、モデルを標準化されたglTF 3Dアセットフォーマットなどのフォーマットで配信できます。(nist.gov)

Ultralytics YOLOによる深度推定#

Ultralytics YOLO26深度推定を使用すると、1枚のRGB画像からデンスなメトリック深度マップを取得できます。これは、専用の深度センサーが利用できない場合に、RGB-Dマッピング、障害物ジオメトリ、およびポイントクラウド生成のための有用なコンポーネントとなります。

from ultralytics import YOLO

# Load a pretrained monocular depth model.
model = YOLO("yolo26n-depth.pt")

# Estimate per-pixel depth from one RGB image.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Save the depth visualization.
result.save(filename="depth_result.jpg")

このワークフローにより、画像と整列した深度が生成されますが、完全な3Dシーンが独立して再構築されるわけではありません。完全なパイプラインには、較正されたカメラパラメータも必要であり、複数のフレームの場合は信頼性の高いカメラ姿勢も必要です。Open3D RGB-D画像ワークフローは、整列されたカラー、深度、カメラ内部パラメータを使用してポイントクラウドを生成する方法を示しています。カスタムビジョンコンポーネントを開発するチームは、Ultralytics Platformを使用してデータセットのアノテーション、モデルのトレーニング、デプロイ、および本番環境の推論の監視を行うことができます。

実践的な課題とガイダンス#

再構築の品質は、キャプチャ条件に大きく依存します。オーバーラップの多いビューを使用し、カメラを回転させるだけでなく被写体の周囲を移動し、照明をreasonably（適切に）一貫させます。テクスチャのない壁、透明または反射性のオブジェクト、モーションブラー、オクルージョン、および変化する照明により、特徴のマッチングが失敗したり、穴や重複したサーフェスが発生したりする可能性があります。

キャリブレーションエラーはスケールと形状を歪め、不正確なカメラ姿勢はスキャンのドリフトを引き起こします。単眼入力にも、固有のスケールと隠れたサーフェスのあいまいさがあります。1枚の画像では、学習された仮定なしにオブジェクトの背面を明らかにすることはできません。見た目だけで判断するのではなく、既知の寸法、再投影誤差、スキャンのオーバーラップ、およびアプリケーション固有の公差を使用して再構築を検証します。