3D Reconstruction

3D再構成とは、視覚情報や深度計測から、物体や環境のデジタルな3次元表現を作成するプロセスです。コンピュータビジョンでは、写真、ビデオフレーム、ステレオ画像、LiDARスキャンなどの観測データを、3D空間内の表面の位置を表すジオメトリに変換します。結果は、まばらなランドマーク群、密な点群、ポリゴンメッシュ、または計測、レンダリング、分析が可能なテクスチャ付きモデルになります。

3D再構成の仕組み#

一般的な再構成パイプラインでは、ジオメトリ、画像処理、機械学習を組み合わせます。

1. 撮影：カメラや深度センサーで、1つ以上の視点から対象を観測します。同じ表面が複数のフレームに現れるよう、複数の画像を重ねて撮影する必要があります。
2. キャリブレーション：システムは、焦点距離や光学中心などのカメラ内部パラメーターを推定し、レンズの歪みを補正します。公式のOpenCVカメラキャリブレーションチュートリアルでは、これらのパラメーターについて説明しています。
3. 対応付け：特徴的なピクセルや学習済み特徴を、画像間で照合します。対応関係は、2つのピクセルが同じ物理点を表していることを示します。
4. カメラ姿勢の推定：各カメラの相対位置と向きを復元します。
5. 深度の復元：カメラのジオメトリが既知であれば、対応する観測を三角測量して3D座標に変換できます。画像ベースのツールでは、一般にStructure-from-Motionおよびマルチビューステレオのワークフローを使用します。一方、RGB-Dシステムでは、深度を直接取得するか推定します。
6. 位置合わせと統合：部分的な点群を共通の座標系に変換します。Open3Dの点群位置合わせでは、重なり合うスキャンを位置合わせする方法を示しています。
7. 表面の作成：点を接続するか、表面再構成プロセスを使用して三角形メッシュに当てはめた後、テクスチャマッピングとクリーンアップを行います。(docs.opencv.org)

表現形式と関連概念#

点群は、色や信頼度の値を伴うことが多い、個々の3D点を格納します。メッシュは、頂点を辺と三角形の面でつないで連続した表面を作ります。ボクセルグリッドは空間を小さな3Dセルに分割し、暗黙的表現は学習済み関数の内部にジオメトリを符号化します。

3D再構成は複数の関連概念と重なりますが、目的は異なります。

• 深度推定は、画像ピクセルごとにカメラからの距離を予測します。深度マップは再構成への入力としてよく使われますが、深度マップ1枚だけでは、隠れた表面を含む完全なモデルが自動的に得られるわけではありません。
• ステレオビジョンは、既知の間隔で設置された2台のカメラから深度を推定します。再構成にはステレオ深度を使用できますが、多数のカメラ、ビデオ、またはアクティブセンサーを使用することもあります。
• Visual SLAMは、通常はリアルタイムナビゲーションのために、マップを構築しながらカメラの動きを推定します。再構成では一般に、得られるジオメトリの品質と完全性を優先します。
• ニューラルラディアンスフィールドとガウシアンスプラッティングは、フォトリアリスティックなレンダリングや新しい視点からの表示に向けてシーンを表現します。これらの出力が、明示的で計測可能なメッシュであるとは限りません。
• 3D物体検出は、目に見えるすべての表面を再現するのではなく、3D空間内の物体の位置とクラスを特定します。

実際のアプリケーション#

• ロボット検査と製造：ロボットはRGB-D画像から部品を再構成し、そのジオメトリを設計上の想定と比較して、へこみ、材料の欠落、誤った組み立てを特定できます。生成されたモデルは、製造デジタルツインを更新することもでき、計測、シミュレーション、保守計画、品質管理を支援します。

• 拡張現実と屋内マッピング：モバイルデバイスは、壁、床、家具などの表面を再構成し、仮想コンテンツが物理的な室内環境と正しく相互作用できるようにします。たとえば、ARKitのシーン再構成はポリゴンメッシュを作成し、現実的なオクルージョン、衝突、物体配置を実現します。その後、モデルを標準化されたglTF 3Dアセット形式などの形式で配布できます。(nist.gov)

Ultralytics YOLOによる深度推定#

Ultralytics YOLO26の深度推定では、1枚のRGB画像から密なメートル単位の深度マップを生成できます。専用の深度センサーが利用できない場合、RGB-Dマッピング、障害物のジオメトリ、点群の生成に役立つコンポーネントです。

from ultralytics import YOLO

# 事前トレーニング済みの単眼深度モデルを読み込みます。
model = YOLO("yolo26n-depth.pt")

# 1枚のRGB画像からピクセルごとの深度を推定します。
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# 深度の可視化結果を保存します。
result.save(filename="depth_result.jpg")

このワークフローでは、画像に位置合わせされた深度が生成されますが、完全な3Dシーンを単独で再構成するものではありません。完全なパイプラインには、キャリブレーション済みのカメラパラメーターが必要であり、複数のフレームを扱う場合は、信頼できるカメラ姿勢も必要です。Open3DのRGB-D画像ワークフローでは、位置合わせされたカラー、深度、カメラ内部パラメーターから点群を生成する方法を示しています。カスタムのビジョンコンポーネントを開発するチームは、Ultralytics Platformを使用して、データセットのアノテーション、モデルのトレーニングとデプロイ、本番環境での推論の監視を行えます。

実践上の課題とガイダンス#

再構成の品質は、撮影条件に大きく左右されます。視点間で十分に重なりが生じるように撮影し、カメラをその場で回転させるだけでなく対象の周囲を移動し、照明をある程度一定に保ってください。テクスチャのない壁、透明または反射する物体、モーションブラー、オクルージョン、照明の変化は、特徴の対応付けを妨げたり、表面の欠損や重複を生じさせたりする可能性があります。

キャリブレーションの誤差はスケールや形状を歪め、不正確なカメラ姿勢はスキャン間のずれを引き起こします。単眼入力には、スケールの曖昧さや隠れた表面に関する曖昧さも本質的にあります。学習済みの前提がなければ、1枚の画像から物体の背面を知ることはできません。見た目だけで判断するのではなく、既知の寸法、再投影誤差、スキャンの重なり、アプリケーション固有の許容誤差を使用して再構成を検証してください。