YOLOのライセンス
Ultralytics用語集に戻る

3D Reconstruction

3D再構成では、写真、動画、深度カメラ、LiDARから物体やシーンの形状を復元し、点群、メッシュ、放射場として表現します。

3D再構成とは、写真、動画、深度カメラのフレーム、LiDARスキャンなどの計測値から、物体やシーンの三次元形状を復元するプロセスです。出力は空間内の表面位置を記述するもので、サンプリングした表面点の点群、ポリゴンメッシュ、ボクセルグリッド、放射場のような学習済み関数などがあり、多くの場合、色やテクスチャも付与されます。画像ベース再構成は写真測量とも呼ばれ、写真撮影のコンピュータービジョンにおける逆問題です。カメラは3D世界を2Dピクセルに平坦化しますが、再構成では同じ表面を複数の視点から捉えた画像を使って、その投影を逆算します。

画像ベース再構成の仕組み#

従来のパイプラインでは、各画像からSIFTキーポイントなどの特徴的な点を検出し、重なり合う写真間で特徴点をマッチングして、エピポーラ幾何と整合するマッチだけを残します。次に、Structure from Motionで各カメラの位置と向き、および疎な3D点群を復元し、バンドル調整によってすべてを同時に最適化します。バンドル調整では、すべての画像における各点の再投影誤差を最小化します。マルチビューステレオでは、既知のカメラ情報から画像ごとに密な深度マップを計算し、それらを1つの点群に統合します。Poissonメッシュ化などの表面再構成手法で点群を穴のないメッシュに変換し、写真からテクスチャを付与します。Johannes Schönberger氏らが開発したCOLMAPは、このパイプラインの広く使われているオープンソース実装です。深度カメラやLiDARではマッチングの工程を省略し、通常は反復最近傍点アルゴリズムを使って、重なり合うスキャンを直接位置合わせします。

すべての3D点は三角測量から得られます。キャリブレーション済みの2台のカメラがある場合、各カメラが観測したピクセルへの投影が最もよく一致する点が求められます。この例では、0.3 m離れた2台のカメラで見た壁上の点を三角測量します。各観測には0.5ピクセルのノイズがあります。

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]])  # camera intrinsics in pixels

# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])

for z in [2.0, 10.0]:
    # 200 points on a wall z meters away, observed in both images with half-pixel noise
    points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
    X = np.vstack([points.T, np.ones(200)])
    x1, x2 = P1 @ X, P2 @ X
    x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))

    # Triangulate: find the 3D point whose projections best match both observations
    Xh = cv2.triangulatePoints(P1, P2, x1, x2)
    error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
    print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")

出力される誤差の中央値は、2 m先の壁で0.8 cm、10 m先で18.4 cmです。距離が5倍になると誤差は約23倍になります。これは2視点幾何で予測される二次的な増加に近く、写真測量で離れた表面を広い間隔の多数の視点から撮影する理由でもあります。

再構成ではシーンが静止していることを前提とするため、撮影中に人や車両が移動すると、ゴースト状の形状や不整合な特徴点が生じます。COLMAPは、画像ごとのマスクで黒くなっている領域では特徴抽出をスキップします。Ultralytics YOLO26のインスタンスセグメンテーションモデルで人や車をマスクすると、静的な再構成から移動物体を除外できます。

表現形式と学習型再構成#

点群は簡単に生成できますが、点同士の接続情報はありません。メッシュは計測、ゲームエンジン、デジタルツイン向けの連続した表面を表現し、ボクセルグリッドは空間をセルに分割します。Richard Newcombe氏らが2011年に発表したKinectFusionは、ライブの深度カメラフレームを切り詰め符号付き距離ボリュームにリアルタイムで統合しました。これはOpen3Dなどのライブラリにも実装されているボリューム融合手法です。暗黙的ニューラル表現では、座標を占有率または符号付き距離に変換するネットワークとして表面を保持します。ニューラル放射場やガウススプラッティングは、新規視点合成のためにあらゆる方向から見た外観をモデル化しますが、その形状はメッシュほど直接的に計測できません。フィードフォワードネットワークは、最適化を完全に省略できるようになりました。オックスフォード大学のVisual Geometry GroupとMeta AIによるVGGTは、1回の処理で1枚から数百枚の画像に対するカメラ姿勢、深度マップ、3D点群を予測し、CVPR 2025の最優秀論文賞を受賞しました。

関連タスクでは、出力内容が異なります。深度推定は1視点からピクセルごとの距離を予測し、部分的な表面を1つ生成します。ステレオビジョンは同期した2台のカメラから再構成します。Visual SLAMは移動カメラを追跡し、ナビゲーション用のマップをリアルタイムで作成しますが、速度を優先するため完全性は低下します。3D物体検出は、表面を復元するのではなく、物体を囲むボックスを配置します。

実際のアプリケーション#

  • 拡張現実:AppleのARKitは、LiDAR搭載のiPhoneやiPadで部屋のメッシュをリアルタイムに作成するため、仮想オブジェクトを床に置いたり、家具の背後に隠したりできます。
  • 製造検査:完成部品のスキャンをCADモデルと比較して偏差を測定し、同じスキャンを使って生産ラインのデジタルツインを最新の状態に保ちます。
  • ロボティクス:ロボットは搭載された深度カメラを使い、把持する物体や移動する空間を再構成します。
  • 文化遺産とマッピング:写真測量によって建物、発掘現場、都市全体をデジタル化します。2009年のBuilding Rome in a Dayプロジェクトでは、496個のプロセッサーコアを備えたクラスターを21時間稼働させ、Flickrの写真150,000枚からローマのランドマークを再構成しました。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう