Spatial Intelligence

AIにおける空間知能とは、世界の3次元構造を認識し、物体の位置や相互関係について推論し、その理解を行動、質問への回答、新しいシーンの生成に利用するシステムの能力です。空間知能を備えたモデルは、カップがテーブルの上にあり手の届く範囲にあること、廊下が角を曲がって続いていること、別の視点から見たシーンの様子を把握できます。この用語は心理学に由来し、空間知能はHoward Gardnerの多重知能理論 (1983)で挙げられた能力の1つです。AIの分野では、Fei-Fei Liが2025年の論考From Words to Worldsで言語に続く次のフロンティアとして取り上げたことで広まり、ロボティクス、拡張現実、自動運転を支える基盤となっています。

空間知能の構成要素#

空間理解は、いくつかの能力を組み合わせたものです。

• 深度と3Dジオメトリ： 深度推定、ステレオビジョン、3D物体検出によって、画像から距離や物体の広がりを推定します。MetaとOxfordのVGGTのようなフィードフォワード型再構成モデルは、CVPR 2025の最優秀論文であり、1枚から数百枚の画像を入力として、カメラ姿勢、深度マップ、3Dポイントマップを数秒で予測します。
• 位置推定とマッピング： ビジュアルSLAMは、周囲のマップを作成しながら移動するカメラを追跡します。
• 向きと関節構造：姿勢推定は人や物体の姿勢を復元し、回転バウンディングボックスは、航空画像のように上方から見た物体の回転を捉えます。
• 3D表現： 点群、メッシュ、ニューラル放射場、ガウシアンスプラッティングは、レンダリング、シミュレーション、計画に使う再構成シーンを格納します。
• 空間推論： 上、後ろ、より近いといった関係や、距離、サイズ、経路を、言語で表現したり、判断に直接利用したりします。

タスクによって、同じシーンモデルの異なる側面が活用されます。

2D検出から3D位置へ#

検出器は画像内で物体がどこに現れるかを示し、深度を加えることでシステムは物体までの距離を把握できます。Ultralytics YOLO26には単眼深度推定タスクが含まれており、モデルはピクセルごとの深度マップをメートル単位で予測します。そのため、YOLO26検出器とYOLO26深度モデルを組み合わせると、検出したすべての物体をカメラからの距離で位置付けられます。

from ultralytics import YOLO

detector = YOLO("yolo26n.pt")
depth_model = YOLO("yolo26n-depth.pt")
image = "https://ultralytics.com/images/bus.jpg"

boxes = detector(image)[0].boxes
depth = depth_model(image)[0].depth.data  # per-pixel depth in meters, shape (H, W)

# Read the depth at each box center to place the objects in 3D
for cls, (x, y, w, h) in zip(boxes.cls.tolist(), boxes.xywh.tolist()):
    print(f"{detector.names[int(cls)]}: {depth[int(y), int(x)]:.1f} m")

カメラの内部パラメーターを使うと、各ボックスの中心とその深度をメートル単位のx、y、z座標に変換できます。これは、把持プランナーや空間に関する質問応答システムが必要とする種類の3Dレイアウトです。

空間知能と関連用語の比較#

• コンピュータービジョン： 画像から情報を抽出する、より広範な分野です。多くの処理は2D画像平面で行われ、画像分類や物体のボックス化などを扱います。空間知能はこれを基盤として、メートル単位の3D構造と関係性を加えます。
• 空間コンピューティング： 複合現実ヘッドセットのように、デジタルコンテンツを物理空間に配置し、その空間に応じて反応させる人間とコンピューターのインタラクションのパラダイムです。空間知能に依存する応用分野です。
• 身体性AI： 物理的またはシミュレーション上の身体を通じて知覚し、行動するエージェントです。空間知能は、そのようなエージェントに必要な能力の1つです。
• 世界モデル： 環境がどのように変化するかを予測するモデルです。空間に基づいた世界モデルは、一貫性のある3Dシーンを生成またはシミュレーションします。

マルチモーダルモデルにおける空間推論#

視覚言語モデルは画像を流暢に説明できますが、空間推論では遅れをとってきました。屋内シーンの動画に関する5,000問以上を含むベンチマークVSI-Benchは、2024年にマルチモーダルLLMが競争力はあるものの、人間には及ばない視空間知能を示し、空間推論が主なボトルネックであることを明らかにしました。回答前に部屋の認知マップを明示的に描くようモデルにプロンプトで指示すると、距離の判断が改善しました。Ultralytics VLM Leaderboardは、実世界の画像で視覚言語モデルがどれほど正確に物体の周囲にボックスを配置するかという、より限定的な空間スキルを測定します。生成モデルは別の方向からこの問題に取り組んでいます。Fei-Fei Liが共同創業したWorld Labsは2025年11月にMarbleをリリースしました。これはテキスト、画像、動画から、Gaussian splatまたはメッシュとしてエクスポート可能な、持続性とナビゲーション性を備えた3D環境を生成するワールドモデルです。