Spatial Intelligence
空间智能让 AI 利用深度、几何信息和运动来感知、推理并在 3D 空间中行动。了解它如何拓展计算机视觉和 VLM。
AI 中的空间智能是指系统感知世界三维结构、推理事物的位置及相互关系，并运用这种理解来行动、回答问题或生成新场景的能力。具备空间智能的模型知道杯子放在桌上且触手可及，知道走廊在拐角后仍然延伸，也知道从另一个视角看场景会是什么样。这个术语源于心理学：空间智能是 Howard Gardner 的多元智能理论（1983）所列能力之一。在 AI 领域，Fei-Fei Li 推广了这一概念；她在 2025 年发表的文章《从文字走向世界》中将其称为语言之后的下一个前沿领域。空间智能也是机器人、增强现实和自动驾驶的基础。
空间智能的构成要素#
空间理解结合了多种能力：
- 深度与 3D 几何：深度估计、立体视觉和3D 目标检测可以从图像中还原距离和物体范围。Meta 与牛津大学的 VGGT 等前馈重建模型是 CVPR 2025 最佳论文成果，能在数秒内从 1 到数百张图像中预测相机姿态、深度图和 3D 点图。
- 定位与建图：视觉 SLAM在构建周围环境地图的同时跟踪移动的相机。
- 方向与关节活动：姿态估计可还原人和物体的姿态，定向边界框则能表示俯视图（例如航拍图像）中物体的旋转方向。
- 3D 表示：点云、网格、神经辐射场和高斯泼溅用于存储重建场景，以便进行渲染、仿真和规划。
- 空间推理：例如上方、后方和更近等关系，以及距离、大小和路线；这些信息可以用语言表达，也可以直接用于决策。
不同任务会以不同方式利用同一个场景模型：
从 2D 检测到 3D 位置#
检测器会报告物体在图像中的位置；添加深度后，系统便能知道物体有多远。Ultralytics YOLO26 包含单目深度估计任务，其模型会预测以米为单位的逐像素深度图。因此，将 YOLO26检测器与 YOLO26 深度模型配合使用，就能确定每个检测到的物体与相机之间的距离：
from ultralytics import YOLO
detector = YOLO("yolo26n.pt")
depth_model = YOLO("yolo26n-depth.pt")
image = "https://ultralytics.com/images/bus.jpg"
boxes = detector(image)[0].boxes
depth = depth_model(image)[0].depth.data # per-pixel depth in meters, shape (H, W)
# Read the depth at each box center to place the objects in 3D
for cls, (x, y, w, h) in zip(boxes.cls.tolist(), boxes.xywh.tolist()):
print(f"{detector.names[int(cls)]}: {depth[int(y), int(x)]:.1f} m")借助相机内参，每个框的中心坐标和深度都可以转换为以米为单位的 x、y、z 坐标，这正是抓取规划器或空间问答系统所需的 3D 布局。
空间智能与相关术语的区别#
- 计算机视觉：从图像中提取信息的更广泛领域。许多计算机视觉任务在 2D 图像平面中运行，例如对图像分类和框出物体；空间智能则以此为基础，增加了具有度量尺度的 3D 结构和关系。
- 空间计算：一种人机交互范式，数字内容被放置在物理空间中并对其做出响应，例如混合现实头显。这是一种依赖空间智能的应用。
- 具身 AI：通过物理或模拟身体感知并采取行动的智能体。空间智能是这类智能体所需的能力之一。
- 世界模型：用于预测环境将如何变化的模型。具备空间基础的世界模型可以生成或模拟一致的 3D 场景。
多模态模型中的空间推理#
视觉语言模型可以流畅地描述图像，但在空间推理方面表现落后。VSI-Bench是一项基准测试，包含超过 5,000 个关于室内场景视频的问题。该测试于 2024 年发现，多模态 LLM展现出有竞争力但不及人类的视觉空间智能，空间推理是主要瓶颈；在回答前提示模型绘制房间的明确认知地图，可以改善模型对距离的判断。 Ultralytics VLM Leaderboard衡量一项范围更窄的空间技能：视觉语言模型在真实世界图像中为对象准确绘制边界框的能力。生成式模型正从另一个方向解决这个问题。由 Fei-Fei Li 联合创立的 World Labs 于 2025 年 11 月发布了 Marble，这是一种世界模型，可将文本、图像或视频转换为持久、可导航的 3D 环境，并导出为高斯泼溅或网格。
