3D Reconstruction
3D 重建通过照片、视频、深度相机或 LiDAR,将物体和场景还原为点云、网格或辐射场。
三维重建是利用照片、视频、深度相机帧或 LiDAR 扫描等测量数据,恢复物体或场景三维形状的过程。输出描述表面在空间中的位置,可采用采样表面点构成的点云、多边形网格、体素网格或辐射场等学习函数表示,通常还附带颜色或纹理。基于图像的重建也称为摄影测量,它是计算机视觉中摄影过程的逆过程:相机会把三维世界压缩为二维像素,而重建则利用同一表面的多个视角来逆转这种投影。
基于图像的重建如何运作#
经典流程首先会在每张图像中检测独特特征,例如 SIFT 关键点,并在重叠照片之间匹配这些特征,只保留符合极线几何的匹配。运动恢复结构随后会估计每台相机的位置和朝向,以及一组稀疏的三维点,并通过光束法平差对所有数据进行联合优化,使每个点在每张图像中的重投影误差最小化。多视图立体视觉利用已知相机计算每张图像的稠密深度图,再将这些深度图融合为一个点云;泊松网格化等表面重建方法会把这些点转换为封闭网格,并使用照片为网格添加纹理。Johannes Schönberger 及其同事开发的 COLMAP是这一流程中广泛使用的开源实现。深度相机和 LiDAR 会跳过匹配步骤,直接对齐重叠扫描,通常采用迭代最近点算法。
每个三维点都来自三角测量:给定两台经过标定的相机,该点在每台相机中的投影都最接近相机观测到它的位置。下面的示例对两台相距 0.3 m 的相机看到的墙面上的点进行三角测量,每次观测都加入半个像素的噪声:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]]) # camera intrinsics in pixels
# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])
for z in [2.0, 10.0]:
# 200 points on a wall z meters away, observed in both images with half-pixel noise
points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
X = np.vstack([points.T, np.ones(200)])
x1, x2 = P1 @ X, P2 @ X
x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))
# Triangulate: find the 3D point whose projections best match both observations
Xh = cv2.triangulatePoints(P1, P2, x1, x2)
error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")输出结果显示,墙面距离为 2 m 时,中位误差为 0.8 cm;距离为 10 m 时,中位误差为 18.4 cm。距离增加到五倍,误差约增加 23 倍,接近双视图几何所预测的二次增长规律。这就是摄影测量会从多个间隔较大的视角拍摄远处表面的原因。
重建假设场景是静止的,因此采集过程中移动的人和车辆会产生重影几何和不匹配特征。COLMAP 会跳过每张图像中掩码为黑色的区域进行特征提取;使用 Ultralytics YOLO26 实例分割模型生成的人物和汽车掩码,可以将这些移动物体排除在静态重建之外。
表示形式与学习式重建#
点云易于生成,但没有连通关系;网格可提供连续表面,适用于测量、游戏引擎和数字孪生;体素网格则将空间划分为单元。Richard Newcombe 及其同事在 2011 年展示的 KinectFusion 会将深度相机的实时帧融合为截断有符号距离体积;Open3D 等库至今仍实现这种体积融合方法。隐式神经表示将表面存储为一个把坐标映射为占用率或有符号距离的网络;神经辐射场和高斯泼溅则从各个方向对外观建模,用于新视角合成,但其几何结构不如网格容易直接测量。如今,前馈网络完全跳过了优化过程:VGGT由牛津大学视觉几何组和 Meta AI 开发,可在单次前向传播中预测一张到数百张图像的相机位姿、深度图和三维点,并荣获 CVPR 2025 最佳论文奖。
相关任务的输出各不相同。深度估计为单个视角预测每个像素的距离,得到一个不完整的表面。立体视觉根据两台同步相机进行重建。视觉 SLAM跟踪移动相机并实时构建地图,用完整性换取速度,以支持导航。三维目标检测会在物体周围生成边界框,而不是恢复其表面。










