获取 YOLO 许可
返回 Ultralytics 术语表

3D Reconstruction

3D 重建通过照片、视频、深度相机或 LiDAR,将物体和场景还原为点云、网格或辐射场。

三维重建是利用照片、视频、深度相机帧或 LiDAR 扫描等测量数据,恢复物体或场景三维形状的过程。输出描述表面在空间中的位置,可采用采样表面点构成的点云、多边形网格、体素网格或辐射场等学习函数表示,通常还附带颜色或纹理。基于图像的重建也称为摄影测量,它是计算机视觉中摄影过程的逆过程:相机会把三维世界压缩为二维像素,而重建则利用同一表面的多个视角来逆转这种投影。

基于图像的重建如何运作#

经典流程首先会在每张图像中检测独特特征,例如 SIFT 关键点,并在重叠照片之间匹配这些特征,只保留符合极线几何的匹配。运动恢复结构随后会估计每台相机的位置和朝向,以及一组稀疏的三维点,并通过光束法平差对所有数据进行联合优化,使每个点在每张图像中的重投影误差最小化。多视图立体视觉利用已知相机计算每张图像的稠密深度图,再将这些深度图融合为一个点云;泊松网格化等表面重建方法会把这些点转换为封闭网格,并使用照片为网格添加纹理。Johannes Schönberger 及其同事开发的 COLMAP是这一流程中广泛使用的开源实现。深度相机和 LiDAR 会跳过匹配步骤,直接对齐重叠扫描,通常采用迭代最近点算法。

每个三维点都来自三角测量:给定两台经过标定的相机,该点在每台相机中的投影都最接近相机观测到它的位置。下面的示例对两台相距 0.3 m 的相机看到的墙面上的点进行三角测量,每次观测都加入半个像素的噪声:

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]])  # camera intrinsics in pixels

# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])

for z in [2.0, 10.0]:
    # 200 points on a wall z meters away, observed in both images with half-pixel noise
    points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
    X = np.vstack([points.T, np.ones(200)])
    x1, x2 = P1 @ X, P2 @ X
    x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))

    # Triangulate: find the 3D point whose projections best match both observations
    Xh = cv2.triangulatePoints(P1, P2, x1, x2)
    error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
    print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")

输出结果显示,墙面距离为 2 m 时,中位误差为 0.8 cm;距离为 10 m 时,中位误差为 18.4 cm。距离增加到五倍,误差约增加 23 倍,接近双视图几何所预测的二次增长规律。这就是摄影测量会从多个间隔较大的视角拍摄远处表面的原因。

重建假设场景是静止的,因此采集过程中移动的人和车辆会产生重影几何和不匹配特征。COLMAP 会跳过每张图像中掩码为黑色的区域进行特征提取;使用 Ultralytics YOLO26 实例分割模型生成的人物和汽车掩码,可以将这些移动物体排除在静态重建之外。

表示形式与学习式重建#

点云易于生成,但没有连通关系;网格可提供连续表面,适用于测量、游戏引擎和数字孪生;体素网格则将空间划分为单元。Richard Newcombe 及其同事在 2011 年展示的 KinectFusion 会将深度相机的实时帧融合为截断有符号距离体积;Open3D 等库至今仍实现这种体积融合方法。隐式神经表示将表面存储为一个把坐标映射为占用率或有符号距离的网络;神经辐射场和高斯泼溅则从各个方向对外观建模,用于新视角合成,但其几何结构不如网格容易直接测量。如今,前馈网络完全跳过了优化过程:VGGT由牛津大学视觉几何组和 Meta AI 开发,可在单次前向传播中预测一张到数百张图像的相机位姿、深度图和三维点,并荣获 CVPR 2025 最佳论文奖。

相关任务的输出各不相同。深度估计为单个视角预测每个像素的距离,得到一个不完整的表面。立体视觉根据两台同步相机进行重建。视觉 SLAM跟踪移动相机并实时构建地图,用完整性换取速度,以支持导航。三维目标检测会在物体周围生成边界框,而不是恢复其表面。

实际应用#

  • 增强现实:Apple 的 ARKit 会在配备 LiDAR 的 iPhone 和 iPad 上实时构建房间网格,让虚拟物体能够置于地面上,并被家具遮挡。
  • 制造业检测:将成品零件扫描结果与 CAD 模型进行比较以测量偏差;同一批扫描数据也可用于更新生产线的数字孪生。
  • 机器人技术:机器人利用机载深度相机重建需要抓取的物体以及需要通行的空间。
  • 文化遗产与测绘:摄影测量可将建筑、考古发掘现场乃至整座城市数字化。2009 年的 Building Rome in a Day 项目使用一个由 496 个处理器核心组成的集群,在 21 小时内根据 150,000 张 Flickr 照片重建了罗马的地标建筑。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来