3D Reconstruction

了解3D重建如何将图像和深度数据转化为3D模型，并探索工作流、应用、挑战以及YOLO26深度估计。

3D 重建是从视觉或深度测量中创建物体或环境的数字三维表示的过程。在计算机视觉中，它将照片、视频帧、立体图像或激光雷达扫描等观察结果转换为描述表面在 3D 空间中位置的几何形状。其结果可能是一组稀疏的地标、稠密点云、多边形网格或可进行测量、渲染和分析的纹理模型。

3D 重建的工作原理#

一个典型的重建流水线结合了几何学、图像处理和机器学习：

捕获： 相机或深度传感器从一个或多个视点观察拍摄对象。多张图像应当相互重叠，以便相同的表面出现在多个帧中。
标定： 系统估计相机内参（如焦距和光学中心），并校正镜头畸变。官方的OpenCV 相机标定教程对这些参数进行了说明。
对应匹配： 在不同图像之间匹配独特的像素或学习到的特征。对应关系表示两个像素描绘的是同一个物理点。
相机位姿估计： 恢复每个相机的相对位置和方向。
深度恢复： 在已知相机几何形状的情况下，可以将匹配的观察结果三角测量为 3D 坐标。基于图像的工具通常使用运动恢复结构和多视点立体视觉工作流，而 RGB-D 系统则直接获取深度或对其进行估计。
配准与融合： 局部点云被转换到共享坐标系中。Open3D 点云配准演示了如何对齐重叠的扫描数据。
表面创建： 可以使用表面重建过程将点连接或拟合为三角网格，随后进行纹理映射和清理。(docs.opencv.org)

表示形式与相关概念#

点云存储各个 3D 点，通常带有颜色或置信度值。网格用边和三角形面连接顶点，从而产生连续的表面。体素网格将空间划分为小的 3D 单元，而隐式表示则在学习到的函数内部编码几何形状。

3D 重建与几个相关概念重叠，但其目标不同：

深度估计预测图像像素距离相机的距离。深度图通常是重建的输入，但单张深度图并不能自动提供隐藏表面的完整模型。
立体视觉通过具有已知间距的两个相机推断深度。重建可以使用立体深度，也可以使用多个相机、视频或主动传感器。
视觉 SLAM在构建地图的同时估计相机运动，通常用于实时导航。重建通常优先考虑所得几何形状的质量和完整性。
神经辐射场和高斯溅射表示用于真实感渲染和新视点的场景。它们的输出不一定是显式的、可供测量使用的网格。
3D 目标检测在 3D 空间中定位和分类物体，而不是重新创建所有可见表面。

实际应用#

机器人检测与制造： 机器人可以从 RGB-D 图像重建组件，将其几何形状与预期设计进行比较，并识别凹痕、缺料或装配不当。生成的模型还可以更新制造数字孪生，支持测量、仿真、维护计划和质量控制。
增强现实与室内测绘： 移动设备可以重建墙壁、地板、家具和其他表面，以便虚拟内容与物理房间正确交互。例如，ARKit 场景重建创建支持真实遮挡、碰撞和物体放置的多边形网格。然后，可以交付诸如标准化glTF 3D 资产格式等格式的模型。(nist.gov)

使用 Ultralytics YOLO 进行深度估计#

Ultralytics YOLO26 深度估计可以从单张 RGB 图像提供稠密的度量深度图。在没有专用深度传感器的情况下，这是用于 RGB-D 测绘、障碍物几何形状和点云生成的有用组件。

from ultralytics import YOLO

# Load a pretrained monocular depth model.
model = YOLO("yolo26n-depth.pt")

# Estimate per-pixel depth from one RGB image.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Save the depth visualization.
result.save(filename="depth_result.jpg")

此工作流生成与图像对齐的深度；它不会独立重建完整的 3D 场景。完整的流水线还需要已标定的相机参数，对于多帧还需要可靠的相机位姿。Open3D RGB-D 图像工作流展示了如何利用对齐的颜色、深度和相机内参生成点云。开发自定义视觉组件的团队可以使用 Ultralytics Platform 来标注数据集、训练模型、部署模型并监控生产推理。