Depth Estimation

深度估计是计算机视觉中的一个关键过程，用于确定物体与相机的距离，从而有效地为 2D 图像增加第三维度。通过计算图像中每个像素的距离，该技术创建了一个深度图，即像素强度对应于距离的表示。这一功能模仿了人类的双目视觉，使机器能够感知空间关系和几何形状。它是使自动驾驶系统安全导航、理解环境以及与物理物体交互的基石技术。

核心机制与技术#

实现深度估计的方法有多种，从基于硬件的解决方案到使用人工智能的纯软件驱动方法，应有尽有。

• 立体视觉系统： 与人眼类似，立体视觉使用两个并排放置的相机。算法分析左右图像之间的微小差异（即视差）来三角测量距离。这极大地依赖于准确的特征匹配来识别两个帧中的相同点。
• 单目深度估计： 这种先进的方法从单张图像中估计深度。由于单张 2D 照片缺乏固有的深度数据，深度学习模型会在庞大的数据集上进行训练，以识别诸如透视、物体大小和遮挡等视觉线索。现代架构（如卷积神经网络 (CNN)）非常擅长这项任务，使得从标准相机推导 3D 结构成为可能。
• 激光雷达和飞行时间 (ToF)： 主动传感器（如激光雷达 (LiDAR)和飞行时间相机）发射光脉冲并测量其返回的时间。这些方法生成高度准确的点云，通常用于收集训练机器学习模型的真实地面数据。

实际应用#

测量距离的能力在许多行业中具有变革意义，为需要空间意识的应用程序提供了动力。

• 自动驾驶： 自动驾驶汽车依靠深度估计来检测障碍物、测量与其他车辆的距离并安全导航复杂的道路网络。它是3D目标检测的重要组成部分，用于识别行人和骑行者。
• 机器人与自动化： 机器人将深度感知用于诸如路径规划和物体操作等任务。例如，仓库机器人需要确切知道货架有多远，才能在不与其碰撞的情况下拾取包裹。
• 增强现实 (AR)： 为了将虚拟对象令人信服地放置在真实场景中，AR设备必须理解环境的3D几何形状。深度估计确保了虚拟角色可以隐藏在真实家具后面，这一概念被称为遮挡处理。

代码示例：单目深度估计#

虽然存在专门的深度模型，但在简单场景中，你通常可以使用目标检测边界框作为距离的代理来推断空间关系（较大的框通常意味着较近的物体）。以下是如何使用 ultralytics 包加载模型来检测物体，这是许多深度感知流水线的第一步。

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Process results
for result in results:
    # Get bounding boxes (xyxy format)
    boxes = result.boxes.xyxy

    # Iterate through detections
    for box in boxes:
        print(f"Detected object at: {box}")

与其他计算机视觉概念的关系#

区分深度估计与相关术语非常重要。虽然目标检测可识别物体在 2D 空间中的内容和位置（使用边界框），但深度估计可识别其距离（Z 轴）。类似地，语义分割将像素分类到各个类别（例如道路、天空、汽车），而深度估计则为这些相同的像素分配距离值。

空间AI的进步#

生成式AI的最新进展正在缩小 2D 和 3D 视觉之间的差距。诸如神经辐射场 (NeRF)之类技术使用多个 2D 图像来重建复杂的 3D 场景，这高度依赖于底层的深度原理。此外，随着模型优化技术的改进，在边缘 AI 设备上运行高精度的深度估计正变得切实可行。在诸如Ultralytics 平台等平台的促进下，这使得在如无人机或智能眼镜这样的小型硬件上进行实时空间计算成为可能，这些平台可实现高效的模型训练和部署。