深圳Yolo 视觉
深圳
立即加入
词汇表

3D 物体检测

探索3D物体检测技术,掌握人工智能的空间感知能力。了解Ultralytics 如何实现真实世界的深度、方向及3D边界框估计。

三维物体检测是一项复杂的计算机视觉任务,它使机器能够在三维空间中识别、定位并确定物体的尺寸。与传统的二维物体检测不同——后者仅在图像中为物体绘制扁平的边界框——三维物体检测会估算一个包裹物体的长方体(三维盒子)。 这提供了关键的深度信息、 方向(方位)和精确的空间尺寸,使系统不仅能理解物体 是什么,还能精确定位其在现实世界中相对于传感器的具体位置。这种能力对于 需要与环境进行物理交互的技术至关重要。

3D 物体检测如何工作

要感知深度和体积,3D检测模型通常需要比标准摄像头更丰富的数据输入。 虽然某些先进方法能从单目(单镜头)图像推断3D结构,但大多数稳健系统会利用激光雷达传感器、雷达或立体摄像机采集的数据。这些传感器生成点云——即代表物体外部表面的海量数据点集合。

该过程涉及以下几个关键步骤:

  • 数据采集:传感器捕捉场景的几何结构。例如激光雷达(LiDAR)利用激光脉冲测量距离,从而生成精确的三维地图。
  • 特征提取:深度学习模型(通常基于卷积神经网络(CNN)或Transformer模型)处理点云或融合图像数据以识别模式。
  • 边界框预测:模型输出一个三维边界框,其由中心坐标(x, y, z)、尺寸(长度、宽度、高度)及旋转角度(偏航角)定义。
  • 分类:类似于图像分类,系统为检测到的物体分配标签(例如“行人”、“车辆”)。

二维检测与三维检测的区别

区分这两个相关概念至关重要。

  • 二维目标检测:作用于平面图像(像素)。它能告知目标位于帧的"左上角"或"右下角",但若无参照标记则无法有效判断距离或真实尺寸。该技术适用于以下场景: •识别制造缺陷 • 分析视频流(深度信息非关键需求时)
  • 三维物体检测:在体积空间(体素或点)中运行。它提供物体与摄像机的距离(深度)、物理尺寸及其方向。这对于在动态环境中防止碰撞至关重要。

实际应用

从二维到三维的感知转变,在安全与空间感知至关重要的行业中开辟了强大的应用场景。

  • 自动驾驶:无人驾驶汽车高度依赖3D检测技术实现安全导航。通过处理激光雷达和摄像头采集的数据,车辆能够detect 车辆、行人及障碍物,精确计算其距离与速度。这使得感知系统能在实时推理场景中预测运动轨迹,并作出制动或转向决策。诸如Waymo等企业 运用这些复杂的传感器套件, 可即时绘制城市环境地图。
  • 机器人技术与箱内拾取:在物流和仓储领域,机器人需要从箱中拾取形状和尺寸各异的物品。3D检测技术使机械臂能够识别包裹的方位,确定最佳抓取点,并规划无碰撞路径来移动物品。通过自动化复杂的手动操作,这提升了物流领域人工智能的效率。

使用Ultralytics实现物体检测

虽然完整的3D检测通常需要专门的点云架构,但现代2D检测器(如YOLO26)正越来越多地作为伪3D工作流的组成部分,或通过边界框缩放来估计深度。对于希望在自有数据集上训练模型的开发者,Ultralytics 提供了简化的标注和训练环境。

以下是一个Ultralytics Python 运行标准检测的简单示例,这通常是更大感知管道中的第一步:

import cv2
from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Perform inference on a local image
results = model("path/to/image.jpg")

# Visualize the results
for result in results:
    # Plot predictions on the image (returns a numpy array)
    im_array = result.plot()

    # Display using OpenCV
    cv2.imshow("Detections", im_array)
    cv2.waitKey(0)  # Press any key to close
    cv2.destroyAllWindows()

挑战与未来趋势

尽管实用,3D物体检测仍面临计算成本和传感器开销的挑战。处理点云中的数百万个点需要GPU ,这使得在边缘设备上部署变得困难。然而,模型量化和高效神经网络架构的创新正在减轻这一负担。

此外,诸如传感器融合等技术正通过结合摄像头的丰富色彩信息与激光雷达的精准深度数据来提升精度。随着这些技术日趋成熟,我们有望看到3D感知技术被集成到更多普及型设备中,从增强现实眼镜到智能家居设备皆可涵盖。

加入Ultralytics 社区

加入人工智能的未来。与全球创新者联系、协作和共同成长

立即加入