集成

在 Rockchip 上部署 Ultralytics YOLO11 以实现高效 Edge AI

探索如何使用 RKNN Toolkit 在 Rockchip 上部署 Ultralytics YOLO11，以实现高效的 Edge AI、AI 加速和实时目标检测。

ABAbirami Vina5 min readFebruary 12, 2025

AI 领域的最新热词是边缘 AI，尤其是涉及到计算机视觉的时候。随着 AI 驱动的应用不断发展，在功耗和计算资源有限的嵌入式设备上高效运行模型的需求也随之增加。

例如，无人机使用视觉 AI 进行实时导航，智能摄像头可即时检测物体，工业自动化系统则无需依赖云计算即可执行质量控制。这些应用要求直接在边缘设备上进行快速、高效的 AI 处理，以确保实时性能和低延迟。然而，在边缘设备上运行 AI 模型并不总是那么简单。AI 模型通常需要比许多边缘设备所能处理的更高的功率和内存。

Rockchip 的 RKNN Toolkit 通过优化适用于 Rockchip 设备上的深度学习模型，帮助解决了这个问题。它利用专用神经网络处理器 (NPU) 来加速推理，与 CPU 或 GPU 处理相比，降低了延迟和功耗。

视觉 AI 社区一直渴望在基于 Rockchip 的设备上运行 Ultralytics YOLO11，我们听到了你们的声音。我们现已添加对将 YOLO11 导出为 RKNN 模型格式的支持。在本文中，我们将探讨导出到 RKNN 的工作原理，以及为什么在 Rockchip 驱动的设备上部署 YOLO11 会带来颠覆性的改变。

什么是 Rockchip 和 RKNN Toolkit？#

Rockchip 是一家设计片上系统（SoC）的公司——这些微小而强大的处理器驱动着许多嵌入式设备。这些芯片将 CPU、GPU 和神经网络处理单元（NPU）结合在一起，能够处理从通用计算任务到依赖目标检测和图像处理的视觉 AI 应用的一切事务。

Rockchip SoC 被广泛应用于各种设备中，包括单板计算机（SBC）、开发板、工业 AI 系统和智能相机。许多知名的硬件制造商，如 Radxa、ASUS、Pine64、Orange Pi、Odroid、Khadas 和 Banana Pi，都制造搭载 Rockchip SoC 的设备。这些开发板因为提供了性能、能效和价格的平衡，在边缘 AI 和计算机视觉应用中非常受欢迎。

搭载 Rockchip 的单板计算机

图 1. 搭载 Rockchip 的设备示例。

为了帮助 AI 模型在这些设备上高效运行，Rockchip 提供了 RKNN (Rockchip Neural Network) Toolkit。它允许开发者转换并优化深度学习模型，从而利用 Rockchip 的神经网络处理器 (NPU)。

RKNN 模型针对低延迟推理和高效功耗进行了优化。通过将模型转换为 RKNN，开发者可以在基于 Rockchip 的设备上实现更快的处理速度、更低的功耗和更高的效率。

RKNN 模型已完成优化#

让我们仔细看看 RKNN 模型如何提升基于 Rockchip 的设备上的 AI 性能。

与处理各种计算任务的 CPU 和 GPU 不同，Rockchip 的 NPU 是专门为深度学习设计的。通过将 AI 模型转换为 RKNN 格式，开发者可以直接在 NPU 上运行推理。这使得 RKNN 模型在需要快速高效处理的实时计算机视觉任务中特别有用。

对于 AI 任务，NPU 比 CPU 和 GPU 更快、更高效，因为它们旨在并行处理神经网络计算。虽然 CPU 一次处理一个步骤，GPU 将工作负载分配到多个核心，但 NPU 经过了优化，可以更高效地执行 AI 特定的计算。

因此，RKNN 模型运行速度更快且功耗更低，使其非常适合电池供电设备、智能摄像头、工业自动化以及其他需要实时决策的边缘 AI 应用。

Ultralytics YOLO 模型概述#

Ultralytics YOLO (You Only Look Once) 模型专为实时计算机视觉任务而设计，例如目标检测、实例分割和图像分类。它们以速度、准确性和效率著称，并被广泛应用于农业、制造、医疗和自动驾驶系统等行业。

这些模型随着时间的推移有了显著的改进。例如，Ultralytics YOLOv5 让目标检测与 PyTorch 的结合更加易于使用。接着，Ultralytics YOLOv8 添加了姿态估计和图像分类等新功能。现在，YOLO11 在使用更少资源的同时提高了准确性，将性能推向了新的高度。事实上，YOLO11m 在 COCO 数据集上的表现优于 YOLOv8m，同时参数量比 YOLOv8m 少 22%，这使其既精确又高效。

使用 Ultralytics YOLO11 检测对象

图 2. 使用 Ultralytics YOLO11 检测对象。

Ultralytics YOLO 模型还支持导出为多种格式，从而允许在不同平台上进行灵活部署。这些格式包括 ONNX、TensorRT、CoreML 和 OpenVINO，使开发者能够根据目标硬件自由优化性能。

随着对导出 YOLO11 到 RKNN 模型格式支持的增加，YOLO11 现在可以利用 Rockchip 的 NPU。最小的模型，即 RKNN 格式的 YOLO11n，实现了每张图像 99.5 毫秒的出色推理时间，即使在嵌入式设备上也能实现实时处理。

将你的 Ultralytics YOLO11 模型导出为 RKNN 格式#

目前，Ultralytics YOLO11 目标检测模型可以导出为 RKNN 格式。此外，敬请期待——我们正致力于在未来的更新中增加对其他计算机视觉任务以及 INT8 量化的支持。

将 Ultralytics YOLO11 导出为 RKNN 格式是一个简单的过程。你可以加载你的自定义训练的 YOLO11 模型，指定目标 Rockchip 平台，并通过几行代码将其转换为 RKNN 格式。RKNN 格式兼容各种 Rockchip SoC（包括 RK3588、RK3566 和 RK3576），从而确保广泛的硬件支持。

将 Ultralytics YOLO11 导出为 RKNN 模型格式

图 3. 将 Ultralytics YOLO11 导出为 RKNN 模型格式。

在基于 Rockchip 的设备上部署 Ultralytics YOLO11#

导出后，RKNN 模型即可部署在基于 Rockchip 的设备上。要部署该模型，你只需将导出的 RKNN 文件加载到 Rockchip 设备上并运行推理——即使用训练好的 AI 模型来分析新图像或视频并实时检测物体的过程。只需几行代码，你就可以开始从图像或视频流中识别物体。

使用导出的 RKNN 模型运行推理

图 4. 使用导出的 RKNN 模型运行推理。

Ultralytics YOLO11 与 Rockchip 的边缘 AI 应用#

为了更好地了解 Ultralytics YOLO11 能够在真实世界的 Rockchip 设备上部署到哪些场景，让我们来浏览几个关键的边缘 AI 应用。

Rockchip 处理器被广泛用于基于 Android 的平板电脑、开发板和工业 AI 系统。通过对 Android、Linux 和 Python 的支持，你可以轻松构建和部署适用于各种行业的视觉 AI 驱动型解决方案。

集成 Ultralytics YOLO11 的三防平板电脑#

在 Rockchip 驱动的设备上运行 Ultralytics YOLO11 的一个常见应用是三防平板电脑。它们是专为仓库、建筑工地和工业环境等恶劣环境设计的耐用、高性能平板电脑。这些平板电脑可以利用目标检测来提高效率和安全性。

例如，在仓库物流中，工人可以使用配备 YOLO11 的 Rockchip 平板电脑自动扫描和检测库存，从而减少人为错误并加快处理时间。同样，在建筑工地上，这些平板电脑可用于检测工人是否佩戴了头盔和背心等必需的安全装备，从而帮助公司执行规章制度并防止事故发生。

Detecting safety gear using Ultralytics YOLO11

Fig 5. 使用 Ultralytics YOLO11 检测安全装备。

用于质量控制的工业 AI#

在制造业和自动化方面，基于 Rockchip 的工业开发板在质量控制和过程监控中发挥着重要作用。工业开发板是专为工业环境中的嵌入式系统设计的高性能紧凑型计算模块。这些开发板通常包含处理器、内存、I/O 接口和连接选项，可以与传感器、摄像头和自动化机械集成。

在这些开发板上运行 Ultralytics YOLO11 模型使得实时分析生产线成为可能，从而能够即时发现问题并提高效率。例如，在汽车制造中，使用 Rockchip 硬件和 YOLO11 的 AI 系统可以在汽车沿装配线移动时检测划痕、对齐不当的零件或涂装缺陷。通过实时识别这些缺陷，制造商可以减少浪费、降低生产成本，并在车辆交付给客户之前确保更高的质量标准。

在基于 Rockchip 的设备上运行 Ultralytics YOLO11 的优势#

基于 Rockchip 的设备在性能、成本和效率之间取得了良好的平衡，使其成为在边缘 AI 应用中部署 Ultralytics YOLO11 的绝佳选择。

以下是在基于 Rockchip 的设备上运行 Ultralytics YOLO11 的几个优势：

改进的人工智能性能：启用 Rockchip 的设备比树莓派等基于 CPU 的开发板更有效地处理 AI 推理，从而提供更快的目标检测和更低的延迟。
**高性价比的解决方案：**如果你正在尝试 AI 并需要一个预算友好且依然能提供强大性能的选项，Rockchip 是一个极佳的选择。它提供了一种经济实惠的方式来运行 Ultralytics YOLO11，同时不妥协于速度或效率。
能效高：在基于 Rockchip 的设备上运行计算机视觉模型的功耗比 GPU 更低，这使其非常适合电池供电设备和嵌入式 AI 应用。