在 Rockchip 上部署 Ultralytics YOLO11 以实现高效 Edge AI
探索如何使用 RKNN Toolkit 在 Rockchip 上部署 Ultralytics YOLO11，以实现高效的 Edge AI、AI 加速和实时目标检测。
边缘 AI 是 AI 社区近期的一个热门词汇，尤其是在涉及 计算机视觉 时。随着 AI 驱动型应用程序的增长，人们越来越需要能在功耗和计算资源受限的嵌入式设备上高效运行模型。
例如，无人机使用视觉 AI 进行实时导航，智能摄像头可即时检测物体，工业自动化系统则无需依赖云计算即可执行质量控制。这些应用要求直接在边缘设备上进行快速、高效的 AI 处理，以确保实时性能和低延迟。然而，在边缘设备上运行 AI 模型并不总是那么简单。AI 模型通常需要比许多边缘设备所能处理的更高的功率和内存。
Rockchip 的 RKNN Toolkit 通过优化适用于 Rockchip 设备上的深度学习模型，帮助解决了这个问题。它利用专用神经网络处理器 (NPU) 来加速推理，与 CPU 或 GPU 处理相比，降低了延迟和功耗。
视觉 AI 社区一直热衷于在基于 Rockchip 的设备上运行 Ultralytics YOLO11，我们听到了你们的声音。我们已添加了将 YOLO11 导出为 RKNN 模型格式的支持。在本文中，我们将探讨导出为 RKNN 的工作原理，以及为什么在基于 Rockchip 的设备上部署 YOLO11 是一个颠覆性的举措。
Link to this section什么是 Rockchip 和 RKNN Toolkit？#
Rockchip 是一家设计片上系统 (SoC) 的公司——这些微小而强大的处理器驱动着许多嵌入式设备。这些芯片集成了 CPU、GPU 和神经网络处理器 (NPU)，以处理从通用计算任务到依赖 目标检测 和图像处理的视觉 AI 应用程序的所有任务。
Rockchip SoC 被用于各种设备，包括单板计算机 (SBC)、开发板、工业 AI 系统和智能摄像头。许多知名的硬件制造商，如 Radxa、ASUS、Pine64、Orange Pi、Odroid、Khadas 和 Banana Pi，都制造了由 Rockchip SoC 驱动的设备。这些开发板在 边缘 AI 和计算机视觉应用中非常流行，因为它们在性能、能效和价格之间取得了良好的平衡。
Fig 1. 一个由 Rockchip 驱动的设备示例。
为了帮助 AI 模型在这些设备上高效运行，Rockchip 提供了 RKNN (Rockchip Neural Network) Toolkit。它允许开发者转换并优化深度学习模型，从而利用 Rockchip 的神经网络处理器 (NPU)。
RKNN 模型针对低延迟推理和高效功耗进行了优化。通过将模型转换为 RKNN，开发者可以在基于 Rockchip 的设备上实现更快的处理速度、更低的功耗和更高的效率。
Link to this sectionRKNN 模型已完成优化#
让我们仔细看看 RKNN 模型如何提升基于 Rockchip 的设备上的 AI 性能。
与处理广泛计算任务的 CPU 和 GPU 不同，Rockchip 的 NPU 是专门为深度学习而设计的。通过将 AI 模型转换为 RKNN 格式，开发者可以直接在 NPU 上运行推理。这使得 RKNN 模型在需要快速高效处理的实时 计算机视觉任务 中特别有用。
对于 AI 任务，NPU 比 CPU 和 GPU 更快、更高效，因为它们旨在并行处理神经网络计算。虽然 CPU 一次处理一个步骤，GPU 将工作负载分配到多个核心，但 NPU 经过了优化，可以更高效地执行 AI 特定的计算。
因此，RKNN 模型运行速度更快且功耗更低，使其非常适合电池供电设备、智能摄像头、工业自动化以及其他需要实时决策的边缘 AI 应用。
Link to this sectionUltralytics YOLO 模型概述#
Ultralytics YOLO (You Only Look Once) 模型 专为目标检测、实例分割和图像分类等实时计算机视觉任务而设计。它们以速度、准确性和效率著称，被广泛应用于农业、制造业、医疗保健和自动驾驶系统等各个行业。
这些模型随着时间的推移有了显著改进。例如，Ultralytics YOLOv5 让 PyTorch 的目标检测使用变得更加容易。随后，Ultralytics YOLOv8 添加了姿态估计和图像分类等新功能。现在，YOLO11 更进一步，在提高精度的同时使用了更少的资源。事实上，YOLO11m 在 COCO 数据集上的表现优于 YOLOv8m，同时参数减少了 22%，这使其既更精准又更高效。
图 2. 使用 YOLO11 检测物体。
Ultralytics YOLO 模型还支持 导出 到多种格式，从而可以在不同平台上进行灵活部署。这些格式包括 ONNX、TensorRT、CoreML 和 OpenVINO，让开发者能够自由地根据其目标硬件优化性能。
随着对导出 YOLO11 到 RKNN 模型格式支持的增加，YOLO11 现在可以利用 Rockchip 的 NPU。最小的模型，即 RKNN 格式的 YOLO11n，实现了每张图像 99.5 毫秒的出色推理时间，即使在嵌入式设备上也能实现实时处理。
Link to this section将 YOLO11 模型导出为 RKNN 格式#
目前，YOLO11 目标检测模型可以导出为 RKNN 格式。此外，敬请期待——我们正在努力在未来的更新中添加对其他计算机视觉任务和 INT8 量化的支持。
将 YOLO11 导出为 RKNN 格式是一个简单的过程。你可以加载你的 自定义训练 YOLO11 模型，指定目标 Rockchip 平台，并通过几行代码将其转换为 RKNN 格式。RKNN 格式与各种 Rockchip SoC 兼容，包括 RK3588、RK3566 和 RK3576，确保了广泛的硬件支持。
图 3. 将 YOLO11 导出为 RKNN 模型格式。
Link to this section在基于 Rockchip 的设备上部署 YOLO11#
导出后，RKNN 模型即可部署在基于 Rockchip 的设备上。要部署该模型，你只需将导出的 RKNN 文件加载到 Rockchip 设备上并运行推理——即使用训练好的 AI 模型来分析新图像或视频并实时检测物体的过程。只需几行代码，你就可以开始从图像或视频流中识别物体。
图 4. 使用导出的 RKNN 模型运行推理。
Link to this sectionYOLO11 和 Rockchip 的边缘 AI 应用#
为了更好地了解 YOLO11 在现实世界中可以在哪些基于 Rockchip 的设备上部署，让我们通过一些关键的边缘 AI 应用来了解一下。
Rockchip 处理器被广泛用于基于 Android 的平板电脑、开发板和工业 AI 系统。通过对 Android、Linux 和 Python 的支持，你可以轻松构建和部署适用于各种行业的视觉 AI 驱动型解决方案。
Link to this section集成 YOLO11 的坚固型平板电脑#
在基于 Rockchip 的设备上运行 YOLO11 的一个常见应用是坚固型平板电脑。它们是耐用、高性能的平板电脑，专为仓库、建筑工地和工业环境等严苛环境而设计。这些平板电脑可以利用目标检测来提高效率和安全性。
例如，在 仓库物流 中，工人可以使用带有 YOLO11 的 Rockchip 平板电脑自动扫描和检测库存，减少人为错误并加快处理速度。同样，在建筑工地上，这些平板电脑可用于检测工人是否佩戴了头盔和背心等必需的安全装备，从而帮助公司执行法规并防止事故发生。
图 5. 使用 YOLO11 检测安全装备。
Link to this section用于质量控制的工业 AI#
在制造业和自动化方面，基于 Rockchip 的工业开发板在质量控制和过程监控中发挥着重要作用。工业开发板是专为工业环境中的嵌入式系统设计的高性能紧凑型计算模块。这些开发板通常包含处理器、内存、I/O 接口和连接选项，可以与传感器、摄像头和自动化机械集成。
在这些开发板上运行 YOLO11 模型，使实时分析生产线成为可能，从而即时发现问题并提高效率。例如，在汽车制造业中，使用 Rockchip 硬件和 YOLO11 的 AI 系统可以在车辆沿装配线移动时检测划痕、错位的零件或油漆缺陷。通过实时识别这些缺陷，制造商可以减少浪费、降低生产成本，并在车辆交付给客户之前确保更高的质量标准。
Link to this section在基于 Rockchip 的设备上运行 YOLO11 的好处#
基于 Rockchip 的设备在性能、成本和效率之间提供了良好的平衡，使其成为在边缘 AI 应用中部署 YOLO11 的绝佳选择。
以下是在基于 Rockchip 的设备上运行 YOLO11 的一些优势：
- 改进的 AI 性能：基于 Rockchip 的设备处理 AI 推理的效率比 Raspberry Pi 等基于 CPU 的开发板更高，提供了更快的目标检测速度和更低的延迟。
- 高性价比解决方案： 如果你正在进行 AI 实验，并且需要一个既能提供强大性能又具预算友好的选择，Rockchip 是一个极佳的选择。它提供了一种以经济高效的方式运行 YOLO11 的方法，而不会在速度或效率上做出妥协。
- 能效高：在基于 Rockchip 的设备上运行计算机视觉模型的功耗比 GPU 更低，这使其非常适合电池供电设备和嵌入式 AI 应用。
Link to this section关键要点#
通过利用硬件加速和 RKNN 格式，Ultralytics YOLO11 可以在基于 Rockchip 的设备上高效运行。这降低了推理时间并提升了性能，使其成为实时计算机视觉任务和边缘 AI 应用的理想选择。
RKNN Toolkit 提供了量化和微调等关键优化工具，确保 YOLO11 模型在 Rockchip 平台上表现出色。随着边缘 AI 的普及，针对高效端侧处理优化模型将变得至关重要。利用合适的工具和硬件，开发者可以为各行业的计算机视觉解决方案解锁新的可能性。
加入 我们的社区 并浏览我们的 GitHub 仓库 以了解有关 AI 的更多信息。通过访问我们的解决方案页面，查看 农业计算机视觉 和 医疗保健 AI 如何推动创新。此外，查看我们的 许可选项 以立即开始构建你的视觉 AI 解决方案！
