将 Ultralytics YOLO11 模型导出为 NCNN 模型格式
将 Ultralytics YOLO11 模型导出为 NCNN 模型格式,以便在电力和计算资源受限的边缘设备上运行高效、低延迟的 AI 推理。

AI 解决方案正变得越来越普遍,甚至在灾害管理、废物管理和消防等高风险领域也是如此。随着应用范围的不断扩大,AI 模型正被部署到更多样化的环境中——不仅是在服务器或云端,还直接部署在实地运行的设备上。
例如,由小型处理器驱动的无人机和带有边缘计算组件的设备可以在灾区发挥关键作用。这些设备配备了热成像摄像头,可以在现场收集和分析数据,以定位被困在瓦砾下的人员。这一切通过计算机视觉得以实现,它是人工智能的一个分支,旨在解析图像和视频中的视觉信息。
然而,在边缘设备上部署视觉 AI 模型并不像看起来那么简单。AI 模型需要经过优化,才能在计算能力和内存有限的硬件上高效运行。这就是为什么像 NCNN 这样的 AI 框架至关重要。它们有助于转换和优化模型,以便在低功耗设备上实现实时性能,同时不牺牲准确性。
特别是像 Ultralytics YOLO11 这样的 Ultralytics YOLO 模型,可以通过 Ultralytics 支持的 NCNN 集成轻松导出为 NCNN 模型格式。将 YOLO11 转换为 NCNN 模型格式,可以使模型运行速度更快、占用内存更少,并在不同设备上流畅运行,同时保持准确性。
在本文中,我们将探讨 Ultralytics 支持的 NCNN 集成,并逐步介绍如何将你的 YOLO11 模型导出为 NCNN 模型格式。让我们开始吧!
Link to this sectionNCNN 概览:轻量级神经网络框架#
NCNN 是由腾讯开发的一种开源神经网络推理框架。它是专门为移动和边缘环境设计的,以极小的开销实现高性能推理。这使其成为在智能手机、无人机和物联网 (IoT) 设备等资源受限设备上进行部署的理想选择。
NCNN 框架因其高效、可移植以及针对移动 CPU(中央处理器)的优化而在 AI 和深度学习社区中广受欢迎。它使开发者能够在内存和处理能力有限的经济型设备上运行神经网络模型。NCNN 设计简单灵活,支持广泛的计算机视觉模型,并可在包括 Android、Linux、iOS 和 macOS 在内的多个平台上运行。

图 1。NCNN 格式的模型可以部署在许多平台上。
Link to this sectionNCNN 性能优化的主要特性#
以下是使 NCNN 成为一个具有影响力且被广泛使用的神经网络推理框架的一些关键特性:
- 轻量级、与硬件无关的运行时: NCNN 框架经过优化,可在标准 CPU 上运行模型,且不需要像 GPU(图形处理器)或 NPU(神经网络处理器)这样的专用硬件。
- 模型量化:对于内存和速度至关重要的应用,NCNN 支持能够减小模型体积并改善推理时间的量化方法。它有助于在移动和嵌入式设备上流畅运行 AI 模型。
- 开源且易于获取: 作为一种开源框架,任何人都可以免费使用、修改和改进 NCNN。这鼓励了创新并在各种用例中得到了广泛采用。
- 活跃的开发和社区: NCNN 由腾讯和一个不断壮大的开发者社区在 GitHub 上积极维护,并进行定期更新和模型兼容性改进。
Link to this section将 YOLO11 导出为 NCNN 模型格式:快速指南#
既然我们已经讨论了什么是 NCNN,让我们更深入地了解如何将 YOLO11 模型导出为 NCNN 格式。
Link to this section第 1 步:安装 Ultralytics Python 软件包#
在导出模型之前,第一步是使用软件包安装程序 pip 安装 Ultralytics Python 软件包。你可以通过在终端或命令提示符中运行 "pip install ultralytics" 来完成此操作。如果你在 Jupyter Notebook 或 Google Colab 中工作,请在命令前添加感叹号,即:"!pip install ultralytics"。
Ultralytics 软件包提供了用于训练、测试、微调和导出视觉 AI 模型的工具,适用于各种计算机视觉任务。如果你在安装过程中或导出模型时遇到任何问题,官方的 Ultralytics 文档和常见问题指南是非常好的故障排除资源。
Link to this section第 2 步:导出 Ultralytics YOLO11#
安装 Ultralytics 软件包后,你可以加载你的 YOLO11 模型并将其导出为 NCNN 格式。下面的示例使用了一个预训练模型 ("yolo11n.pt") 并将其导出为 NCNN 格式,将输出保存到名为 "/yolo11n_ncnn_model" 的文件夹中。
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="ncnn")导出的 YOLO11 模型随后可以部署在各种轻量级设备上,例如智能手机、嵌入式系统或物联网平台。部署过程也非常精简。
例如,看看下面的代码片段,它展示了如何加载导出的模型并运行推理。推理是指使用训练好的模型对新的、未见数据进行预测的过程。在这个例子中,模型是在一张从公开 URL 获取的骑自行车男子的图像上进行测试的。
ncnn_model = YOLO("./yolo11n_ncnn_model")
results = ncnn_model("https://images.pexels.com/photos/19431209/pexels-photo-19431209/free-photo-of-a-man-riding-a-bike-on-a-road.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)运行代码后,你会在 "runs/detect/predict" 文件夹中找到输出图像。

图 2。使用 NCNN 格式导出的 YOLO11 模型检测对象。图片来源:作者。
Link to this section为什么选择使用 NCNN 进行实时检测#
当你探索 Ultralytics 支持的各种集成时,你可能会注意到有多种导出选项。那么,你什么时候应该选择 NCNN 格式呢?
当你需要在资源受限的设备上部署 YOLO11 模型时,NCNN 导出格式是一个可靠的选择。它特别适用于直接在设备上运行的实时应用,如边缘设备,而无需连接云端。这意味着模型可以直接在现场处理对象检测等任务。
以下是 NCNN 非常适合的一些常见场景:
-
移动部署: NCNN 格式针对 Android 和 iOS 进行了优化,使得将模型集成到移动应用中变得容易,从而以最小的延迟实现快速的设备端推理。
-
嵌入式系统和物联网设备: 如果你部署在 Raspberry Pi 或 NVIDIA Jetson 等设备上,导出为 NCNN 可以帮助提升性能和响应速度。
-
桌面和服务器部署: 虽然 NCNN 非常适合低功耗设备,但它也支持桌面和服务器环境下的 Linux、Windows 和 macOS。这为开发者提供了灵活的部署选项。

图 3。使用 NCNN 部署 YOLO11 模型的选项。图片来源:作者。
Link to this section使用 NCNN 部署 YOLO11 模型的用例#
接下来,让我们深入探讨一些将 YOLO11 模型导出为 NCNN 可以产生实际影响的实用用例。
Link to this section消防用视觉 AI 头盔#
配备摄像头和嵌入式微型计算机的安全头盔可用于建筑和消防等领域,以提高安全性和感知能力。实时视觉 AI 模型(如 YOLO11)可以在这些设备上运行,以检测各种类型的对象和装备。例如,此类头盔可以帮助消防员在低能见度条件下检测人员、障碍物或危险。
然而,直接在可穿戴设备上运行全尺寸模型可能会导致性能缓慢并迅速耗尽电量。在这种情况下,使用 NCNN 集成是一个明智的选择。它实现了低延迟、高能效的推理。
Link to this section废物分类和智能垃圾桶#
同样,智能垃圾桶可以集成摄像头和紧凑型边缘 AI 处理器,以便在丢弃材料时进行识别和分类。像 YOLO11 这样的视觉 AI 模型可以进行定制训练,以检测纸张、塑料、橡胶等不同类型的废弃物材料。
一旦废弃物被识别,它就可以根据其可再利用性自动分拣到不同的隔间中。通过使用边缘 AI 以及以 NCNN 格式导出的 YOLO11 模型,这些垃圾桶可以在本地处理数据——无需互联网连接。这使它们能够自主运行并以最小的延迟做出实时分拣决策。

图 4。使用 YOLO11 检测塑料废弃物。
Link to this section使用无人机和计算机视觉监测牛群#
有时,偏远地区的农业区域缺乏稳定的互联网连接,甚至缺乏持续的电力供应,这限制了它们在线运行 AI 应用的能力。在这种情况下,可以使用边缘设备和无人机来处理各种任务。
一个很好的例子是监测牲畜,如牛、羊和家禽。这可以使用像 YOLO11 这样的视觉 AI 模型来完成,它可以用于跟踪动物运动、检测受伤、疾病或异常行为的迹象,并在动物走失时提醒农场主。NCNN 集成还使得直接在边缘设备上运行和处理这些数据成为可能,使其非常适合偏远或离网区域农场的图像和视频分析。

图 5。了解如何使用 YOLO11 监测牲畜。
Link to this section关键要点#
使用 Ultralytics 支持的 NCNN 集成导出 YOLO11 模型,是将视觉 AI 带入低功耗环境的直接方法。无论是灾区的无人机、智能废物分类桶,还是偏远农场的牲畜监测,YOLO 和 NCNN 都实现了快速、高效且可移植的实时 AI 推理。这种方法有助于在最需要的时候使 AI 系统更易于访问和可靠。
想了解更多关于 AI 的信息吗?探索我们的 GitHub 仓库,与我们的社区建立联系,并查看我们的许可选项来启动你的计算机视觉项目。在我们的解决方案页面上,了解零售业 AI 和 医疗保健中的计算机视觉 等创新如何塑造未来。






