YOLO Vision 2026:
集成

使用 MNN 集成无缝部署 Ultralytics YOLO11

了解如何通过 MNN 集成导出并部署 Ultralytics YOLO11 模型,以实现跨移动端、嵌入式及低功耗平台的快速推理。

ABAbirami Vina4 min read
利用 MNN 集成部署 Ultralytics YOLO11

如今,AI 创新已超越了远程服务器环境。AI 解决方案正被集成到诸如传感器和智能手机等边缘设备中。得益于这一技术转变,数据现在可以在其生成的地方直接进行处理,从而实现更快的响应、更高的隐私性,并减少对持续云连接的依赖。

因此,edge AI 正受到许多行业的青睐。随着越来越多的系统转向更快速、更本地化的处理,预计到 2031 年,edge AI software market 的规模将达到 88.8 亿美元。

特别是 computer vision(专注于理解图像和视频的 AI 分支),正在边缘端被快速采用。从在打包时清点食品数量到协助车辆检测行人,computer vision 在不同领域支持着无数的实际应用。

这得益于 computer vision 模型。例如,Ultralytics YOLO11 是一个支持各种 vision AI 任务的模型,如 object detection、instance segmentation、object tracking 和 pose estimation。它旨在实现快速高效,并在硬件资源有限的设备上表现出色。

使用 Ultralytics YOLO11 检测和追踪正在包装的食品

图 1. 使用 Ultralytics YOLO11 检测和追踪正在包装的食品(来源)。

除了适合边缘部署外,通过 Ultralytics 支持的各种 integrations,YOLO11 可以导出为适用于不同硬件环境的各种格式。

最有效的选择之一是 MNN (Mobile Neural Network),这是一个专为低资源设备设计的轻量级推理引擎。将 Ultralytics YOLO11 导出到 MNN 可以让它直接在手机、嵌入式系统以及其他对快速端侧处理至关重要的边缘平台上运行。

在这篇文章中,我们将探讨 MNN integration 是如何工作的,介绍常见的使用场景,并带你一步步了解如何使用导出的 Ultralytics YOLO11 模型开始运行推理。我们开始吧!

MNN 概述:一个深度学习框架#

在手机、工业传感器和便携式系统等小型设备上运行 computer vision models 并非总是那么简单。这些设备通常内存有限、处理器较慢且有严格的功耗限制。

移动神经网络(Mobile Neural Network,简称 MNN)是由阿里巴巴开发的一种轻量级、高性能推理引擎,旨在使 AI 模型在低资源硬件上高效运行,同时保持实时性能。MNN 支持广泛的平台,包括 Android、iOS 和 Linux,并适用于中央处理器 (CPU) 和图形处理器 (GPU) 等多种硬件类型。

A look at the MNN framework

图 2. MNN 框架概览(Source)。

Ultralytics 支持的 MNN 集成使得将 YOLO11 模型轻松导出为 MNN 格式成为可能。简而言之,这意味着模型可以从 YOLO 格式转换为 MNN。

转换后,它们可以部署在支持 MNN 框架的设备上,以实现高效的端侧推理。使用 MNN 格式的一个关键优势在于,它简化了在对尺寸、速度和资源效率有严格要求的场景中部署 Ultralytics YOLO11 的过程。

MNN 推理后端的关键特性#

在深入了解如何使用 MNN 集成之前,让我们先看看是什么让 MNN 框架成为在实际设备上运行 AI 模型的绝佳选择。它专为应对边缘环境的独特约束而构建,同时仍能提供快速且可靠的性能。

有趣的是,MNN 在阿里巴巴内部被用于 30 多种应用中,包括淘宝、天猫、优酷、钉钉和闲鱼,涵盖了直播视频、短内容、图像搜索和端侧安全检查等多种场景。它支持大规模部署,并在生产环境中每天运行数百万次推理。

以下是 MNN 框架的一些关键特性:

  • 后端自动选择: MNN 可以根据其运行的硬件自动选择最合适的执行后端,例如 CPU 或 GPU。
  • Multi-threaded execution:它支持多线程,使其能够充分利用多核处理器以实现更快的推理。
  • 支持模型量化: 它使你能够使用 FP16 或 INT8 量化显著减小模型尺寸,从而在占用更少内存的同时提高推理速度。
  • 轻量且快速: MNN 占用空间极小,核心库在 Android 上约为 400 KB,在 iOS 上约为 5 MB,这使其成为移动和嵌入式设备的理想选择。

了解 MNN 集成的工作原理#

接下来,我们将带你了解如何将 Ultralytics YOLO11 模型导出为 MNN 格式。

第一步是安装 Ultralytics Python package,它提供了将 YOLO11 模型导出为 MNN 格式所需的一切。你可以在终端中运行 "pip install ultralytics" 或使用命令提示符来完成此操作。如果你使用的是 Jupyter Notebook 或 Google Colab,请在命令前加上感叹号。

如果在安装过程中遇到任何问题,请参考 Common Issues guide 获取排错提示。

环境设置完成后,你可以加载一个预训练的 YOLO11 模型(如 "yolo11n.pt"),并按如下代码片段所示将其导出为 MNN 格式。如果你已经训练了自己的自定义 YOLO11 模型,只需将文件名替换为你的模型路径即可导出。

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

将模型转换为 MNN 后,你可以根据应用需求将其用于不同的移动和嵌入式平台。

例如,假设你想在交通视频上测试导出的模型。在这种情况下,你可以加载 MNN 格式的 Ultralytics YOLO11 模型,直接在设备上检测车辆、行人和交通标志等物体,正如以下示例所示。

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

推理完成后,带有检测到对象的输出视频会自动保存在 'runs/detect/predict' 文件夹中。此外,如果你想直接使用 MNN Python package 运行推理,可以查看官方 Ultralytics documentation 了解更多详细信息和示例。

使用导出为 MNN 格式的 Ultralytics YOLO11 模型分析交通

图 3. 使用导出为 MNN 格式的 Ultralytics YOLO11 模型分析交通。作者供图。

由 Ultralytics YOLO11 和 MNN 实现的边缘 AI 模型部署用例#

使用 MNN 部署 Ultralytics YOLO11 可以实现快速、高效的计算机视觉任务(例如 object detection),特别适用于基于云的处理不切实际或不可能实现的场景。让我们看看这一集成如何在现实场景中发挥巨大作用。

用于植物病害识别的移动边缘 AI#

使用 image classification 的植物病害识别应用程序在园丁、研究人员和自然爱好者中越来越受欢迎。只需一张照片,用户就可以快速识别疾病的早期迹象,例如叶斑或变色。由于这些应用程序经常用于互联网可能受限或无法使用的户外区域,依赖云处理可能并不可靠。

训练完成后,Ultralytics YOLO11 模型可以导出为 MNN 格式并直接在移动设备上运行。然后,模型可以在本地对植物物种进行分类并检测可见的病害症状,而无需将任何数据发送到服务器。

Ultralytics YOLO11 检测叶片上的锈病(一种植物病害)迹象

图 4. 使用 YOLO11 检测叶子上锈病(一种植物病害)迹象的示例(Source)。

制造业中高效的端侧推理#

manufacturing 设施中繁忙的生产线上,准确的包裹追踪至关重要。Ultralytics YOLO11 可用于追踪和清点每个流经关键检查点的物品,实时更新计数并标记任何差异。这有助于减少遗漏或未清点的货运,并支持更顺畅、更可靠的运营。

Tracking and counting packages using Ultralytics YOLO11

图 5. 使用 YOLO11 追踪和清点包裹(Source)。

MNN 集成在这种情况下会产生特别显著的影响。一旦 Ultralytics YOLO11 模型导出为 MNN 格式,它就可以直接在安装于传送带旁的小型、低功耗设备上运行。

由于所有处理都在本地完成,系统可以提供即时反馈,且不需要任何网络连接。这确保了工厂车间能够实现快速、可靠的性能,在保持高效生产的同时,确保了高精度和可控性。

将 Ultralytics YOLO11 导出为 MNN 模型格式的优势#

以下是 Ultralytics 提供的 MNN 集成的一些主要优势:

  • 更快的响应时间: 由于推理在设备上运行,预测能够以极低的延迟实时完成。
  • Improved data privacy:数据保留在设备上,减少了将敏感图像或视频发送到云端的需求。
  • 开源且持续维护: 得益于阿里巴巴的支持及活跃社区的贡献,MNN 可靠且会定期更新以实现性能提升。

使用 MNN 框架时需要考虑的因素#

在选择 MNN 作为你的部署框架之前,评估它是否符合项目的需求、部署目标及技术限制也很重要。以下是一些关键考虑因素:

  • 持续兼容性: 框架更新或目标平台的变更可能需要进行重新测试或调整,以确保一切顺利运行。
  • 调试工具较少: 与大型框架相比,MNN 在调试和检查模型行为方面的工具较为有限,这可能会增加故障排除的难度。
  • 性能取决于硬件: 模型的速度和效率将因设备而异。请测试你的目标硬件,以确保它能满足你的性能目标。

关键要点#

Ultralytics 对 MNN 集成的支持使得导出 YOLO11 模型以供移动和嵌入式设备使用变得轻而易举。对于那些需要快速、可靠的检测且不依赖云端访问或持续网络连接的应用来说,这是一个务实的选项。

这种设置有助于简化部署,同时保持性能并将资源需求降至最低。无论你是在构建智能家居系统、现场工具还是紧凑型工业设备,将 Ultralytics YOLO11 导出到 MNN 都为直接在边缘设备上运行计算机视觉任务提供了一种灵活且高效的方法。

加入我们不断壮大的 community!探索我们的 GitHub repository 以深入了解 AI。准备好开始你的 computer vision 项目了吗?查看我们的 licensing options。在我们的解决方案页面上了解有关 AI in healthcarecomputer vision in retail 的更多信息!

Explore solutions

Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多

让我们一起构建 AI 的未来!

开启你的机器学习未来之旅