STMicroelectronics 在 MCU 上运行 Ultralytics YOLO,每次推理仅需 9.4 mJ

了解 STMicroelectronics 如何高效地在低功耗微控制器上部署 Ultralytics YOLO 模型,以在边缘侧实现精确的实时推理。

Problem
STMicroelectronics 需要克服处理能力、能源和成本方面的限制,以实现新一类的边缘计算机视觉用例,并以现有解决方案的一小部分成本和能耗提供高性能输出。
Solution
Ultralytics 与 STMicroelectronics 合作,在低功耗微控制器上高效部署 YOLO 模型,并在边缘端实现准确的实时推理。
随着 AI 在各行各业的普及,市场对能够在边缘端进行实时推理的高性能、低功耗解决方案的需求日益增长。为了满足这一技术需求,STMicroelectronics 推出了 STM32N6 微控制器,该控制器集成了专为嵌入式 AI 工作负载设计的神经处理单元 (NPU)。
通过在 STM32N6 上运行 Ultralytics YOLO 模型,STMicroelectronics 证明了在微控制器上实现精确且高效的嵌入式 Vision AI 是可能的,这为智慧城市、医疗保健和消费电子等领域的可扩展设备端智能开辟了新的机遇。
Link to this section探索面向边缘低功耗设备的 Vision AI#
STMicroelectronics 是半导体技术的全球领导者,在全球拥有超过 50,000 名员工和 200,000 多家客户。他们设计并制造的芯片支持从电动汽车和工业设备到智能家居设备和消费电子产品的各类应用。
随着越来越多的行业转向利用 AI 使设备变得更智能、响应更灵敏,STMicroelectronics 一直致力于将这些功能直接带到边缘端。例如,他们的 STM32N6 微控制器是一款强大且节能的芯片,能够处理计算机视觉等设备端 AI 任务。
为了帮助开发者在 STM32N6 上构建嵌入式视觉应用,STMicroelectronics 寻找能够高效运行在微控制器上的灵活且高性能的模型。Ultralytics YOLO 模型被证明是一个绝佳选择,它提供了速度、准确性和易于集成的可靠组合。
Link to this section实现 AI 驱动的嵌入式系统的限制#
在边缘 AI 概念被广泛接受之前,计算机视觉模型通常被开发用于在云服务器或 GPU(图形处理单元)等大型集中式系统上运行。这些平台提供了训练和部署大型模型所需的计算能力,但也带来了高能耗、网络依赖性、延迟和运营成本增加等局限性。
随着人们对在医疗保健、消费电子和智慧城市等行业实施更智能的实时应用的兴趣日益浓厚,显而易见的是,将 AI 处理推向数据产生的地方(即设备本身),既是技术上的必要,也是战略上的机遇。
然而,在低功耗微控制器上运行 AI 模型可能极具挑战。这些设备通常在内存、计算能力和能量容量方面受到限制,因此难以在不牺牲性能或准确性的情况下部署复杂的视觉模型。
STMicroelectronics 需要确定一套足够通用的模型系列,以便为其 STM32N6 微控制器带来可靠的实时计算机视觉功能,且无需开发者大幅简化其模型或工作流程。他们的目标是在严格的嵌入式系统限制内实现有意义的设备端 AI。
Link to this section简化微控制器上的 YOLO 模型部署#
为了在低功耗嵌入式设备上实现先进的 AI,STMicroelectronics 推出了 STM32N6,这是一款配备了 Neural-ART Accelerator™ 的高性能微控制器。它是专为边缘 AI 工作负载构建的内部神经处理单元 (NPU)。这项技术使开发者能够直接在设备上运行 AI 推理,从而减少对云计算的依赖,同时提高速度、响应能力和能效。
STMicroelectronics 与 Ultralytics 合作,通过在微控制器上运行 Ultralytics YOLO 模型来评估和展示 STM32N6 的能力。Ultralytics YOLO 模型以其速度与准确性的平衡而闻名,非常适合资源受限的环境和嵌入式部署。

图 1。在 STM32N6 上运行 Ultralytics YOLO 模型的一个示例。
通过直接在 STM32N6 上运行各种 YOLO 模型变体,STMicroelectronics 能够演示一系列 Vision AI 用例,例如对象检测、分类和跟踪,所有这些都在微控制器的功耗和内存限制范围内。此次合作为开发者提供了一种可靠的选择,用于使用可扩展、生产就绪的视觉模型来部署实时的 AI 驱动嵌入式系统。
Link to this section为何选择 Ultralytics YOLO 模型?#
Ultralytics YOLO 模型为 STMicroelectronics 提供了 AI 驱动嵌入式系统所需的准确性、效率和多功能性的完美结合。这些模型轻量级,足以运行在像 STM32N6 这样的低功耗微控制器上,同时又足够强大,能够提供实时的对象检测和实例分割性能。
例如,当在 STM32N6 上以 256x256 分辨率运行 Ultralytics YOLOv8n 模型时,系统达到了每秒 34 帧的速度,每次推理大约需要 29 毫秒。功耗测量显示其每次推理仅使用 9.4 毫焦耳,使其非常适合低功耗设备上的实时视觉任务。
由于支持多种 YOLO 模型变体,开发者可以根据应用的限制灵活地调整速度、尺寸或准确性。易于集成的架构,加上强大的社区和文档支持,使得 Ultralytics YOLO 成为 STMicroelectronics 加速 Vision AI 在广泛嵌入式用例中采用这一目标的自然选择。
通过企业版 Ultralytics 许可,STMicroelectronics 为客户提供完整的 YOLO 模型套件,用于内部测试和开发。然而,对于任何商业部署,客户需要通过许可表单直接向 Ultralytics 申请自己的商业许可。这确保了合规性,并为生产就绪的 Vision AI 解决方案提供了可扩展的路径。
Link to this section从智慧城市到医疗保健:可扩展的边缘 AI 应用#
能够在 STM32N6 微控制器上直接运行 Ultralytics YOLO 模型,为 STMicroelectronics 及其开发者生态系统解锁了广泛的 Vision AI 应用。通过在设备端提供快速、准确的推理,而无需依赖外部处理或云连接,该解决方案使得在紧凑、低功耗的系统中部署智能功能成为可能。
客户正在探索各个领域的用例,如智慧城市基础设施中的实时行人和车辆检测、工业自动化中的设备端安全检查和质量控制,以及便携式医疗工具中的 AI 辅助诊断。同样,在消费电子领域,YOLO 模型实现了诸如存在检测、手势识别和对象跟踪等响应式功能,所有这些都在电池供电设备的性能限制内。
Link to this section立即构建明天的 Vision AI 解决方案#
随着 AI 的不断演进,STMicroelectronics 致力于让向边缘设备引入强大、高效的解决方案变得更加容易。通过与 Ultralytics 等合作伙伴密切合作,他们正在帮助开发者通过现成的模型、工具和兼容 STM32 的资源更快地入门。
迈出边缘 AI 创新的下一步。访问我们的 GitHub 存储库以了解 Ultralytics YOLO 模型如何改变嵌入式视觉。探索 AI 在医疗保健和零售领域的计算机视觉的应用,并立即查看我们的许可选项!






