返回客户故事

利用 Ultralytics YOLO 和意法半导体 MCU 实现嵌入式视觉人工智能

问题

克服当前在处理能力、能耗和成本方面的限制,在边缘实现新型计算机视觉用例,以现有解决方案的一小部分成本和能耗提供高性能输出。

解决方案

Ultralytics 和意法半导体携手合作,在低功耗微控制器上高效部署 YOLO 模型,并在边缘实现准确、实时的推断。

随着人工智能在各行各业的应用日益广泛,对能够在边缘运行实时推理的高性能、低功耗解决方案的需求也在快速增长。为了满足这一技术需求,意法半导体推出了STM32N6微控制器,该微控制器集成了专为嵌入式人工智能工作负载设计的神经处理单元(NPU)。 

通过在 STM32N6 上运行Ultralytics YOLO 模型,意法半导体证明了在微控制器上实现准确、高效的嵌入式视觉人工智能是可能的,从而为智能城市、医疗保健和消费电子等领域的可扩展设备智能开辟了新的机遇。

为边缘低功耗设备探索视觉人工智能

意法半导体是全球领先的半导体技术公司,在全球拥有 50,000 多名员工和 200,000 多家客户。他们设计和制造的芯片支持从电动汽车和工业设备到智能家居设备和消费电子产品等各种应用。

随着越来越多的行业转向人工智能,使设备更智能、反应更灵敏,意法半导体一直致力于将这些功能直接带到边缘。例如,他们的 STM32N6 微控制器是一款功能强大的高能效芯片,可处理计算机视觉等设备上的人工智能任务。

为了帮助开发人员在 STM32N6 上构建嵌入式视觉应用,意法半导体寻找能够在微控制器上高效运行的灵活、高性能模型。Ultralytics YOLO 模型在速度、精度和易集成性方面提供了可靠的组合,因此非常适合。

启用人工智能驱动的嵌入式系统的制约因素

在边缘人工智能的概念被广泛接受之前,计算机视觉模型通常是在云服务器或 GPU(图形处理器)等大型集中式系统上开发运行的。这些平台提供了训练和部署大型模型所需的计算能力,但也带来了一些限制,如高能耗、网络依赖性、延迟和运营成本增加等。

随着人们对在医疗保健、消费电子和智能城市等行业实施更智能、更实时应用的兴趣与日俱增,很明显,将人工智能处理推向更接近数据产生的地方,即设备本身,既是技术上的需要,也是战略上的机遇。

然而,在低功耗微控制器上运行人工智能模型是一项挑战。这些设备的内存、计算能力和能源容量通常有限,因此很难在不影响性能或准确性的情况下部署复杂的视觉模型。 

意法半导体(STMicroelectronics)需要确定一套足够通用的模型,以便为其 STM32N6 微控制器提供可靠的实时计算机视觉功能,同时又不要求开发人员大幅简化其模型或工作流程。他们的目标是在嵌入式系统的严格限制下,提供有意义的设备上人工智能。

在微控制器上简化 YOLO 模型的部署

为了在低功耗嵌入式设备上实现高级人工智能,意法半导体推出了配备Neural-ART Accelerator™的高性能微控制器STM32N6。这是一款专为边缘人工智能工作负载打造的内部神经处理单元(NPU)。这项技术使开发人员可以直接在设备上运行人工智能推理,从而减少对云计算的依赖,同时提高速度、响应速度和能效。

意法半导体与 Ultralytics 合作,通过在微控制器上运行 Ultralytics YOLO 模型来评估和展示 STM32N6 的功能。Ultralytics YOLO 模型以兼顾速度和准确性而著称,非常适合资源有限的环境和嵌入式部署。

图 1.在 STM32N6 上运行 Ultralytics YOLO 模型的示例。

通过直接在 STM32N6 上运行各种 YOLO 模型变体,意法半导体能够在微控制器的功耗和内存限制范围内演示一系列视觉 AI 用例,例如物体检测、分类和跟踪。这项合作为开发人员提供了一个可靠的选择,使他们能够利用可扩展的、生产就绪的视觉模型部署实时的、人工智能驱动的嵌入式系统。

为什么选择 Ultralytics YOLO 模型?

Ultralytics YOLO 模型为意法半导体提供了人工智能嵌入式系统所需的准确性、效率和多功能性的完美结合。这些模型重量轻,可在 STM32N6 等低功耗微控制器上运行,但功能强大,可提供实时对象检测和实例分割性能。

例如,当在 STM32N6 上以 256 x 256 的分辨率运行 Ultralytics YOLOv8n 模型时,系统达到了每秒 34 帧的速度,每次推理耗时约 29 毫秒。功耗测量显示,每次推理仅耗费9.4 毫焦,非常适合在低功耗设备上执行实时视觉任务。

由于支持多种 YOLO 型号变体,开发人员可以根据其应用的限制条件,灵活地对速度、尺寸或精度进行微调。易于集成的架构,加上强大的社区和文档支持,使 Ultralytics YOLO 成为意法半导体在广泛的嵌入式应用案例中加速视觉人工智能应用目标的天然契合点。

通过Ultralytics 企业许可证,意法半导体可向客户提供全套 YOLO 模型,用于内部测试和开发。但是,对于任何商业部署,客户都必须通过许可证表格直接向 Ultralytics 申请自己的商业许可证。这可确保合规性,并支持可扩展的可投入生产的 Vision AI 解决方案。

从智慧城市到医疗保健:可扩展的边缘人工智能在行动

直接在 STM32N6 微控制器上运行 Ultralytics YOLO 模型的能力为意法半导体及其开发人员生态系统带来了广泛的视觉 AI 应用。通过在设备上提供快速、准确的推理,而无需依赖外部处理或云连接,该解决方案使得在紧凑型、低功耗系统中部署智能功能成为可能。

客户正在探索各个领域的用例,如智能城市基础设施中的行人和车辆实时检测、工业自动化中的设备安全检查和质量控制,以及便携式医疗保健工具中的人工智能辅助诊断。同样,在消费电子领域,YOLO 模型可实现存在检测、手势识别和物体跟踪等响应性功能,所有这些功能都能在电池供电设备的性能限制范围内实现。

今天就构建未来的人工智能愿景解决方案

随着人工智能的不断发展,意法半导体致力于让边缘设备更容易获得强大、高效的解决方案。通过与 Ultralytics 等合作伙伴紧密合作,意法半导体利用随时可用的模型、工具和 STM32 兼容资源,帮助开发人员更快地上手操作。 

迈出边缘人工智能创新的下一步。访问我们的GitHub 存储库,了解 Ultralytics YOLO 模型如何改变嵌入式视觉。探索人工智能在医疗保健计算机视觉在零售业中的应用,立即查看我们的许可选项

我们为您的行业提供的解决方案

查看全部

常见问题

什么是 Ultralytics YOLO 模型?

Ultralytics YOLO 模型是一种计算机视觉架构,用于分析来自图像和视频输入的视觉数据。这些模型可用于物体检测、分类、姿势估计、跟踪和实例分割等任务的训练:

  • Ultralytics YOLOv5
  • Ultralytics YOLOv8
  • Ultralytics YOLO11

Ultralytics YOLO 模型之间有什么区别?

Ultralytics YOLO11 是我们计算机视觉模型的最新版本。与之前的版本一样,它支持所有计算机视觉任务,这些都是视觉人工智能社区对 YOLOv8 的喜爱。不过,新版 YOLO11 的性能和准确度更高,使其成为应对现实世界行业挑战的强大工具和完美盟友。

我应该为我的项目选择哪种 Ultralytics YOLO 模型?

您选择使用哪种模式取决于您的具体项目要求。关键是要考虑到性能、准确性和部署需求等因素。以下是简要概述:

  • Ultralytics YOLOv8 的部分主要功能:
  1. 成熟稳定:YOLOv8 是一个成熟、稳定的框架,拥有丰富的文档资料,并与早期的 YOLO 版本兼容,因此非常适合集成到现有的工作流程中。
  2. 易于使用:YOLOv8 易于初学者设置,安装简单直接,非常适合各种技能水平的团队使用。
  3. 成本效益高:它所需的计算资源较少,是注重预算的项目的最佳选择。
  • Ultralytics YOLO11 的部分主要功能:
  1. 更高的精确度:YOLO11 在基准测试中的表现优于 YOLOv8,以更少的参数实现了更高的精确度。
  2. 高级功能它支持姿势估计、物体跟踪和定向边界框(OBB)等尖端任务,提供无与伦比的多功能性。
  3. 实时效率:YOLO11 针对实时应用进行了优化,推理时间更快,在边缘设备和对延迟敏感的任务中表现出色。
  4. 适应性强:YOLO11 具有广泛的硬件兼容性,非常适合在边缘设备、云平台和英伟达™(NVIDIA®)GPU 上部署。

我需要什么许可证?

Ultralytics YOLO 存储库(如 YOLOv5 和 YOLO11)默认按照 AGPL-3.0 许可发布。这种经 OSI 批准的许可证专为学生、研究人员和爱好者设计,旨在促进开放合作,并要求任何使用 AGPL-3.0 组件的软件也必须开源。
如果您的项目涉及将 Ultralytics 软件和人工智能模型嵌入到商业产品或服务中,并且您希望绕过 AGPL-3.0 的开源要求,那么企业许可证是您的理想选择。

‍企业许可证的优势包括

  • 商业灵活性:修改并将 Ultralytics YOLO 源代码和模型嵌入专有产品中,无需遵守 AGPL-3.0 的要求,即可将项目开源。
  • 专有开发:完全自由地开发和发布包含 Ultralytics YOLO 代码和模型的商业应用程序。

为确保无缝集成并避免 AGPL-3.0 限制,请使用所提供的表格申请 Ultralytics 企业许可证。我们的团队将协助您根据具体需求定制许可证。

使用 Ultralytics YOLO 增强动力

为您的项目获取先进的人工智能视觉。立即查找适合您目标的许可证。

探索许可选项
链接复制到剪贴板