深圳Yolo 视觉
深圳
立即加入
返回客户案例

利用Ultralytics YOLO 和意法半导体 MCU 实现嵌入式视觉人工智能

问题

克服当前在处理能力、能源和成本方面的限制,从而在边缘实现一类新的计算机视觉用例,以现有解决方案的一小部分成本和能耗提供高性能输出。

解决方案

Ultralytics 和意法半导体携手合作,在低功耗微控制器上高效部署YOLO 模型,并在边缘实现准确、实时的推断。

随着各行业对 AI 的采用不断增加,对能够在边缘运行实时推理的高性能、低功耗解决方案的需求也在迅速增长。为了满足这一技术需求,STMicroelectronics 推出了 STM32N6 微控制器,该微控制器具有专为嵌入式 AI 工作负载设计的集成神经处理单元 (NPU)。 

通过在 STM32N6 上运行Ultralytics YOLO 模型,意法半导体证明了在微控制器上实现准确、高效的嵌入式视觉人工智能是可能的,从而为智能城市、医疗保健和消费电子等领域的可扩展设备智能开辟了新的机遇。

探索边缘设备低功耗视觉 AI

意法半导体 (STMicroelectronics) 是半导体技术的全球领导者,在全球拥有超过 50,000 名员工和超过 200,000 名客户。他们设计和制造芯片,为从电动汽车和工业设备到智能家居设备和消费电子产品的各种应用提供支持。

随着越来越多的行业转向 AI 以使设备更智能、响应更快,意法半导体一直专注于将这些功能直接带到边缘。例如,他们的 STM32N6 微控制器是一款功能强大、节能的芯片,可以处理设备上的 AI 任务,例如计算机视觉

为了帮助开发人员在 STM32N6 上构建嵌入式视觉应用,意法半导体寻找能够在微控制器上高效运行的灵活、高性能模型。Ultralytics YOLO 模型在速度、精度和易集成性方面提供了可靠的组合,因此非常适合。

启用 AI 驱动的嵌入式系统的约束

在边缘人工智能的概念被广泛接受之前,计算机视觉模型通常被开发为在大型集中式系统(如云服务器或GPU(图形处理单元))上运行。这些平台提供了训练和部署大型模型所需的计算能力,但它们也带来了诸如高能耗、网络依赖性、延迟和运营成本增加等限制。

随着人们越来越有兴趣在医疗保健、消费电子和智慧城市等行业中实施更智能的实时应用程序,很明显,将 AI 处理推向更靠近数据生成的位置(设备本身)既是技术上的必要,也是战略上的机遇。

然而,在低功耗微控制器上运行 AI 模型可能具有挑战性。这些设备的内存、计算能力和能源容量通常有限,这使得在不影响性能或准确性的情况下部署复杂的视觉模型变得困难。 

意法半导体需要确定一套足够通用的模型,以便为他们的 STM32N6 微控制器带来可靠的实时计算机视觉功能,而无需开发人员大幅简化他们的模型或工作流程。他们的目标是在嵌入式系统的严格约束范围内提供有意义的设备端 AI。

在微控制器上简化YOLO 模型的部署

为了在低功耗嵌入式设备上实现高级 AI,STMicroelectronics 推出了 STM32N6,这是一款配备 Neural-ART Accelerator™ 的高性能微控制器。它是一款专为边缘 AI 工作负载构建的内部神经处理单元 (NPU)。这项技术使开发人员可以直接在设备上运行 AI 推理,从而减少对云计算的依赖,同时提高速度、响应能力和能源效率。

意法半导体与Ultralytics 合作,通过在微控制器上运行Ultralytics YOLO 模型来评估和展示 STM32N6 的功能。Ultralytics YOLO 模型以兼顾速度和准确性而著称,非常适合资源有限的环境和嵌入式部署。

图 1.在 STM32N6 上运行Ultralytics YOLO 模型的示例。

通过直接在 STM32N6 上运行各种YOLO 模型变体,意法半导体能够在微控制器的功耗和内存限制范围内演示一系列视觉 AI 用例,例如物体检测、分类和跟踪。这项合作为开发人员提供了一个可靠的选择,使他们能够利用可扩展的、生产就绪的视觉模型部署实时的、人工智能驱动的嵌入式系统。

为什么选择Ultralytics YOLO 模型?

Ultralytics YOLO 模型为意法半导体提供了人工智能嵌入式系统所需的准确性、效率和多功能性的完美结合。这些模型重量轻,可在 STM32N6 等低功耗微控制器上运行,但功能强大,可提供实时对象检测和实例分割性能。

例如,当在 STM32N6 上以 256 x 256 的分辨率运行Ultralytics YOLOv8n 模型时,系统达到了每秒 34 帧的速度,每次推理耗时约 29 毫秒。功耗测量显示,每次推理仅耗费9.4 毫焦,非常适合在低功耗设备上执行实时视觉任务。

由于支持多种YOLO 型号变体,开发人员可以根据其应用的限制条件,灵活地对速度、尺寸或精度进行微调。易于集成的架构,加上强大的社区和文档支持,使Ultralytics YOLO 成为意法半导体在广泛的嵌入式应用案例中加速视觉人工智能应用目标的天然契合点。

通过Ultralytics 企业许可证,意法半导体可向客户提供全套YOLO 模型,用于内部测试和开发。但是,对于任何商业部署,客户都必须通过许可证表格直接向Ultralytics 申请自己的商业许可证。这可确保合规性,并支持可扩展的可投入生产的 Vision AI 解决方案。

从智慧城市到医疗保健:可扩展的边缘 AI 实践

直接在 STM32N6 微控制器上运行Ultralytics YOLO 模型的能力为意法半导体及其开发人员生态系统带来了广泛的视觉 AI 应用。通过在设备上提供快速、准确的推理,而无需依赖外部处理或云连接,该解决方案使得在紧凑型、低功耗系统中部署智能功能成为可能。

客户正在探索各个领域的用例,如智能城市基础设施中的行人和车辆实时检测、工业自动化中的设备安全检查和质量控制,以及便携式医疗保健工具中的人工智能辅助诊断。同样,在消费电子领域,YOLO 模型可实现存在检测、手势识别和物体跟踪等响应性功能,所有这些功能都能在电池供电设备的性能限制范围内实现。

构建未来的视觉 AI 解决方案

随着人工智能的不断发展,意法半导体致力于让边缘设备更容易获得强大、高效的解决方案。通过与Ultralytics 等合作伙伴紧密合作,意法Ultralytics利用随时可用的模型、工具和 STM32 兼容资源,帮助开发人员更快地上手操作。 

迈出边缘人工智能创新的下一步。访问我们的GitHub 存储库,了解Ultralytics YOLO 模型如何改变嵌入式视觉。探索人工智能在医疗保健计算机视觉在零售业中的应用,立即查看我们的许可选项

我们为您的行业提供的解决方案

查看全部

常见问题

什么是Ultralytics YOLO 模型?

Ultralytics YOLO 模型是一种计算机视觉架构,用于分析来自图像和视频输入的视觉数据。这些模型可用于物体检测、分类、姿势估计 、跟踪和实例分割等任务的训练Ultralytics

  • Ultralytics YOLOv5
  • Ultralytics YOLOv8
  • Ultralytics YOLO11

Ultralytics YOLO 模型之间有什么区别?

Ultralytics YOLO11 是我们计算机视觉模型的最新版本。与之前的版本一样,它支持所有计算机视觉任务,这些都是视觉人工智能社区对YOLOv8 的喜爱。不过,新版YOLO11 的性能和准确度更高,使其成为一款功能强大的工具,是应对现实世界行业挑战的完美盟友。

我应该为我的项目选择哪种Ultralytics YOLO 模型?

您选择使用的模型取决于您的具体项目要求。关键是要考虑到性能、准确性和部署需求等因素。以下是一个快速概览:

  • Ultralytics YOLOv8 的部分主要功能:
  1. 成熟稳定: YOLOv8 是一个成熟、稳定的框架,拥有丰富的文档资料,并与早期的YOLO 版本兼容,因此非常适合集成到现有的工作流程中。
  2. 易于使用: YOLOv8 易于初学者设置,安装简单直接,非常适合各种技能水平的团队使用。
  3. 成本效益:它需要的计算资源更少,使其成为预算有限的项目的绝佳选择。
  • Ultralytics YOLO11 的部分主要功能:
  1. 更高的精确度: YOLO11 在基准测试中的表现优于YOLOv8 ,以更少的参数实现了更高的精确度。
  2. 高级功能:它支持最前沿的任务,如姿势估计 、物体跟踪和定向边界旋转框检测),提供无与伦比的多功能性。
  3. 实时效率: YOLO11 针对实时应用进行了优化,推理时间更快,在边缘设备和对延迟敏感的任务中表现出色。
  4. 适应性强: YOLO11 具有广泛的硬件兼容性,非常适合在边缘设备、云平台和NVIDIA ®)GPU 上部署。

我需要什么许可证?

Ultralytics YOLO 存储库(如YOLOv5 和YOLO11)默认按照AGPL-3.0 许可发布。这种经 OSI 批准的许可证专为学生、研究人员和爱好者设计,旨在促进开放合作,并要求任何使用AGPL-3.0 组件的软件也必须开源。
如果您的项目涉及将Ultralytics 软件和人工智能模型嵌入到商业产品或服务中,并且您希望绕过AGPL-3.0开源要求,那么企业许可证是您的理想选择。

企业许可证的优势包括:

  • 商业灵活性:修改并将Ultralytics YOLO 源代码和模型嵌入专有产品中,无需遵守AGPL-3.0 要求,即可将项目开源。
  • 专有开发:完全自由地开发和发布包含Ultralytics YOLO 代码和模型的商业应用程序。

为确保无缝集成并避免AGPL-3.0 限制,请使用所提供的表格申请Ultralytics 企业许可证。我们的团队将协助您根据具体需求定制许可证。

使用Ultralytics YOLO增强动力

为您的项目获取高级 AI 视觉。立即找到适合您目标的许可证。

探索许可选项