STMicroelectronics exécute Ultralytics YOLO sur un MCU à seulement 9,4 mJ par inférence
Découvre comment STMicroelectronics déploie efficacement les modèles Ultralytics YOLO sur des microcontrôleurs basse consommation pour obtenir une inférence précise en temps réel à la périphérie.
Problem
STMicroelectronics devait surmonter des limites en termes de puissance de calcul, d'énergie et de coût pour permettre une nouvelle classe de cas d'usage de vision par ordinateur à la périphérie (edge), en fournissant des résultats haute performance pour une fraction du coût et de la consommation énergétique des solutions existantes.
Solution
Ultralytics et STMicroelectronics se sont associés pour déployer efficacement des modèles YOLO sur des microcontrôleurs basse consommation et obtenir une inférence précise en temps réel à la périphérie.
À mesure que l'adoption de l'IA augmente dans tous les secteurs, la demande croît pour des solutions haute performance et basse consommation capables d'exécuter une inférence en temps réel à la périphérie. Pour répondre à ce besoin technologique, STMicroelectronics a introduit le microcontrôleur STM32N6, doté d'une Neural Processing Unit (NPU) intégrée conçue pour les charges de travail d'IA embarquée.
En faisant tourner les modèles Ultralytics YOLO sur le STM32N6, STMicroelectronics a démontré qu'une Vision AI embarquée précise et efficace est possible sur des microcontrôleurs, ouvrant de nouvelles opportunités pour une intelligence évolutive sur appareil dans des secteurs comme les villes intelligentes, la santé et l'électronique grand public.
Link to this sectionExplorer la Vision AI pour les appareils basse consommation à la périphérie#
STMicroelectronics est un leader mondial de la technologie des semi-conducteurs, avec plus de 50 000 employés et plus de 200 000 clients dans le monde. Ils conçoivent et fabriquent des puces qui alimentent des applications allant des véhicules électriques et équipements industriels aux appareils domestiques intelligents et à l'électronique grand public.
Alors que davantage d'industries se tournent vers l'IA pour rendre les appareils plus intelligents et plus réactifs, STMicroelectronics s'est concentré sur l'apport de ces capacités directement à la périphérie. Par exemple, leur microcontrôleur STM32N6, une puce puissante et économe en énergie, peut gérer des tâches d'IA sur appareil comme la vision par ordinateur.
Pour aider les développeurs à créer des applications de vision embarquée sur STM32N6, STMicroelectronics a cherché des modèles flexibles et performants pouvant s'exécuter efficacement sur un microcontrôleur. Les modèles Ultralytics YOLO se sont révélés être un excellent choix, offrant une combinaison fiable de vitesse, de précision et de facilité d'intégration.
Link to this sectionLes contraintes liées à l'activation de systèmes embarqués alimentés par l'IA#
Avant que le concept d'Edge AI ne soit largement accepté, les modèles de vision par ordinateur étaient généralement développés pour tourner sur de grands systèmes centralisés tels que des serveurs cloud ou des GPU (Graphics Processing Units). Ces plateformes offraient les capacités de calcul nécessaires pour entraîner et déployer de grands modèles, mais elles introduisaient également des limitations telles qu'une consommation d'énergie élevée, une dépendance au réseau, une latence et des coûts opérationnels accrus.
Alors que l'intérêt grandissait pour la mise en œuvre d'applications en temps réel dans des industries comme la santé, l'électronique grand public et les villes intelligentes, il est devenu clair que pousser le traitement de l'IA au plus proche de l'endroit où les données sont générées, sur l'appareil lui-même, était à la fois une nécessité technique et une opportunité stratégique.
Cependant, exécuter des modèles d'IA sur des microcontrôleurs basse consommation peut s'avérer difficile. Ces appareils ont généralement une mémoire, une puissance de calcul et une capacité énergétique limitées, ce qui rend difficile le déploiement de modèles de vision complexes sans compromettre les performances ou la précision.
STMicroelectronics devait identifier une suite de modèles suffisamment polyvalents pour apporter des capacités de vision par ordinateur fiables et en temps réel à leur microcontrôleur STM32N6, sans exiger des développeurs qu'ils simplifient radicalement leurs modèles ou leurs flux de travail. Leur objectif était de fournir une IA sur appareil significative tout en respectant les contraintes strictes des systèmes embarqués.
Link to this sectionDéploiement simplifié des modèles YOLO sur des microcontrôleurs#
Pour permettre une IA avancée sur des appareils embarqués basse consommation, STMicroelectronics a introduit le STM32N6, un microcontrôleur haute performance équipé du Neural-ART Accelerator™. Il s'agit d'une Neural Processing Unit (NPU) interne conçue spécifiquement pour les charges de travail d'IA à la périphérie. Cette technologie permet aux développeurs d'exécuter des inférences d'IA directement sur l'appareil, réduisant la dépendance au cloud computing tout en améliorant la vitesse, la réactivité et l'efficacité énergétique.
STMicroelectronics s'est associé à Ultralytics pour évaluer et présenter les capacités du STM32N6 en faisant tourner des modèles Ultralytics YOLO sur le microcontrôleur. Connus pour leur équilibre entre vitesse et précision, les modèles Ultralytics YOLO sont bien adaptés aux environnements aux ressources limitées et aux déploiements embarqués.
Fig 1. Un exemple d'exécution d'un modèle Ultralytics YOLO sur le STM32N6.
En exécutant divers modèles YOLO directement sur le STM32N6, STMicroelectronics a pu démontrer une gamme de cas d'usage de Vision AI, tels que la détection d'objets, la classification et le suivi, tout en respectant les limites de puissance et de mémoire d'un microcontrôleur. Cette collaboration fournit aux développeurs une option fiable pour déployer des systèmes embarqués alimentés par l'IA en temps réel en utilisant des modèles de vision évolutifs et prêts pour la production.
Link to this sectionPourquoi choisir les modèles Ultralytics YOLO ?#
Les modèles Ultralytics YOLO ont offert à STMicroelectronics la combinaison parfaite de précision, d'efficacité et de polyvalence nécessaire pour les systèmes embarqués dotés d'IA. Les modèles sont suffisamment légers pour tourner sur des microcontrôleurs basse consommation comme le STM32N6, tout en étant assez puissants pour fournir des performances de détection d'objets et de segmentation d'instance en temps réel.
Par exemple, lors de l'exécution du modèle Ultralytics YOLOv8n à une résolution de 256 par 256 sur le STM32N6, le système a atteint 34 images par seconde avec chaque inférence prenant environ 29 millisecondes. Les mesures de puissance ont montré qu'il utilisait seulement 9,4 millijoules par inférence, ce qui le rend bien adapté aux tâches de vision en temps réel sur les appareils basse consommation.
Avec la prise en charge de plusieurs variantes de modèles YOLO, les développeurs ont la flexibilité d'ajuster pour la vitesse, la taille ou la précision en fonction des contraintes de leur application. L'architecture facile à intégrer, combinée à un solide soutien de la communauté et de la documentation, a fait d'Ultralytics YOLO un choix naturel pour l'objectif de STMicroelectronics d'accélérer l'adoption de la Vision AI dans un large éventail de cas d'usage embarqués.
Grâce à une licence Ultralytics Enterprise, STMicroelectronics fournit aux clients un accès à la suite complète de modèles YOLO pour les tests internes et le développement. Cependant, pour tout déploiement commercial, les clients doivent demander leur propre licence commerciale directement auprès d'Ultralytics via le formulaire de licence. Cela garantit la conformité et favorise une voie évolutive vers des solutions de Vision AI prêtes pour la production.
Link to this sectionDes villes intelligentes à la santé : l'IA à la périphérie évolutive en action#
La capacité d'exécuter des modèles Ultralytics YOLO directement sur le microcontrôleur STM32N6 a débloqué un large éventail d'applications de Vision AI pour STMicroelectronics et son écosystème de développeurs. En fournissant une inférence rapide et précise sur l'appareil sans dépendre d'un traitement externe ou d'une connectivité cloud, cette solution permet de déployer des fonctionnalités intelligentes dans des systèmes compacts et basse consommation.
Les clients explorent des cas d'usage dans des secteurs tels que la détection de piétons et de véhicules en temps réel dans l'infrastructure des villes intelligentes, les contrôles de sécurité et le contrôle qualité sur appareil dans l'automatisation industrielle, et les diagnostics assistés par IA dans les outils de santé portables. De même, dans l'espace de l'électronique grand public, les modèles YOLO permettent des fonctionnalités réactives telles que la détection de présence, la reconnaissance de gestes et le suivi d'objets - tout en respectant les contraintes de performance des appareils fonctionnant sur batterie.
Link to this sectionConstruire dès aujourd'hui les solutions de Vision AI de demain#
À mesure que l'IA continue d'évoluer, STMicroelectronics se concentre sur la simplification de l'apport de solutions puissantes et efficaces aux appareils à la périphérie. En travaillant en étroite collaboration avec des partenaires comme Ultralytics, ils aident les développeurs à démarrer plus rapidement avec des modèles, des outils et des ressources compatibles avec STM32 prêts à l'emploi.
Passez à l'étape suivante dans l'innovation de l'Edge AI. Visitez notre dépôt GitHub pour découvrir comment les modèles Ultralytics YOLO transforment la vision embarquée. Explorez les applications de l'IA dans la santé et la vision par ordinateur dans la vente au détail, et consultez nos options de licence dès aujourd'hui !
