STMicroelectronics esegue Ultralytics YOLO su un MCU a soli 9,4 mJ per inferenza
Scopri come STMicroelectronics distribuisce in modo efficiente i modelli Ultralytics YOLO su microcontrollori a basso consumo per ottenere un'inferenza accurata in tempo reale all'edge.
Problem
STMicroelectronics aveva bisogno di superare i limiti di potenza di elaborazione, energia e costi per abilitare una nuova classe di casi d'uso di visione artificiale all'edge, fornendo risultati ad alte prestazioni a una frazione del costo e del consumo energetico delle soluzioni esistenti.
Solution
Ultralytics e STMicroelectronics hanno collaborato per distribuire in modo efficiente i modelli YOLO su microcontrollori a basso consumo e ottenere inferenze accurate in tempo reale all'edge.
Con l'aumento dell'adozione dell'IA in tutti i settori, cresce la richiesta di soluzioni ad alte prestazioni e basso consumo in grado di eseguire inferenze in tempo reale all'edge. Per rispondere a questa esigenza tecnologica, STMicroelectronics ha introdotto il microcontrollore STM32N6, dotato di una Neural Processing Unit (NPU) integrata progettata per carichi di lavoro di IA embedded.
Eseguendo i modelli Ultralytics YOLO su STM32N6, STMicroelectronics ha dimostrato che la Vision AI embedded, accurata ed efficiente, è possibile sui microcontrollori, aprendo nuove opportunità per l'intelligenza scalabile on-device in settori come le smart city, l'assistenza sanitaria e l'elettronica di consumo.
Link to this sectionEsplorare la Vision AI per dispositivi a basso consumo all'edge#
STMicroelectronics è un leader globale nella tecnologia dei semiconduttori, con oltre 50.000 dipendenti e più di 200.000 clienti in tutto il mondo. Progettano e costruiscono chip che consentono applicazioni che vanno dai veicoli elettrici e apparecchiature industriali ai dispositivi per la casa intelligente e l'elettronica di consumo.
Man mano che sempre più settori si rivolgono all'IA per rendere i dispositivi più intelligenti e reattivi, STMicroelectronics si è concentrata sul portare tali funzionalità direttamente all'edge. Ad esempio, il loro microcontrollore STM32N6, un chip potente ed efficiente dal punto di vista energetico, può gestire attività di IA on-device come la computer vision.
Per aiutare gli sviluppatori a creare applicazioni di visione embedded su STM32N6, STMicroelectronics ha cercato modelli flessibili e ad alte prestazioni che potessero funzionare in modo efficiente su un microcontrollore. I modelli Ultralytics YOLO si sono rivelati una soluzione ideale, offrendo una combinazione affidabile di velocità, precisione e facilità di integrazione.
Link to this sectionI vincoli nell'abilitazione di sistemi embedded basati su IA#
Prima che il concetto di Edge AI diventasse ampiamente accettato, i modelli di computer vision venivano solitamente sviluppati per essere eseguiti su sistemi grandi e centralizzati come server cloud o GPU (Graphics Processing Units). Queste piattaforme offrivano le capacità di calcolo necessarie per addestrare e distribuire modelli di grandi dimensioni, ma introducevano anche limitazioni come elevato consumo energetico, dipendenza dalla rete, latenza e maggiori costi operativi.
Con la crescita dell'interesse nell'implementazione di applicazioni in tempo reale più intelligenti in settori come l'assistenza sanitaria, l'elettronica di consumo e le smart city, è diventato chiaro che spostare l'elaborazione IA più vicino al punto in cui vengono generati i dati, sul dispositivo stesso, fosse sia una necessità tecnica che un'opportunità strategica.
Tuttavia, eseguire modelli IA su microcontrollori a basso consumo può essere difficile. Questi dispositivi hanno generalmente memoria, potenza di calcolo e capacità energetica limitate, rendendo difficile la distribuzione di modelli di visione complessi senza comprometterne le prestazioni o la precisione.
STMicroelectronics doveva identificare una suite di modelli abbastanza versatile da portare funzionalità di computer vision affidabili e in tempo reale sul loro microcontrollore STM32N6, senza richiedere agli sviluppatori di semplificare drasticamente i loro modelli o flussi di lavoro. Il loro obiettivo era fornire un'IA on-device significativa rimanendo entro i rigidi vincoli dei sistemi embedded.
Link to this sectionDistribuzione ottimizzata dei modelli YOLO sui microcontrollori#
Per abilitare un'IA avanzata su dispositivi embedded a basso consumo, STMicroelectronics ha introdotto STM32N6, un microcontrollore ad alte prestazioni dotato dell'acceleratore Neural-ART™. Si tratta di una Neural Processing Unit (NPU) interna costruita specificamente per carichi di lavoro di edge AI. Questa tecnologia consente agli sviluppatori di eseguire inferenze IA direttamente sul dispositivo, riducendo la dipendenza dal cloud computing e migliorando velocità, reattività ed efficienza energetica.
STMicroelectronics ha collaborato con Ultralytics per valutare e mostrare le capacità di STM32N6 eseguendo i modelli Ultralytics YOLO sul microcontrollore. Noti per il loro equilibrio tra velocità e precisione, i modelli Ultralytics YOLO sono adatti per ambienti con risorse limitate e distribuzioni embedded.
Fig 1. Un esempio di esecuzione di un modello Ultralytics YOLO su STM32N6.
Eseguendo varie varianti del modello YOLO direttamente su STM32N6, STMicroelectronics è stata in grado di dimostrare una gamma di casi d'uso di Vision AI, come object detection, classificazione e tracking, il tutto entro i limiti di alimentazione e memoria di un microcontrollore. Questa collaborazione fornisce agli sviluppatori un'opzione affidabile per distribuire sistemi embedded basati su IA in tempo reale utilizzando modelli di visione scalabili e pronti per la produzione.
Link to this sectionPerché scegliere i modelli Ultralytics YOLO?#
I modelli Ultralytics YOLO hanno offerto a STMicroelectronics la giusta combinazione di precisione, efficienza e versatilità necessaria per i sistemi embedded abilitati all'IA. I modelli sono abbastanza leggeri da funzionare su microcontrollori a basso consumo come l'STM32N6, ma abbastanza potenti da offrire prestazioni di object detection e segmentazione di istanze in tempo reale.
Ad esempio, eseguendo il modello Ultralytics YOLOv8n a una risoluzione di 256 per 256 su STM32N6, il sistema ha raggiunto 34 fotogrammi al secondo con ogni inferenza che ha richiesto circa 29 millisecondi. Le misurazioni della potenza hanno mostrato che ha utilizzato solo 9,4 millijoule per inferenza, rendendolo adatto per attività di visione in tempo reale su dispositivi a basso consumo.
Con il supporto per molteplici varianti di modelli YOLO, gli sviluppatori hanno la flessibilità di ottimizzare per velocità, dimensioni o precisione a seconda dei vincoli della propria applicazione. L'architettura facile da integrare, combinata con un forte supporto della community e della documentazione, ha reso Ultralytics YOLO una scelta naturale per l'obiettivo di STMicroelectronics di accelerare l'adozione della Vision AI in un'ampia gamma di casi d'uso embedded.
Attraverso una licenza Ultralytics Enterprise, STMicroelectronics fornisce ai clienti l'accesso all'intera suite di modelli YOLO per test e sviluppo interni. Tuttavia, per qualsiasi distribuzione commerciale, i clienti devono richiedere la propria licenza commerciale direttamente a Ultralytics tramite il modulo di licenza. Ciò garantisce la conformità e supporta un percorso scalabile verso soluzioni di Vision AI pronte per la produzione.
Link to this sectionDalle smart city all'assistenza sanitaria: Edge AI scalabile in azione#
La capacità di eseguire i modelli Ultralytics YOLO direttamente sul microcontrollore STM32N6 ha sbloccato un'ampia gamma di applicazioni di Vision AI per STMicroelectronics e il suo ecosistema di sviluppatori. Fornendo inferenze veloci e precise sul dispositivo senza fare affidamento su elaborazioni esterne o connettività cloud, questa soluzione rende possibile distribuire funzionalità intelligenti in sistemi compatti e a basso consumo.
I clienti stanno esplorando casi d'uso in settori come il rilevamento di pedoni e veicoli in tempo reale nelle infrastrutture di smart city, controlli di sicurezza e controllo qualità on-device nell'automazione industriale e diagnostica assistita dall'IA in strumenti sanitari portatili. Allo stesso modo, nello spazio dell'elettronica di consumo, i modelli YOLO abilitano funzionalità reattive come il rilevamento della presenza, il riconoscimento dei gesti e l'object tracking - tutto entro i vincoli prestazionali di dispositivi alimentati a batteria.
Link to this sectionCostruire oggi le soluzioni di Vision AI di domani#
Mentre l'IA continua a evolversi, STMicroelectronics è concentrata sul rendere più semplice l'apporto di soluzioni potenti ed efficienti ai dispositivi edge. Lavorando a stretto contatto con partner come Ultralytics, stanno aiutando gli sviluppatori a iniziare più velocemente con modelli pronti all'uso, strumenti e risorse compatibili con STM32.
Fai il prossimo passo nell'innovazione dell'edge AI. Visita il nostro repository GitHub per scoprire come i modelli Ultralytics YOLO stanno trasformando la visione embedded. Esplora le applicazioni dell'IA nell'assistenza sanitaria e della computer vision nel settore retail, e dai un'occhiata alle nostre opzioni di licenza oggi stesso!
