Distribuire Ultralytics YOLO11 su Rockchip per un'Edge AI efficiente

Un'espressione molto in voga nella community dell'AI è edge AI, soprattutto per quanto riguarda la visione artificiale. Con la crescita delle applicazioni basate sull'AI, aumenta la necessità di eseguire i modelli in modo efficiente su dispositivi embedded con risorse energetiche e di calcolo limitate.

Per esempio, i droni usano la Vision AI per la navigazione in tempo reale, le smart camera rilevano gli oggetti all'istante e i sistemi di automazione industriale eseguono il controllo qualità senza ricorrere al cloud computing. Queste applicazioni richiedono un'elaborazione AI rapida ed efficiente direttamente sui dispositivi edge, per garantire prestazioni in tempo reale e una latenza ridotta. Tuttavia, eseguire modelli di AI sui dispositivi edge non è sempre semplice. Spesso i modelli di AI richiedono più potenza e memoria di quanta ne possano offrire molti dispositivi edge.

RKNN Toolkit di Rockchip aiuta a risolvere questo problema ottimizzando i modelli di deep learning per i dispositivi basati su Rockchip. Usa unità di elaborazione neurale dedicate (NPUs) per accelerare l'inferenza, riducendo la latenza e il consumo energetico rispetto all'elaborazione su CPU o GPU.

La community di Vision AI desiderava da tempo eseguire Ultralytics YOLO11 sui dispositivi basati su Rockchip, e abbiamo ascoltato le vostre richieste. Abbiamo aggiunto il supporto per esportare YOLO11 nel formato del modello RKNN. In questo articolo vedremo come funziona l'esportazione in RKNN e perché il deployment di YOLO11 sui dispositivi basati su Rockchip è così utile per l'edge AI.

Che cosa sono Rockchip e RKNN Toolkit?#

Rockchip è un'azienda che progetta system-on-chip (SoC), processori piccoli ma potenti che alimentano molti dispositivi embedded. Questi chip combinano CPU, GPU e un'unità di elaborazione neurale (NPU) per gestire attività che vanno dal computing generico alle applicazioni di Vision AI basate sul rilevamento degli oggetti e sull'elaborazione delle immagini.

I SoC Rockchip sono utilizzati in numerosi dispositivi, tra cui computer a scheda singola (SBC), schede di sviluppo, sistemi di AI industriale e smart camera. Molti produttori hardware noti, come Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi, realizzano dispositivi basati su SoC Rockchip. Queste schede sono diffuse per le applicazioni di edge AI e visione artificiale, perché offrono un buon equilibrio tra prestazioni, efficienza energetica e prezzo.

Fig. 1 Esempio di dispositivo basato su Rockchip.

Per consentire ai modelli di AI di funzionare in modo efficiente su questi dispositivi, Rockchip mette a disposizione RKNN (Rockchip Neural Network) Toolkit. Lo strumento permette agli sviluppatori di convertire e ottimizzare i modelli di deep learning per utilizzare le unità di elaborazione neurale (NPU) di Rockchip.

I modelli RKNN sono ottimizzati per un'inferenza a bassa latenza e un consumo energetico efficiente. Convertendo i modelli in RKNN, gli sviluppatori possono ottenere velocità di elaborazione maggiori, ridurre il consumo energetico e migliorare l'efficienza sui dispositivi basati su Rockchip.

I modelli RKNN sono ottimizzati#

Vediamo più da vicino come i modelli RKNN migliorano le prestazioni dell'AI sui dispositivi compatibili con Rockchip.

A differenza di CPU e GPU, che gestiscono un'ampia gamma di attività di calcolo, le NPU di Rockchip sono progettate specificamente per il deep learning. Convertendo i modelli di AI in formato RKNN, gli sviluppatori possono eseguire l'inferenza direttamente sulla NPU. I modelli RKNN sono quindi particolarmente utili per le attività di visione artificiale in tempo reale, che richiedono un'elaborazione rapida ed efficiente.

Le NPU sono più rapide ed efficienti di CPU e GPU nelle attività di AI perché sono progettate per gestire in parallelo i calcoli delle reti neurali. Mentre le CPU elaborano le attività una alla volta e le GPU distribuiscono i carichi di lavoro su più core, le NPU sono ottimizzate per eseguire con maggiore efficienza i calcoli specifici dell'AI.

Di conseguenza, i modelli RKNN sono più rapidi e consumano meno energia, caratteristiche che li rendono ideali per dispositivi a batteria, smart camera, automazione industriale e altre applicazioni di edge AI che richiedono decisioni in tempo reale.

Panoramica dei modelli Ultralytics YOLO#

I modelli Ultralytics YOLO (You Only Look Once) sono progettati per attività di visione artificiale in tempo reale come il rilevamento degli oggetti, la segmentazione delle istanze e la classificazione delle immagini. Sono noti per velocità, precisione ed efficienza e vengono ampiamente utilizzati in settori come agricoltura, produzione, sanità e sistemi autonomi.

Questi modelli sono migliorati notevolmente nel tempo. Per esempio, Ultralytics YOLOv5 ha reso più semplice usare il rilevamento degli oggetti con PyTorch. In seguito, Ultralytics YOLOv8 ha aggiunto nuovi task come la stima della posa e riunito rilevamento, segmentazione, classificazione e stima della posa in un unico framework. Ora YOLO11 fa un ulteriore passo avanti, aumentando la precisione e usando meno risorse. Infatti, YOLO11m offre prestazioni migliori sul dataset COCO pur usando il 22% di parametri in meno rispetto a YOLOv8m, risultando così più preciso ed efficiente.

Fig. 2. Rilevamento degli oggetti con Ultralytics YOLO11.

I modelli Ultralytics YOLO supportano anche l'esportazione in diversi formati, consentendo una distribuzione flessibile su varie piattaforme. Tra questi formati ci sono ONNX, TensorRT, CoreML e OpenVINO, che offrono agli sviluppatori la libertà di ottimizzare le prestazioni in base all'hardware di destinazione.

Con il supporto aggiunto per l'esportazione di YOLO11 nel formato del modello RKNN, YOLO11 può ora sfruttare le NPU di Rockchip. Il modello più piccolo, YOLO11n in formato RKNN, raggiunge un tempo di inferenza di 99,5 ms per immagine, consentendo l'elaborazione in tempo reale anche sui dispositivi embedded.

Esportare il tuo modello Ultralytics YOLO11 in formato RKNN#

Al momento della stesura, era possibile esportare nel formato RKNN i modelli di rilevamento degli oggetti Ultralytics YOLO11. Da allora, l'esportazione RKNN è stata estesa a tutti i task Ultralytics e alla quantizzazione INT8 (quantize=8), come descritto nella guida all'integrazione RKNN linkata sopra.

Esportare Ultralytics YOLO11 in formato RKNN è semplice. Puoi caricare il tuo modello YOLO11 addestrato su misura, specificare la piattaforma Rockchip di destinazione e convertirlo in formato RKNN con poche righe di codice. Il formato RKNN è compatibile con vari SoC Rockchip, tra cui RK3588, RK3566 e RK3576, garantendo un'ampia compatibilità hardware.

Fig. 3. Esportazione di Ultralytics YOLO11 in formato modello RKNN.

Distribuire Ultralytics YOLO11 sui dispositivi basati su Rockchip#

Una volta esportato, il modello RKNN può essere distribuito sui dispositivi basati su Rockchip. Per distribuire il modello, basta caricare il file RKNN esportato sul dispositivo Rockchip ed eseguire l'inferenza, ovvero usare il modello di AI addestrato per analizzare nuove immagini o video e rilevare gli oggetti in tempo reale. Con poche righe di codice puoi iniziare a identificare gli oggetti nelle immagini o nei flussi video.

Fig. 4. Esecuzione di un'inferenza con il modello RKNN esportato.

Applicazioni di edge AI con Ultralytics YOLO11 e Rockchip#

Per capire meglio in quali contesti reali è possibile distribuire Ultralytics YOLO11 sui dispositivi compatibili con Rockchip, vediamo alcune applicazioni chiave di edge AI.

I processori Rockchip sono ampiamente utilizzati in tablet Android, schede di sviluppo e sistemi di AI industriale. Grazie al supporto per Android, Linux e Python, puoi creare e distribuire facilmente soluzioni basate sulla Vision AI in diversi settori.

Tablet rugged con Ultralytics YOLO11 integrato#

Una delle applicazioni più comuni di Ultralytics YOLO11 sui dispositivi basati su Rockchip è l'uso nei tablet rugged. Sono tablet resistenti e ad alte prestazioni, progettati per ambienti difficili come magazzini, cantieri e contesti industriali. Questi tablet possono sfruttare il rilevamento degli oggetti per migliorare efficienza e sicurezza.

Per esempio, nella logistica di magazzino, gli operatori possono usare un tablet basato su Rockchip con YOLO11 per scansionare e rilevare automaticamente le scorte, riducendo gli errori umani e accelerando i tempi di elaborazione. Allo stesso modo, nei cantieri questi tablet possono rilevare se gli operatori indossano i dispositivi di protezione richiesti, come caschi e giubbotti, aiutando le aziende a far rispettare le norme e prevenire gli incidenti.

Fig. 5 Rilevamento dei dispositivi di protezione con Ultralytics YOLO11.

AI industriale per il controllo qualità#

Nel settore della produzione e dell'automazione, le schede industriali basate su Rockchip possono svolgere un ruolo importante nel controllo qualità e nel monitoraggio dei processi. Una scheda industriale è un modulo di calcolo compatto e ad alte prestazioni, progettato per sistemi embedded in contesti industriali. Queste schede includono in genere processori, memoria, interfacce I/O e opzioni di connettività che possono integrarsi con sensori, telecamere e macchinari automatizzati.

Eseguire i modelli Ultralytics YOLO11 su queste schede consente di analizzare le linee di produzione in tempo reale, individuando subito i problemi e migliorando l'efficienza. Per esempio, nella produzione automobilistica, un sistema di AI basato su hardware Rockchip e YOLO11 può rilevare graffi, componenti disallineati o difetti di verniciatura mentre le auto avanzano lungo la linea di assemblaggio. Individuando questi difetti in tempo reale, i produttori possono ridurre gli sprechi e i costi di produzione e garantire standard qualitativi più elevati prima che i veicoli arrivino ai clienti.

Vantaggi dell'esecuzione di Ultralytics YOLO11 sui dispositivi basati su Rockchip#

I dispositivi basati su Rockchip offrono un buon equilibrio tra prestazioni, costo ed efficienza, rendendoli una scelta ottimale per distribuire Ultralytics YOLO11 nelle applicazioni di edge AI.

Ecco alcuni vantaggi dell'esecuzione di Ultralytics YOLO11 sui dispositivi basati su Rockchip:

• Prestazioni AI migliorate: i dispositivi compatibili con Rockchip gestiscono l'inferenza AI in modo più efficiente rispetto alle schede basate su CPU come Raspberry Pi, offrendo un rilevamento degli oggetti più rapido e una latenza inferiore.
• Soluzione conveniente: se stai sperimentando con l'AI e ti serve un'opzione economica che offra comunque prestazioni elevate, Rockchip è un'ottima scelta. Offre un modo accessibile per eseguire Ultralytics YOLO11 senza rinunciare alla velocità o all'efficienza.
• Efficienza energetica: eseguire modelli di visione artificiale sui dispositivi basati su Rockchip consuma meno energia rispetto alle GPU, rendendoli ideali per i dispositivi a batteria e le applicazioni di AI embedded.

Punti chiave#

Ultralytics YOLO11 può funzionare in modo efficiente sui dispositivi basati su Rockchip sfruttando l'accelerazione hardware e il formato RKNN. Questo riduce i tempi di inferenza e migliora le prestazioni, rendendolo ideale per le attività di visione artificiale in tempo reale e le applicazioni di edge AI.

RKNN Toolkit offre strumenti di ottimizzazione fondamentali, come la quantizzazione, per garantire che i modelli Ultralytics YOLO11 funzionino bene sulle piattaforme Rockchip. Con la crescente adozione dell'AI edge, ottimizzare i modelli per un'elaborazione efficiente direttamente sul dispositivo sarà essenziale. Con gli strumenti e l'hardware giusti, gli sviluppatori possono aprire nuove possibilità per le soluzioni di visione artificiale in vari settori.

Unisciti alla nostra community ed esplora il nostro repository GitHub per saperne di più sull'AI. Scopri come la visione artificiale in agricoltura e l'AI in ambito sanitario stanno promuovendo l'innovazione visitando le nostre pagine dedicate alle soluzioni. Dai anche un'occhiata alle nostre opzioni di licenza per iniziare subito a creare le tue soluzioni di Vision AI!