Implementazione di Ultralytics YOLO11 su Rockchip per un’edge AI efficiente

Un termine recentemente diventato popolare nella comunità dell’IA è IA edge, soprattutto quando si parla di computer vision. Con la crescita delle applicazioni basate sull’IA, aumenta la necessità di eseguire i modelli in modo efficiente su dispositivi embedded con potenza e risorse di calcolo limitate.

Per esempio, i droni usano l’IA per la computer vision per la navigazione in tempo reale, le telecamere intelligenti rilevano istantaneamente gli oggetti e i sistemi di automazione industriale eseguono il controllo qualità senza dipendere dal cloud computing. Queste applicazioni richiedono un’elaborazione IA rapida ed efficiente direttamente sui dispositivi edge, per garantire prestazioni in tempo reale e bassa latenza. Tuttavia, eseguire modelli di IA sui dispositivi edge non è sempre semplice. I modelli di IA richiedono spesso più potenza e memoria di quanta molti dispositivi edge possano gestire.

RKNN Toolkit di Rockchip contribuisce a risolvere questo problema ottimizzando i modelli di deep learning per i dispositivi basati su Rockchip. Usa Unità di elaborazione neurale (NPUs) dedicate per accelerare l’inferenza, riducendo la latenza e il consumo energetico rispetto all’elaborazione su CPU o GPU.

La comunità della Vision AI desiderava da tempo eseguire Ultralytics YOLO11 sui dispositivi basati su Rockchip e ti abbiamo ascoltato. Abbiamo aggiunto il supporto per l’esportazione di YOLO11 nel formato di modello RKNN. In questo articolo vedremo come funziona l’esportazione in RKNN e perché la distribuzione di YOLO11 sui dispositivi basati su Rockchip rappresenta una svolta.

Che cos’è Rockchip e che cos’è RKNN Toolkit?#

Rockchip è un’azienda che progetta system-on-chip (SoC), ovvero processori piccoli ma potenti che alimentano molti dispositivi embedded. Questi chip combinano una CPU, una GPU e un’Unità di elaborazione neurale (NPU) per gestire attività che vanno dall’elaborazione generica alle applicazioni di Vision AI basate su rilevamento degli oggetti ed elaborazione delle immagini.

I SoC Rockchip sono usati in diversi dispositivi, tra cui computer a scheda singola (SBC), schede di sviluppo, sistemi di IA industriale e telecamere intelligenti. Molti produttori hardware conosciuti, tra cui Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi, realizzano dispositivi basati su SoC Rockchip. Queste schede sono apprezzate per le applicazioni di IA edge e computer vision perché offrono un equilibrio tra prestazioni, efficienza energetica e convenienza.

Fig. 1. Un esempio di dispositivo basato su Rockchip.

Per aiutare i modelli di IA a funzionare in modo efficiente su questi dispositivi, Rockchip fornisce RKNN Toolkit, ovvero il toolkit RKNN (rete neurale di Rockchip). Consente agli sviluppatori di convertire e ottimizzare i modelli di deep learning per usare le Unità di elaborazione neurale (NPUs) di Rockchip.

I modelli RKNN sono ottimizzati per l’inferenza a bassa latenza e un consumo energetico efficiente. Convertendo i modelli in RKNN, gli sviluppatori possono ottenere velocità di elaborazione superiori, un consumo energetico ridotto e una maggiore efficienza sui dispositivi basati su Rockchip.

I modelli RKNN sono ottimizzati#

Vediamo più da vicino come i modelli RKNN migliorano le prestazioni dell’IA sui dispositivi compatibili con Rockchip.

A differenza di CPU e GPU, che gestiscono un’ampia gamma di attività di calcolo, le NPU di Rockchip sono progettate specificamente per il deep learning. Convertendo i modelli di IA nel formato RKNN, gli sviluppatori possono eseguire l’inferenza direttamente sulla NPU. Questo rende i modelli RKNN particolarmente utili per le attività di computer vision in tempo reale, in cui un’elaborazione rapida ed efficiente è essenziale.

Le NPU sono più veloci ed efficienti di CPU e GPU per le attività di IA perché sono progettate per gestire in parallelo i calcoli delle reti neurali. Mentre le CPU elaborano le attività una alla volta e le GPU distribuiscono i carichi di lavoro tra più core, le NPU sono ottimizzate per eseguire in modo più efficiente i calcoli specifici dell’IA.

Di conseguenza, i modelli RKNN funzionano più velocemente e consumano meno energia, rendendoli ideali per dispositivi alimentati a batteria, telecamere intelligenti, automazione industriale e altre applicazioni di IA edge che richiedono processi decisionali in tempo reale.

Panoramica dei modelli Ultralytics YOLO#

I modelli Ultralytics YOLO (guardi una sola volta) sono progettati per attività di computer vision in tempo reale, come il rilevamento degli oggetti, la segmentazione delle istanze e la classificazione delle immagini. Sono noti per velocità, accuratezza ed efficienza e sono ampiamente utilizzati in settori come agricoltura, produzione, sanità e sistemi autonomi.

Questi modelli sono migliorati notevolmente nel tempo. Per esempio, Ultralytics YOLOv5 ha reso più semplice usare il rilevamento degli oggetti con PyTorch. In seguito, Ultralytics YOLOv8 ha aggiunto nuove funzionalità, come la stima della posa e la classificazione delle immagini. Ora YOLO11 fa un ulteriore passo avanti aumentando l’accuratezza e usando meno risorse. Infatti, YOLO11m offre prestazioni migliori sul dataset COCO pur usando il 22% di parametri in meno rispetto a YOLOv8m, risultando così più preciso ed efficiente.

Fig. 2. Rilevamento degli oggetti con Ultralytics YOLO11.

I modelli Ultralytics YOLO supportano anche l’esportazione in più formati, consentendo una distribuzione flessibile su diverse piattaforme. Tra questi formati figurano ONNX, TensorRT, CoreML e OpenVINO, offrendo agli sviluppatori la libertà di ottimizzare le prestazioni in base all’hardware di destinazione.

Grazie al supporto aggiunto per l’esportazione di YOLO11 nel formato di modello RKNN, YOLO11 può ora sfruttare le NPU di Rockchip. Il modello più piccolo, YOLO11n in formato RKNN, raggiunge un notevole tempo di inferenza di 99,5 ms per immagine, consentendo l’elaborazione in tempo reale anche sui dispositivi embedded.

Esportazione del tuo modello Ultralytics YOLO11 nel formato RKNN#

Attualmente, i modelli Ultralytics YOLO11 per il rilevamento degli oggetti possono essere esportati nel formato RKNN. Inoltre, resta sintonizzato: stiamo lavorando per aggiungere il supporto alle altre attività di computer vision e alla quantizzazione INT8 nei prossimi aggiornamenti.

L’esportazione di Ultralytics YOLO11 nel formato RKNN è un processo semplice. Puoi caricare il tuo modello YOLO11 addestrato su dati personalizzati, specificare la piattaforma Rockchip di destinazione e convertirlo nel formato RKNN con poche righe di codice. Il formato RKNN è compatibile con diversi SoC Rockchip, tra cui RK3588, RK3566 e RK3576, garantendo un’ampia compatibilità hardware.

Fig. 3. Esportazione di Ultralytics YOLO11 nel formato di modello RKNN.

Distribuzione di Ultralytics YOLO11 sui dispositivi basati su Rockchip#

Una volta esportato, il modello RKNN può essere distribuito sui dispositivi basati su Rockchip. Per distribuire il modello, ti basta caricare il file RKNN esportato sul tuo dispositivo Rockchip ed eseguire l’inferenza, ovvero usare il modello di IA addestrato per analizzare nuove immagini o video e rilevare gli oggetti in tempo reale. Con poche righe di codice, puoi iniziare a identificare gli oggetti nelle immagini o nei flussi video.

Fig. 4. Esecuzione dell’inferenza usando il modello RKNN esportato.

Applicazioni di IA edge di Ultralytics YOLO11 e Rockchip#

Per farti un’idea più precisa di dove sia possibile distribuire Ultralytics YOLO11 sui dispositivi compatibili con Rockchip nel mondo reale, esaminiamo alcune applicazioni chiave dell’IA edge.

I processori Rockchip sono ampiamente utilizzati in tablet basati su Android, schede di sviluppo e sistemi di IA industriale. Grazie al supporto per Android, Linux e Python, puoi creare e distribuire facilmente soluzioni basate sulla Vision AI per diversi settori.

Tablet rugged integrati con Ultralytics YOLO11#

Un’applicazione comune che prevede l’esecuzione di Ultralytics YOLO11 sui dispositivi basati su Rockchip riguarda i tablet rugged. Sono tablet durevoli e ad alte prestazioni, progettati per ambienti difficili come magazzini, cantieri e contesti industriali. Questi tablet possono sfruttare il rilevamento degli oggetti per migliorare efficienza e sicurezza.

Per esempio, nella logistica di magazzino, gli operatori possono usare un tablet basato su Rockchip con YOLO11 per scansionare e rilevare automaticamente l’inventario, riducendo gli errori umani e accelerando i tempi di elaborazione. Allo stesso modo, nei cantieri questi tablet possono essere usati per rilevare se gli operatori indossano i dispositivi di sicurezza richiesti, come caschi e gilet, aiutando le aziende a far rispettare le normative e a prevenire gli incidenti.

Fig. 5. Rilevamento dei dispositivi di sicurezza con Ultralytics YOLO11.

IA industriale per il controllo qualità#

Per quanto riguarda produzione e automazione, le schede industriali basate su Rockchip possono svolgere un ruolo importante nel controllo qualità e nel monitoraggio dei processi. Una scheda industriale è un modulo di calcolo compatto e ad alte prestazioni, progettato per sistemi embedded in contesti industriali. Queste schede includono in genere processori, memoria, interfacce I/O e opzioni di connettività che possono integrarsi con sensori, telecamere e macchinari automatizzati.

L’esecuzione dei modelli Ultralytics YOLO11 su queste schede consente di analizzare le linee di produzione in tempo reale, individuando immediatamente i problemi e migliorando l’efficienza. Per esempio, nella produzione automobilistica, un sistema di IA che usa hardware Rockchip e YOLO11 può rilevare graffi, componenti disallineati o difetti di verniciatura mentre le auto avanzano lungo la catena di montaggio. Identificando questi difetti in tempo reale, i produttori possono ridurre gli sprechi, contenere i costi di produzione e garantire standard qualitativi più elevati prima che i veicoli raggiungano i clienti.

Vantaggi dell’esecuzione di Ultralytics YOLO11 sui dispositivi basati su Rockchip#

I dispositivi basati su Rockchip offrono un buon equilibrio tra prestazioni, costo ed efficienza, rendendoli un’ottima scelta per distribuire Ultralytics YOLO11 nelle applicazioni di IA edge.

Ecco alcuni vantaggi dell’esecuzione di Ultralytics YOLO11 sui dispositivi basati su Rockchip:

• Migliori prestazioni dell’IA: i dispositivi compatibili con Rockchip gestiscono l’inferenza IA in modo più efficiente rispetto alle schede basate su CPU come Raspberry Pi, offrendo un rilevamento degli oggetti più rapido e una latenza inferiore.
• Soluzione conveniente: se stai sperimentando con l’IA e ti serve un’opzione economica che offra comunque prestazioni elevate, Rockchip è un’ottima scelta. Ti offre un modo conveniente per eseguire Ultralytics YOLO11 senza compromettere velocità o efficienza.
• Efficienza energetica: eseguire modelli di computer vision sui dispositivi basati su Rockchip consuma meno energia rispetto alle GPU, rendendoli ideali per dispositivi alimentati a batteria e applicazioni di IA embedded.

Punti chiave#

Ultralytics YOLO11 può funzionare in modo efficiente sui dispositivi basati su Rockchip sfruttando l’accelerazione hardware e il formato RKNN. Questo riduce il tempo di inferenza e migliora le prestazioni, rendendolo ideale per le attività di computer vision in tempo reale e le applicazioni di IA edge.

RKNN Toolkit fornisce strumenti di ottimizzazione essenziali, come quantizzazione e fine-tuning, garantendo buone prestazioni dei modelli Ultralytics YOLO11 sulle piattaforme Rockchip. Ottimizzare i modelli per un’elaborazione efficiente direttamente sul dispositivo sarà fondamentale con la crescita dell’adozione dell’IA edge. Con gli strumenti e l’hardware giusti, gli sviluppatori possono aprire nuove possibilità per le soluzioni di computer vision in diversi settori.

Unisciti alla nostra community ed esplora il nostro repository GitHub per saperne di più sull’IA. Scopri come la computer vision nell’agricoltura e l’IA nella sanità promuovono l’innovazione visitando le nostre pagine dedicate alle soluzioni. Dai un’occhiata anche alle nostre opzioni di licenza per iniziare a creare oggi stesso le tue soluzioni di Vision AI!