Implementazione di Ultralytics YOLO11 su Rockchip per un'Edge AI efficiente

Una parola d'ordine recente nella comunità dell'IA è l'edge AI, specialmente quando si parla di computer vision. Con la crescita delle applicazioni guidate dall'IA, c'è una maggiore necessità di eseguire i modelli in modo efficiente su dispositivi embedded con risorse di alimentazione e di calcolo limitate.

Ad esempio, i droni utilizzano la visione artificiale per la navigazione in tempo reale, le smart camera rilevano gli oggetti istantaneamente e i sistemi di automazione industriale eseguono il controllo qualità senza affidarsi al cloud computing. Queste applicazioni richiedono un'elaborazione IA rapida ed efficiente direttamente sui dispositivi edge per garantire prestazioni in tempo reale e bassa latenza. Tuttavia, eseguire modelli IA su dispositivi edge non è sempre facile. I modelli IA richiedono spesso più potenza e memoria di quanto molti dispositivi edge possano gestire.

Il kit di strumenti RKNN di Rockchip aiuta a risolvere questo problema ottimizzando i modelli di deep learning per i dispositivi alimentati da Rockchip. Utilizza unità di elaborazione neurale (NPU) dedicate per accelerare l'inferenza, riducendo la latenza e il consumo energetico rispetto all'elaborazione tramite CPU o GPU.

La comunità della Vision AI non vedeva l'ora di eseguire Ultralytics YOLO11 su dispositivi basati su Rockchip, e vi abbiamo ascoltato. Abbiamo aggiunto il supporto per esportare YOLO11 nel formato del modello RKNN. In questo articolo esploreremo come funziona l'esportazione in RKNN e perché il deployment di YOLO11 su dispositivi alimentati da Rockchip rappresenta una svolta epocale.

Cosa sono Rockchip e il kit di strumenti RKNN?#

Rockchip è un'azienda che progetta system-on-chip (SoC), processori piccoli ma potenti che fanno funzionare molti dispositivi embedded. Questi chip combinano una CPU, una GPU e una Neural Processing Unit (NPU) per gestire qualsiasi cosa, dai compiti di calcolo generale alle applicazioni di Vision AI che si affidano all'object detection e all'elaborazione delle immagini.

I SoC Rockchip sono utilizzati in una varietà di dispositivi, tra cui computer a scheda singola (SBC), schede di sviluppo, sistemi di IA industriali e smart camera. Molti produttori di hardware noti, come Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi, realizzano dispositivi alimentati da SoC Rockchip. Queste schede sono popolari per l'edge AI e le applicazioni di computer vision perché offrono un bilanciamento tra prestazioni, efficienza energetica e convenienza.

Fig 1. Un esempio di dispositivo alimentato da Rockchip.

Per aiutare i modelli IA a funzionare in modo efficiente su questi dispositivi, Rockchip fornisce il kit di strumenti RKNN (Rockchip Neural Network). Esso consente agli sviluppatori di convertire e ottimizzare i modelli di deep learning per utilizzare le unità di elaborazione neurale (NPU) di Rockchip.

I modelli RKNN sono ottimizzati per un'inferenza a bassa latenza e un uso efficiente dell'energia. Convertendo i modelli in RKNN, gli sviluppatori possono ottenere velocità di elaborazione più elevate, un consumo energetico ridotto e una maggiore efficienza sui dispositivi alimentati da Rockchip.

I modelli RKNN sono ottimizzati#

Diamo un'occhiata più da vicino a come i modelli RKNN migliorano le prestazioni dell'IA su dispositivi abilitati per Rockchip.

A differenza di CPU e GPU, che gestiscono un'ampia gamma di compiti di calcolo, le NPU di Rockchip sono progettate specificamente per il deep learning. Convertendo i modelli di IA nel formato RKNN, gli sviluppatori possono eseguire inferenze direttamente sulla NPU. Questo rende i modelli RKNN particolarmente utili per le attività di computer vision in tempo reale, dove un'elaborazione rapida ed efficiente è fondamentale.

Le NPU sono più veloci ed efficienti di CPU e GPU per le attività di IA perché sono costruite per gestire i calcoli delle reti neurali in parallelo. Mentre le CPU elaborano le attività un passo alla volta e le GPU distribuiscono i carichi di lavoro su più core, le NPU sono ottimizzate per eseguire calcoli specifici per l'IA in modo più efficiente.

Di conseguenza, i modelli RKNN vengono eseguiti più velocemente e consumano meno energia, rendendoli ideali per dispositivi alimentati a batteria, smart camera, automazione industriale e altre applicazioni di edge AI che richiedono un processo decisionale in tempo reale.

Panoramica dei modelli Ultralytics YOLO#

I modelli Ultralytics YOLO (You Only Look Once) sono progettati per attività di computer vision in tempo reale come l'object detection, la segmentazione di istanze e la classificazione delle immagini. Sono noti per la loro velocità, precisione ed efficienza, e sono ampiamente utilizzati in settori come l'agricoltura, la produzione, la sanità e i sistemi autonomi.

Questi modelli sono migliorati notevolmente nel tempo. Ad esempio, YOLOv5 di Ultralytics ha reso l'object detection più semplice da usare con PyTorch. Successivamente, YOLOv8 di Ultralytics ha introdotto nuove funzionalità come la stima della posa e la classificazione delle immagini. Ora YOLO11 va oltre, aumentando la precisione pur utilizzando meno risorse. In effetti, YOLO11m offre prestazioni migliori sul dataset COCO pur utilizzando il 22% di parametri in meno rispetto a YOLOv8m, risultando sia più preciso che più efficiente.

Fig 2. Rilevamento di oggetti tramite Ultralytics YOLO11.

I modelli Ultralytics YOLO supportano anche l'esportazione in formati multipli, consentendo un deployment flessibile su diverse piattaforme. Questi formati includono ONNX, TensorRT, CoreML e OpenVINO, offrendo agli sviluppatori la libertà di ottimizzare le prestazioni in base al loro hardware di destinazione.

Con il supporto aggiunto per l'esportazione di YOLO11 nel formato modello RKNN, YOLO11 può ora sfruttare le NPU di Rockchip. Il modello più piccolo, YOLO11n in formato RKNN, raggiunge un impressionante tempo di inferenza di 99,5 ms per immagine, consentendo l'elaborazione in tempo reale anche su dispositivi embedded.

Esportazione del tuo modello Ultralytics YOLO11 in formato RKNN#

Attualmente, i modelli di rilevamento oggetti di Ultralytics YOLO11 possono essere esportati nel formato RKNN. Inoltre, resta sintonizzato: stiamo lavorando per aggiungere il supporto ad altre attività di visione artificiale e alla quantizzazione INT8 nei prossimi aggiornamenti.

Esportare Ultralytics YOLO11 nel formato RKNN è un processo semplice. Puoi caricare il tuo modello YOLO11 addestrato su misura, specificare la piattaforma Rockchip di destinazione e convertirlo nel formato RKNN con poche righe di codice. Il formato RKNN è compatibile con vari SoC Rockchip, inclusi RK3588, RK3566 e RK3576, garantendo un'ampia supporto hardware.

Fig 3. Esportazione di Ultralytics YOLO11 nel formato del modello RKNN.

Distribuzione di Ultralytics YOLO11 su dispositivi basati su Rockchip#

Una volta esportato, il modello RKNN può essere distribuito su dispositivi basati su Rockchip. Per distribuire il modello, carichi semplicemente il file RKNN esportato sul tuo dispositivo Rockchip ed esegui l'inferenza, il processo di utilizzo del modello IA addestrato per analizzare nuove immagini o video e rilevare oggetti in tempo reale. Con poche righe di codice, puoi iniziare a identificare oggetti da immagini o flussi video.

Fig 4. Esecuzione di un'inferenza utilizzando il modello RKNN esportato.

Applicazioni Edge AI di Ultralytics YOLO11 e Rockchip#

Per farti un'idea migliore di dove Ultralytics YOLO11 può essere distribuito su dispositivi abilitati a Rockchip nel mondo reale, esaminiamo alcune applicazioni chiave di edge AI.

I processori Rockchip sono ampiamente utilizzati in tablet basati su Android, schede di sviluppo e sistemi IA industriali. Con il supporto per Android, Linux e Python, puoi creare e distribuire facilmente soluzioni basate sulla visione artificiale per una varietà di settori.

Tablet rugged integrati con Ultralytics YOLO11#

Un'applicazione comune che prevede l'esecuzione di Ultralytics YOLO11 su dispositivi alimentati da Rockchip sono i tablet rugged. Si tratta di tablet durevoli e ad alte prestazioni progettati per ambienti difficili come magazzini, cantieri edili e contesti industriali. Questi tablet possono sfruttare il rilevamento oggetti per migliorare l'efficienza e la sicurezza.

Ad esempio, nella logistica di magazzino, gli operatori possono utilizzare un tablet alimentato da Rockchip con YOLO11 per scansionare e rilevare automaticamente l'inventario, riducendo l'errore umano e accelerando i tempi di elaborazione. Allo stesso modo, nei cantieri edili, questi tablet possono essere utilizzati per rilevare se i lavoratori indossano i dispositivi di protezione richiesti, come elmetti e giubbotti, aiutando le aziende a far rispettare le normative e a prevenire incidenti.

Fig 5. Rilevamento dei dispositivi di protezione con Ultralytics YOLO11.

IA industriale per il controllo qualità#

Per quanto riguarda la produzione e l'automazione, le schede industriali alimentate da Rockchip possono svolgere un ruolo importante nel controllo qualità e nel monitoraggio dei processi. Una scheda industriale è un modulo di calcolo compatto e ad alte prestazioni progettato per sistemi embedded in ambienti industriali. Queste schede includono solitamente processori, memoria, interfacce I/O e opzioni di connettività che possono integrarsi con sensori, telecamere e macchinari automatizzati.

Eseguire i modelli Ultralytics YOLO11 su queste schede consente di analizzare le linee di produzione in tempo reale, individuando i problemi all'istante e migliorando l'efficienza. Ad esempio, nella produzione automobilistica, un sistema di intelligenza artificiale che utilizza l'hardware Rockchip e YOLO11 può rilevare graffi, parti disallineate o difetti di verniciatura mentre le auto avanzano lungo la catena di montaggio. Identificando questi difetti in tempo reale, i produttori possono ridurre gli sprechi, abbassare i costi di produzione e garantire standard di qualità più elevati prima che i veicoli raggiungano i clienti.

Vantaggi dell'esecuzione di Ultralytics YOLO11 su dispositivi basati su Rockchip#

I dispositivi basati su Rockchip offrono un buon equilibrio tra prestazioni, costo ed efficienza, rendendoli un'ottima scelta per la distribuzione di Ultralytics YOLO11 in applicazioni edge AI.

Ecco alcuni vantaggi dell'esecuzione di Ultralytics YOLO11 su dispositivi basati su Rockchip:

• Prestazioni dell'IA migliorate: i dispositivi abilitati a Rockchip gestiscono l'inferenza dell'IA in modo più efficiente rispetto alle schede basate su CPU come Raspberry Pi, offrendo un'object detection più rapida e una minore latenza.
• Soluzione economica: Se stai sperimentando con l'IA e hai bisogno di un'opzione economica che offra comunque prestazioni potenti, Rockchip è un'ottima opzione. Fornisce un modo accessibile per eseguire Ultralytics YOLO11 senza compromettere la velocità o l'efficienza.
• Efficienza energetica: l'esecuzione di modelli di visione artificiale su dispositivi alimentati da Rockchip consuma meno energia rispetto alle GPU, rendendola ideale per dispositivi alimentati a batteria e applicazioni IA embedded.

Punti chiave#

Ultralytics YOLO11 può essere eseguito in modo efficiente su dispositivi basati su Rockchip sfruttando l'accelerazione hardware e il formato RKNN. Ciò riduce il tempo di inferenza e migliora le prestazioni, rendendolo ideale per attività di visione artificiale in tempo reale e applicazioni di edge AI.

Il toolkit RKNN fornisce strumenti di ottimizzazione chiave come la quantizzazione e il fine-tuning, garantendo che i modelli Ultralytics YOLO11 funzionino bene sulle piattaforme Rockchip. L'ottimizzazione dei modelli per l'elaborazione efficiente on-device sarà essenziale con la crescita dell'adozione dell'edge AI. Con gli strumenti e l'hardware giusti, gli sviluppatori possono sbloccare nuove possibilità per le soluzioni di visione artificiale in vari settori.

Unisciti alla nostra community ed esplora il nostro repository GitHub per saperne di più sull'IA. Scopri come la computer vision nell'agricoltura e l'IA nella sanità stanno guidando l'innovazione visitando le nostre pagine delle soluzioni. Inoltre, dai un'occhiata alle nostre opzioni di licenza per iniziare a creare le tue soluzioni di Vision AI oggi stesso!