Portare i modelli Ultralytics YOLO sull’hardware Axelera AI per l’IA edge

In Ultralytics, stiamo assistendo a una crescente tendenza a eseguire modelli di visione artificiale direttamente sui dispositivi edge, man mano che l’AI viene adottata sempre più ampiamente. Nelle conversazioni con la community della visione artificiale, sia online sia di persona durante le recenti conferenze tecnologiche, il nostro team ha notato un interesse crescente per la distribuzione dell’AI per la visione più vicino al luogo in cui vengono generati i dati.

Dai negozi intelligenti all’automazione industriale e alla robotica, le informazioni in tempo reale stanno diventando essenziali e affidarsi esclusivamente al cloud non è più sufficiente.

In parole semplici, l’edge AI consiste nell’eseguire i modelli di AI localmente sui dispositivi, invece di inviare i dati a server centralizzati per l’elaborazione. Questo permette di ridurre la latenza, migliorare l’affidabilità e rispondere agli eventi del mondo reale in tempo reale.

Tuttavia, distribuire modelli ad alte prestazioni in questi ambienti comporta alcune sfide: le risorse di calcolo limitate e i vincoli energetici impongono che i modelli siano efficienti e ottimizzati per l’hardware su cui vengono eseguiti.

I modelli Ultralytics YOLO, come Ultralytics YOLO26, sono progettati per la visione artificiale in tempo reale, ma per sfruttarli appieno sui dispositivi edge serve la giusta combinazione di software e hardware. Per questo siamo entusiasti di annunciare la nostra collaborazione con Axelera AI.

Abbiamo avviato una partnership con Axelera AI per introdurre un’integrazione aggiornata per l’esportazione, che consente di distribuire in modo efficiente e con prestazioni elevate i modelli Ultralytics YOLO sulle unità di elaborazione AI Metis® (AIPU).

Fig. 1. Uno sguardo a un’unità di elaborazione AI Metis (Fonte)

In questo articolo vedremo come compilare facilmente i modelli Ultralytics YOLO per distribuirli su Metis. Cominciamo!

L’edge AI è il futuro della visione artificiale#

Con la continua evoluzione delle applicazioni di visione artificiale, la necessità di un’elaborazione più rapida ed efficiente diventa sempre più cruciale. Gli approcci tradizionali basati sul cloud possono introdurre latenza, dipendere da una connessione stabile e non soddisfare le esigenze in tempo reale di molti casi d’uso della visione intelligente.

L’edge AI affronta queste sfide consentendo ai modelli di essere eseguiti direttamente sui dispositivi locali, così i dati possono essere elaborati più vicino alla loro origine. Per esempio, considera i droni dotati di sistemi di visione impiegati nelle operazioni di ricerca e soccorso.

Questi sistemi devono analizzare i flussi video in tempo reale per rilevare persone, ostacoli o pericoli, spesso in aree remote con una connessione Internet limitata o assente. Eseguendo i modelli di visione artificiale direttamente sul drone, l’edge AI consente di prendere decisioni più rapidamente e garantisce prestazioni più affidabili senza dipendere dall’infrastruttura cloud.

Questo cambiamento apre nuove possibilità in tutti i settori. Applicazioni come il rilevamento di oggetti in tempo reale nei negozi, il controllo automatizzato della qualità nella produzione e la percezione robotica beneficiano tutte di tempi di risposta più rapidi e maggiore affidabilità.

L’edge AI sta diventando rapidamente un elemento chiave per distribuire sistemi di visione artificiale scalabili e reattivi in ambienti reali.

Alla scoperta delle unità di elaborazione AI Metis di Axelera AI#

Prima di approfondire la nuova integrazione per l’esportazione, facciamo un passo indietro e scopriamo di più sulle unità di elaborazione AI Metis di Axelera AI e sul ruolo che svolgono nel rendere possibile un’edge AI efficiente.

Axelera AI sviluppa hardware progettato appositamente per accelerare l’inferenza AI sui dispositivi edge. Un elemento fondamentale è la Metis AIPU, ovvero l’unità di elaborazione AI, un processore specializzato progettato per eseguire reti neurali in modo efficiente sui dispositivi edge.

A differenza delle unità di elaborazione centrali (CPU) generiche o persino delle unità di elaborazione grafica (GPU), le AIPU sono progettate per gestire gli specifici schemi di calcolo dei carichi di lavoro AI. Questo consente loro di offrire prestazioni elevate mantenendo bassi i consumi energetici, un aspetto fondamentale negli ambienti edge, dove le risorse sono spesso limitate.

Ciò che rende particolarmente innovativo l’approccio di Axelera AI è la sua progettazione full-stack. Metis è basato su elaborazione digitale in memoria (D-IMC) e RISC-V, per offrire prestazioni elevate con l’efficienza energetica richiesta dall’edge computing. I quattro core di Metis sono programmabili in modo indipendente, il che significa che puoi eseguire quattro modelli in parallelo su ciascun chip. Oltre all’hardware, il Voyager SDK include un compilatore e un runtime che collaborano per ottimizzare i modelli in vista della distribuzione.

Questo consente agli sviluppatori di passare dai modelli addestrati all’inferenza pronta per la produzione in modo più efficiente. In particolare, le AIPU Metis permettono di eseguire modelli avanzati di visione artificiale, come i modelli Ultralytics YOLO, direttamente sui dispositivi edge, in contesti che spaziano dalle aziende, dai negozi, dalla sanità e dalla produzione fino all’agricoltura, alle attrezzature industriali e ai satelliti.

Esportare i modelli Ultralytics YOLO per distribuirli su Metis#

Il pacchetto Python Ultralytics offre un’interfaccia unificata per addestrare, valutare e distribuire i modelli YOLO in un’ampia gamma di attività di visione artificiale. I modelli YOLO vengono in genere sviluppati e addestrati con PyTorch, che è particolarmente adatto alla sperimentazione e allo sviluppo dei modelli.

Tuttavia, per distribuire questi modelli su hardware edge specializzato, è necessario convertirli in un formato ottimizzato per il dispositivo di destinazione. È qui che entrano in gioco le integrazioni per l’esportazione supportate dal pacchetto Python Ultralytics.

Ultralytics offre diverse opzioni di esportazione che consentono di convertire i modelli YOLO in vari formati, a seconda della destinazione di distribuzione, come ONNX, TensorRT e altri backend specifici per l’hardware. Queste integrazioni semplificano la preparazione dei modelli per le applicazioni reali, gestendo i passaggi necessari per l’ottimizzazione e la conversione.

A partire da questa base, Ultralytics ha introdotto un’integrazione aggiornata per l’esportazione con Axelera AI, che consente di esportare i modelli YOLO per distribuirli sulle AIPU Metis.

Durante l’esportazione, il modello viene compilato e quantizzato in una rappresentazione ottimizzata appositamente per l’hardware Axelera. Il processo genera un modello compilato in formato ".axm", insieme ai metadati necessari per la distribuzione e l’inferenza.

Fig. 2. I modelli Ultralytics YOLO possono essere eseguiti sulle AIPU Metis. (Fonte)

L’integrazione supporta un’ampia gamma di attività di visione artificiale con Ultralytics YOLOv8, Ultralytics YOLO11 e Ultralytics YOLO26, tra cui rilevamento di oggetti, stima della posa, segmentazione di istanze, rilevamento di riquadri di delimitazione orientati (OBB) e classificazione delle immagini. La maggior parte delle attività è supportata direttamente tramite il flusso di esportazione, mentre la segmentazione con YOLO26 può essere utilizzata tramite lo zoo dei modelli con il Voyager SDK.

Questo supporto ampliato offre agli sviluppatori la flessibilità di distribuire diversi tipi di modelli di visione in base all’applicazione, dal rilevamento di oggetti in tempo reale alla comprensione delle scene, al tracciamento dei movimenti e all’analisi di dati visivi complessi.

Una volta esportati, i modelli possono essere distribuiti ed eseguiti senza ricorrere a PyTorch in fase di inferenza. Vengono invece eseguiti tramite il runtime del Voyager SDK, che supporta la creazione di pipeline end-to-end per attività come l’elaborazione video, il rilevamento in tempo reale e il tracciamento direttamente sui dispositivi edge.

Guida introduttiva all’esportazione dei modelli Ultralytics YOLO#

Ora che conosciamo meglio la nuova integrazione per l’esportazione, vediamo come esportare i modelli Ultralytics YOLO in questo formato personalizzato ed eseguirli sull’hardware Metis edge.

Passaggio 1: installare il pacchetto Ultralytics per Python#

Per iniziare, dovrai installare il pacchetto Python Ultralytics. Offre un’interfaccia semplice e coerente per addestrare, valutare ed esportare i modelli YOLO.

Puoi installarlo con pip eseguendo il comando seguente nel terminale o nel prompt dei comandi:

pip install ultralytics

Se riscontri problemi durante l’installazione o l’esportazione, la documentazione ufficiale di Ultralytics e la guida ai problemi comuni sono ottime risorse per la risoluzione dei problemi.

Passaggio 2: installare i driver Axelera e il Voyager SDK#

Per esportare ed eseguire modelli sull’hardware Axelera, dovrai installare anche i driver Axelera e il Voyager SDK. Questo passaggio consente la comunicazione con la AIPU Metis e fornisce gli strumenti necessari per il runtime e il compilatore.

I passaggi seguenti devono essere eseguiti in un ambiente Linux con accesso all’hardware Metis di Axelera AI. Apri un terminale sul tuo sistema oppure usa una cella del notebook se stai eseguendo Jupyter Notebook su una configurazione locale compatibile, quindi esegui i comandi seguenti.

Inizia aggiungendo la chiave del repository Axelera come segue:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Poi, come mostrato di seguito, aggiungi il repository Axelera al tuo sistema:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Infine, installa il Voyager SDK e carica il driver Metis come segue:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Al termine di questi passaggi, il sistema sarà pronto per esportare ed eseguire i modelli Ultralytics YOLO sui dispositivi Metis di Axelera AI.

Passaggio 3: esportare i modelli Ultralytics YOLO#

Una volta installato il pacchetto Ultralytics, puoi caricare il tuo modello YOLO ed esportarlo come pacchetto compilato per Metis. Questo processo converte il modello in un formato ottimizzato per la distribuzione sull’hardware Metis di Axelera AI.

Nell’esempio seguente, usiamo un modello nano YOLO26 preaddestrato e lo esportiamo per Metis. Il modello esportato verrà salvato in una directory denominata "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Passaggio 4: eseguire l’inferenza con il modello esportato#

Dopo aver esportato il modello, puoi caricarlo ed eseguire l’inferenza su immagini inedite o flussi video. Questo consente di svolgere attività di visione artificiale in tempo reale direttamente sui dispositivi Metis di Axelera AI.

Per esempio, il frammento di codice seguente mostra come caricare il modello esportato ed eseguire l’inferenza su un URL accessibile pubblicamente.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

In questo caso, il modello analizza l’immagine di input e rileva gli oggetti, salvando i risultati nella directory "runs/detect/predict".

Dove i modelli Ultralytics YOLO e l’hardware Axelera AI possono fare la differenza#

Ora vediamo alcuni casi d’uso comuni dell’edge AI in cui i modelli Ultralytics YOLO possono essere distribuiti sull’hardware Axelera AI in scenari reali.

Le AIPU Metis di Axelera AI sono progettate per diversi ambienti di distribuzione, dai sistemi embedded e PC industriali alla robotica e ai server edge. Grazie all’inferenza ad alte prestazioni ed efficiente dal punto di vista energetico, consentono di eseguire applicazioni di visione artificiale direttamente sui dispositivi in vari settori. Il Voyager SDK include anche un generatore di pipeline che permette agli ingegneri ML e APP di portare i modelli in produzione sui dispositivi edge.

Sistemi di visione intelligente edge per il commercio al dettaglio#

Negli ambienti di vendita al dettaglio, comprendere il comportamento dei clienti in tempo reale può fare una grande differenza.

Con i modelli Ultralytics YOLO eseguiti sull’hardware Axelera AI, i negozi possono monitorare il traffico pedonale, contare le persone e analizzare in tempo reale i loro spostamenti all’interno del punto vendita. Poiché tutto viene eseguito sul dispositivo, è possibile ottenere informazioni immediate senza dipendere dalla connettività cloud, così i team possono reagire più rapidamente tutelando al contempo la privacy dei dati.

Fig. 3. Rilevamento e conteggio delle persone in un centro commerciale con Ultralytics YOLO26

Usare l’edge AI per ispezionare servizi e infrastrutture#

La manutenzione di infrastrutture su larga scala, come le linee elettriche, è complessa e richiede molte risorse. Queste reti si estendono spesso su distanze enormi, rendendo le ispezioni lunghe, costose e potenzialmente pericolose. Se guasti o primi segni di usura non vengono rilevati, possono causare interruzioni del servizio, danni alle apparecchiature o rischi per la sicurezza.

I droni vengono sempre più spesso utilizzati per rendere le ispezioni più efficienti. Possono coprire lunghe distanze, raggiungere aree difficili da raggiungere e acquisire immagini ad alta risoluzione delle risorse critiche.

L’integrazione dei droni con l’edge AI rende questi flussi di lavoro ancora più efficaci. I modelli Ultralytics YOLO eseguiti sull’hardware Axelera AI consentono di analizzare i dati in tempo reale durante le ispezioni, individuando guasti, classificando componenti e rilevando anomalie sul posto. Questo riduce la necessità di revisioni manuali e permette di monitorare le infrastrutture in modo più rapido e affidabile.

Fig. 4. Rilevamento di diverse parti di una linea elettrica con Ultralytics YOLO26

Potenziare la robotica con informazioni di visione AI in tempo reale#

In robotica, velocità e reattività sono fondamentali. Che debbano navigare in un magazzino o operare in ambienti industriali dinamici, i robot devono interpretare immediatamente ciò che li circonda.

I modelli Ultralytics YOLO eseguiti sull’hardware Axelera AI consentono ai robot di interpretare ciò che li circonda in tempo reale, dal rilevamento degli ostacoli al tracciamento delle persone e all’identificazione degli oggetti. In questo modo i sistemi possono muoversi in maggiore sicurezza, adattarsi a condizioni dinamiche e operare con più autonomia, senza dipendere da una connessione costante al cloud.

Vantaggi principali dell’esecuzione dei modelli Ultralytics YOLO sulle AIPU Metis#

Ecco alcuni dei principali vantaggi della distribuzione dei modelli Ultralytics YOLO sull’hardware Metis di Axelera AI tramite la nuova integrazione:

• Integrazione perfetta con il flusso di lavoro Ultralytics: esportare i modelli YOLO per distribuirli su Metis si integra naturalmente nel pacchetto Python Ultralytics, semplificando il passaggio dall’addestramento all’inferenza.
• Supporto per diverse attività di visione artificiale: puoi distribuire modelli per il rilevamento di oggetti, la stima della posa, la segmentazione, la classificazione e altre attività con YOLOv8, YOLO11 e YOLO26.
• Esecuzione di modelli in parallelo: le AIPU Metis sono progettate con quattro core programmabili in modo indipendente, capaci di eseguire in parallelo quattro modelli distinti per adattarsi alle tue esigenze.
• Scalabilità per le applicazioni di edge AI: dall’analisi per il commercio al dettaglio e dalle ispezioni industriali alla robotica e alle infrastrutture intelligenti, l’integrazione supporta un’ampia gamma di casi d’uso reali.

Punti chiave#

I modelli Ultralytics YOLO e le AIPU Metis di Axelera AI rendono più semplice portare la visione artificiale ad alte prestazioni sui dispositivi edge. Semplificando la distribuzione e ottimizzando i modelli per hardware specializzato, questa integrazione contribuisce a colmare il divario tra sviluppo e applicazioni reali.

Con la continua crescita dell’edge AI, disporre di opzioni di distribuzione efficienti e scalabili sarà fondamentale per creare sistemi reattivi e affidabili. Questa collaborazione è un passo avanti per rendere l’AI avanzata per la visione più accessibile in tutti i settori.

Vuoi saperne di più sull’AI? Esplora il nostro repository GitHub, entra in contatto con la nostra community e scopri le nostre opzioni di licenza per dare il via al tuo progetto di visione artificiale. Scopri come innovazioni come l’AI nel commercio al dettaglio e la visione artificiale in ambito sanitario stanno plasmando il futuro.