Portare i modelli Ultralytics YOLO sull'hardware Axelera AI per l'edge AI

In Ultralytics, stiamo osservando un crescente spostamento verso l'esecuzione di modelli di computer vision direttamente sui dispositivi edge, man mano che l'IA viene adottata sempre più ampiamente. Nelle nostre conversazioni con la comunità della computer vision, sia online che di persona alle recenti conferenze tecnologiche, il nostro team ha riscontrato un crescente interesse nel distribuire la vision AI più vicino al punto in cui vengono generati i dati.

Dagli ambienti di smart retail all'automazione industriale fino alla robotica, gli insight in tempo reale stanno diventando essenziali e affidarsi esclusivamente al cloud non è più sufficiente.

In parole povere, l'edge AI implica l'esecuzione di modelli di IA localmente sui dispositivi invece di inviare i dati a server centralizzati per l'elaborazione. Questo rende possibile ridurre la latenza, migliorare l'affidabilità e rispondere agli eventi del mondo reale in tempo reale.

Tuttavia, distribuire modelli ad alte prestazioni in questi ambienti comporta le proprie sfide, poiché risorse di calcolo limitate e vincoli energetici richiedono che i modelli siano sia efficienti che ottimizzati per l'hardware su cui vengono eseguiti.

I modelli Ultralytics YOLO come Ultralytics YOLO26 sono progettati per la computer vision in tempo reale, ma sbloccare il loro pieno potenziale sull'edge richiede la giusta combinazione di software e hardware. Ecco perché siamo entusiasti di annunciare la nostra collaborazione con Axelera AI.

Abbiamo collaborato con Axelera AI per introdurre un'integrazione di esportazione aggiornata, consentendo una distribuzione efficiente e ad alte prestazioni dei modelli Ultralytics YOLO su Metis® AI Processing Units (AIPUs).

Fig 1. Uno sguardo a una Metis AI Processing Unit (Fonte)

In questo articolo, esploreremo come i modelli Ultralytics YOLO possano essere facilmente compilati per la distribuzione su Metis. Iniziamo!

Link to this sectionL'edge AI è il futuro della computer vision#

Man mano che le applicazioni di computer vision continuano a evolversi, la necessità di un'elaborazione più veloce ed efficiente sta diventando sempre più cruciale. I tradizionali approcci basati sul cloud possono introdurre latenza, dipendere da una connettività stabile e potrebbero non soddisfare le richieste in tempo reale di molti casi d'uso di visione intelligente.

L'edge AI affronta queste sfide consentendo ai modelli di essere eseguiti direttamente su dispositivi locali, permettendo ai dati di essere elaborati più vicino alla loro fonte. Ad esempio, pensa ai droni dotati di visione utilizzati nelle operazioni di ricerca e soccorso.

Questi sistemi devono analizzare i flussi video in tempo reale per rilevare persone, ostacoli o pericoli, spesso in aree remote con connettività internet limitata o assente. Eseguendo i modelli di computer vision direttamente sul drone, l'edge AI consente un processo decisionale più rapido e prestazioni più affidabili senza fare affidamento sull'infrastruttura cloud.

Questo cambiamento sta sbloccando nuove possibilità in tutti i settori. Applicazioni come il rilevamento di oggetti in tempo reale nel retail, l'ispezione automatizzata della qualità nella produzione e la percezione nella robotica traggono tutte vantaggio da tempi di risposta più rapidi e maggiore affidabilità.

L'edge AI sta rapidamente diventando un fattore chiave per la distribuzione di sistemi di computer vision scalabili e reattivi in ambienti reali.

Link to this sectionEsplorazione delle Metis AI Processing Units di Axelera AI#

Prima di addentrarci nella nuova integrazione di esportazione, facciamo un passo indietro e impariamo di più sulle Metis AI Processing Units di Axelera AI e sul ruolo che svolgono nel rendere efficiente l'edge AI.

Axelera AI sviluppa hardware appositamente costruito, progettato specificamente per accelerare l'inferenza dell'IA sull'edge. Una parte fondamentale di ciò è la Metis AIPU, o AI Processing Unit, un processore specializzato costruito per eseguire reti neurali in modo efficiente sui dispositivi edge.

A differenza delle unità di elaborazione centrale (CPU) generiche o persino delle unità di elaborazione grafica (GPU), le AIPU sono progettate per gestire i modelli computazionali specifici dei carichi di lavoro dell'IA. Questo consente loro di offrire prestazioni elevate mantenendo un basso consumo energetico, il che è fondamentale per gli ambienti edge dove le risorse sono spesso limitate.

Ciò che rende l'approccio di Axelera AI particolarmente innovativo è il suo design full-stack. Metis è costruito con digital in-memory compute (D-IMC) e RISC-V per prestazioni elevate con l'efficienza energetica richiesta dall'edge computing. I quattro core di Metis sono programmabili indipendentemente, il che significa che puoi eseguire quattro modelli per chip in parallelo. Oltre all'hardware, il Voyager SDK include un compilatore e un runtime che lavorano insieme per ottimizzare i modelli per la distribuzione.

Questo consente agli sviluppatori di passare da modelli addestrati a un'inferenza pronta per la produzione in modo più efficiente. Nello specifico, le AIPU Metis rendono possibile eseguire modelli avanzati di computer vision, come i modelli Ultralytics YOLO, direttamente sui dispositivi edge, da ambienti aziendali, retail, sanitari e manifatturieri fino ad attrezzature agricole, industriali e satelliti.

Link to this sectionEsportazione dei modelli Ultralytics YOLO per la distribuzione su Metis#

Il pacchetto Python di Ultralytics fornisce un'interfaccia unificata per addestrare, valutare e distribuire modelli YOLO su una gamma di attività di computer vision. I modelli YOLO sono tipicamente sviluppati e addestrati utilizzando PyTorch, che è ben adatto alla sperimentazione e allo sviluppo di modelli.

Tuttavia, quando si distribuiscono questi modelli su hardware edge specializzato, devono essere convertiti in un formato ottimizzato per il dispositivo di destinazione. È qui che entrano in gioco le integrazioni di esportazione supportate dal pacchetto Python di Ultralytics.

Ultralytics fornisce una gamma di opzioni di esportazione che consentono ai modelli YOLO di essere convertiti in diversi formati a seconda della destinazione di distribuzione, come ONNX, TensorRT e altri backend specifici per l'hardware. Queste integrazioni semplificano il processo di preparazione dei modelli per applicazioni del mondo reale gestendo i necessari passaggi di ottimizzazione e conversione.

Partendo da questo, Ultralytics ha introdotto un'integrazione di esportazione aggiornata con Axelera AI, consentendo ai modelli YOLO di essere esportati per la distribuzione su AIPU Metis.

Durante l'esportazione, il modello viene compilato e quantizzato in una rappresentazione ottimizzata progettata specificamente per l'hardware Axelera. Questo processo produce un modello compilato in formato ".axm", insieme ai metadati necessari per la distribuzione e l'inferenza.

Fig 2. I modelli Ultralytics YOLO possono essere eseguiti su AIPU Metis. (Fonte)

L'integrazione supporta un'ampia gamma di attività di computer vision per i modelli Ultralytics YOLOv8, Ultralytics YOLO11 e Ultralytics YOLO26, tra cui rilevamento di oggetti, stima della posa, segmentazione di istanze, rilevamento di oriented bounding box (OBB) e classificazione delle immagini. Sebbene la maggior parte delle attività sia supportata direttamente tramite il flusso di lavoro di esportazione, la segmentazione YOLO26 può essere utilizzata tramite il model zoo con il Voyager SDK.

Questo supporto esteso offre agli sviluppatori la flessibilità di distribuire diversi tipi di modelli di visione a seconda della loro applicazione, dal rilevamento di oggetti in tempo reale alla comprensione di scene, al tracciamento dei movimenti e all'analisi di dati visivi complessi.

Una volta esportati, i modelli possono essere distribuiti ed eseguiti senza fare affidamento su PyTorch al momento dell'inferenza. Invece, vengono eseguiti utilizzando il runtime del Voyager SDK, che supporta la creazione di pipeline end-to-end per attività come l'elaborazione video, il rilevamento in tempo reale e il tracciamento direttamente sui dispositivi edge.

Link to this sectionGuida introduttiva all'esportazione dei modelli Ultralytics YOLO#

Ora che abbiamo una migliore comprensione della nuova integrazione di esportazione, esaminiamo come esportare i modelli Ultralytics YOLO in questo formato personalizzato ed eseguirli sull'hardware Metis sull'edge.

Link to this sectionPassaggio 1: Installa il pacchetto Python di Ultralytics#

Per iniziare, dovrai prima installare il pacchetto Python di Ultralytics. Fornisce un'interfaccia semplice e coerente per addestrare, valutare ed esportare modelli YOLO.

Puoi installarlo usando pip eseguendo il seguente comando nel tuo terminale o prompt dei comandi:

pip install ultralytics

Se riscontri problemi durante l'installazione o l'esportazione, la documentazione ufficiale di Ultralytics e la guida ai problemi comuni sono ottime risorse per la risoluzione dei problemi.

Link to this sectionPassaggio 2: Installa i driver Axelera e il Voyager SDK#

Per esportare ed eseguire modelli sull'hardware Axelera, dovrai anche installare i driver Axelera e il Voyager SDK. Questo passaggio abilita la comunicazione con l'AIPU Metis e fornisce gli strumenti di runtime e compilatore necessari.

I passaggi seguenti devono essere eseguiti in un ambiente Linux con accesso all'hardware Axelera AI Metis. Apri un terminale sul tuo sistema o usa una cella del notebook se stai eseguendo Jupyter Notebook su una configurazione locale compatibile, ed esegui i comandi seguenti.

Inizia aggiungendo la chiave del repository Axelera come segue:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Successivamente, come mostrato di seguito, aggiungi il repository Axelera al tuo sistema:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Quindi installa il Voyager SDK e carica il driver Metis come segue:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Una volta completati questi passaggi, il tuo sistema sarà pronto per esportare ed eseguire i modelli Ultralytics YOLO sui dispositivi Axelera AI Metis.

Link to this sectionPassaggio 3: Esportazione dei modelli Ultralytics YOLO#

Una volta installato il pacchetto Ultralytics, puoi caricare il tuo modello YOLO ed esportarlo come pacchetto compilato per Metis. Questo processo converte il modello in un formato ottimizzato per la distribuzione sull'hardware Axelera AI Metis.

Nell'esempio seguente, utilizziamo un modello YOLO26 nano pre-addestrato e lo esportiamo per Metis. Il modello esportato verrà salvato in una directory denominata "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Link to this sectionPassaggio 4: Esegui l'inferenza con il modello esportato#

Dopo aver esportato il modello, puoi caricarlo ed eseguire l'inferenza su immagini o flussi video non visti in precedenza. Ciò abilita attività di computer vision in tempo reale direttamente sui dispositivi Axelera AI Metis.

Ad esempio, il frammento di codice seguente mostra come caricare il modello esportato ed eseguire l'inferenza su un URL accessibile pubblicamente.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

In questo caso, il modello analizza l'immagine di input e rileva gli oggetti, salvando i risultati nella directory "runs/detect/predict".

Link to this sectionDove i modelli Ultralytics YOLO e l'hardware Axelera AI possono avere un impatto#

Successivamente, discutiamo di alcune comuni applicazioni di edge AI in cui i modelli Ultralytics YOLO possono essere distribuiti sull'hardware Axelera AI in scenari del mondo reale.

Le AIPU Metis di Axelera AI sono progettate per una serie di ambienti di distribuzione, da sistemi embedded e PC industriali alla robotica e server edge. Con un'inferenza ad alte prestazioni ed efficiente dal punto di vista energetico, consentono alle applicazioni di computer vision di essere eseguite direttamente sul dispositivo in tutti i settori. Il Voyager SDK include anche un generatore di pipeline per ingegneri ML e APP per industrializzare i modelli per l'edge.

Link to this sectionSistemi di visione intelligente nel retail operanti sull'edge#

Negli ambienti retail, comprendere il comportamento dei clienti in tempo reale può fare una differenza significativa.

Utilizzando i modelli Ultralytics YOLO in esecuzione sull'hardware Axelera AI, i negozi possono monitorare il traffico pedonale, contare le persone e analizzare i modelli di movimento all'interno del negozio mentre si verificano. Poiché tutto viene eseguito sul dispositivo, gli insight possono essere generati istantaneamente senza fare affidamento sulla connettività cloud, aiutando i team a rispondere più velocemente mantenendo al contempo la privacy dei dati.

Fig 3. Rilevamento e conteggio delle persone in un centro commerciale utilizzando YOLO26

Link to this sectionUtilizzo dell'edge AI per l'ispezione di servizi di pubblica utilità e infrastrutture#

La manutenzione di infrastrutture su larga scala come le linee elettriche è complessa e richiede molte risorse. Queste reti si estendono spesso su vaste distanze, rendendo le ispezioni lunghe, costose e potenzialmente pericolose. Quando guasti o primi segni di usura non vengono rilevati, possono degenerare in interruzioni, danni alle apparecchiature o rischi per la sicurezza.

I droni vengono sempre più utilizzati per migliorare l'efficienza delle ispezioni. Possono coprire lunghe distanze, accedere ad aree difficili da raggiungere e catturare immagini ad alta risoluzione di risorse critiche.

Combinare i droni con l'edge AI migliora ulteriormente questi flussi di lavoro. I modelli Ultralytics YOLO in esecuzione sull'hardware Axelera AI consentono l'analisi in tempo reale durante le ispezioni, identificando guasti, classificando componenti e rilevando anomalie in loco. Ciò riduce la necessità di revisioni manuali e supporta un monitoraggio delle infrastrutture più rapido e affidabile.

Fig 4. Rilevamento di varie parti di una linea elettrica con YOLO26

Link to this sectionAlimentare la robotica con insight di vision AI in tempo reale#

Per la robotica, la velocità e la reattività sono fondamentali. Che si tratti di navigare in un magazzino o di operare in ambienti industriali dinamici, i robot devono interpretare l'ambiente circostante istantaneamente.

I modelli Ultralytics YOLO in esecuzione sull'hardware Axelera AI consentono ai robot di interpretare l'ambiente circostante in tempo reale, dal rilevamento di ostacoli al tracciamento di persone e all'identificazione di oggetti. Ciò consente ai sistemi di muoversi in modo più sicuro, adattarsi a condizioni dinamiche e operare con maggiore autonomia senza dipendere da una costante connettività cloud.

Link to this sectionPrincipali vantaggi dell'esecuzione dei modelli Ultralytics YOLO sulle AIPU Metis#

Ecco alcuni dei principali vantaggi della distribuzione dei modelli Ultralytics YOLO sull'hardware Metis di Axelera AI utilizzando la nuova integrazione:

• Integrazione perfetta con il flusso di lavoro Ultralytics: L'esportazione di modelli YOLO per la distribuzione su Metis si inserisce naturalmente nel pacchetto Python di Ultralytics, semplificando la transizione dall'addestramento all'inferenza.
• Supporto per molteplici attività di computer vision: Puoi distribuire modelli per rilevamento di oggetti, stima della posa, segmentazione, classificazione e altro ancora su YOLOv8, YOLO11 e YOLO26.
• Esegui modelli in parallelo: Le AIPU Metis sono progettate con quattro core programmabili indipendentemente in grado di eseguire quattro modelli separati in parallelo per soddisfare le tue esigenze.
• Scalabile tra le applicazioni di edge AI: Dalla analisi retail e ispezione industriale alla robotica e infrastrutture intelligenti, l'integrazione supporta un'ampia gamma di casi d'uso del mondo reale.

Link to this sectionPunti chiave#

I modelli Ultralytics YOLO e le AIPU Metis di Axelera AI rendono più semplice portare la computer vision ad alte prestazioni sull'edge. Semplificando la distribuzione e ottimizzando i modelli per hardware specializzato, questa integrazione aiuta a colmare il divario tra sviluppo e applicazioni del mondo reale.

Poiché l'edge AI continua a crescere, disporre di opzioni di distribuzione efficienti e scalabili sarà fondamentale per costruire sistemi reattivi e affidabili. Questa collaborazione è un passo verso rendere l'IA di visione avanzata più accessibile in tutti i settori.

Vuoi saperne di più sull'IA? Esplora il nostro repository GitHub, connettiti con la nostra comunità e dai un'occhiata a le nostre opzioni di licenza per avviare il tuo progetto di computer vision. Scopri come innovazioni come l'IA nel retail e la computer vision nell'assistenza sanitaria stanno plasmando il futuro.