Portare i modelli Ultralytics YOLO sull'hardware Axelera AI per l'IA edge

In Ultralytics stiamo assistendo a una crescente tendenza a eseguire direttamente i modelli di computer vision sui dispositivi edge, man mano che l'AI si diffonde. Nelle conversazioni con la community di computer vision, sia online sia di persona alle recenti conferenze tecnologiche, il nostro team ha rilevato un interesse sempre maggiore per la distribuzione dell'AI per la visione più vicino al luogo in cui vengono generati i dati.

Dagli ambienti di vendita intelligenti all'automazione industriale e alla robotica, le informazioni in tempo reale stanno diventando essenziali e affidarsi esclusivamente al cloud non è più sufficiente.

In poche parole, l'edge AI consiste nell'eseguire localmente i modelli di AI sui dispositivi anziché inviare i dati a server centralizzati per l'elaborazione. Ciò permette di ridurre la latenza, migliorare l'affidabilità e rispondere in tempo reale agli eventi del mondo reale.

Tuttavia, distribuire modelli ad alte prestazioni in questi ambienti comporta sfide specifiche: le risorse di calcolo limitate e i vincoli di alimentazione impongono che i modelli siano efficienti e ottimizzati per l'hardware su cui vengono eseguiti.

I modelli Ultralytics YOLO, come Ultralytics YOLO26, sono progettati per la computer vision in tempo reale, ma per sfruttarne appieno il potenziale all'edge serve la giusta combinazione di software e hardware. Per questo siamo entusiasti di annunciare la nostra collaborazione con Axelera AI.

Abbiamo stretto una partnership con Axelera AI per presentare un'integrazione di esportazione aggiornata, che consente di distribuire in modo efficiente e ad alte prestazioni i modelli Ultralytics YOLO sulle unità di elaborazione AI Metis® (AIPUs).

Fig. 1. Uno sguardo a un'unità di elaborazione AI Metis (Fonte)

In questo articolo vedremo come compilare i modelli Ultralytics YOLO per distribuirli su Metis.

L'edge AI è il futuro della computer vision#

Con la continua evoluzione delle applicazioni di computer vision, la necessità di elaborazioni più rapide ed efficienti diventa sempre più cruciale. Gli approcci tradizionali basati sul cloud possono introdurre latenza, dipendono da una connettività stabile e potrebbero non soddisfare le esigenze in tempo reale di molti casi d'uso di visione intelligente.

L'edge AI affronta queste sfide permettendo ai modelli di essere eseguiti direttamente sui dispositivi locali, così i dati vengono elaborati più vicino alla loro origine. Prendi, ad esempio, i droni dotati di sistemi di visione usati nelle operazioni di ricerca e soccorso.

Questi sistemi devono analizzare i flussi video in tempo reale per rilevare persone, ostacoli o pericoli, spesso in aree remote con connettività Internet limitata o assente. Eseguendo direttamente sul drone i modelli di computer vision, l'edge AI permette di prendere decisioni più rapidamente e offre prestazioni più affidabili, senza dipendere dall'infrastruttura cloud.

Questo cambiamento apre nuove possibilità in diversi settori. Applicazioni come il rilevamento di oggetti in tempo reale nel commercio al dettaglio, il controllo qualità automatizzato nella produzione e la percezione nella robotica traggono tutte vantaggio da tempi di risposta più rapidi e maggiore affidabilità.

L'edge AI sta diventando rapidamente un fattore chiave per distribuire sistemi di computer vision scalabili e reattivi in ambienti reali.

Alla scoperta delle unità di elaborazione AI Metis di Axelera AI#

Prima di approfondire la nuova integrazione di esportazione, facciamo un passo indietro e scopriamo meglio le unità di elaborazione AI Metis di Axelera AI e il ruolo che svolgono nel rendere possibile un'edge AI efficiente.

Axelera AI sviluppa hardware progettato appositamente per accelerare l'inferenza AI all'edge. Un elemento chiave è Metis AIPU, ovvero un'unità di elaborazione AI: un processore specializzato, realizzato per eseguire in modo efficiente le reti neurali sui dispositivi edge.

A differenza delle unità di elaborazione centrale (CPU) o persino delle unità di elaborazione grafica (GPU) di uso generale, le AIPU sono progettate per gestire gli specifici schemi computazionali dei carichi di lavoro AI. Questo permette loro di offrire prestazioni elevate mantenendo bassi i consumi energetici, un aspetto fondamentale negli ambienti edge, dove spesso le risorse sono limitate.

Ciò che distingue l'approccio di Axelera AI è la sua progettazione full-stack. Metis è basato su calcolo digitale in memoria (D-IMC) e RISC-V per offrire prestazioni elevate e l'efficienza energetica richiesta dall'edge computing. I quattro core di Metis sono programmabili in modo indipendente: puoi quindi eseguire quattro modelli in parallelo su ciascun chip. Oltre all'hardware, il Voyager SDK include un compilatore e un runtime che collaborano per ottimizzare i modelli per la distribuzione.

Questo permette agli sviluppatori di passare più efficacemente dai modelli addestrati all'inferenza pronta per la produzione. In particolare, le AIPU Metis consentono di eseguire modelli avanzati di computer vision, come i modelli Ultralytics YOLO, direttamente sui dispositivi edge, in ambienti aziendali, commerciali, sanitari e produttivi, nonché in ambito agricolo, su apparecchiature industriali e sui satelliti.

Esportazione dei modelli Ultralytics YOLO per la distribuzione su Metis#

Il pacchetto Python Ultralytics offre un'interfaccia unificata per addestrare, valutare e distribuire modelli YOLO in diverse attività di computer vision. I modelli YOLO vengono in genere sviluppati e addestrati con PyTorch, particolarmente adatto alla sperimentazione e allo sviluppo dei modelli.

Tuttavia, quando si distribuiscono questi modelli su hardware edge specializzato, è necessario convertirli in un formato ottimizzato per il dispositivo di destinazione. È qui che entrano in gioco le integrazioni di esportazione supportate dal pacchetto Python Ultralytics.

Ultralytics offre diverse opzioni di esportazione che consentono di convertire i modelli YOLO in formati differenti in base alla destinazione di distribuzione, come ONNX, TensorRT e altri backend specifici per l'hardware. Queste integrazioni semplificano la preparazione dei modelli per le applicazioni del mondo reale, gestendo le necessarie fasi di ottimizzazione e conversione.

A partire da questa base, Ultralytics ha introdotto un'integrazione di esportazione aggiornata con Axelera AI, che consente di esportare i modelli YOLO per distribuirli sulle AIPU Metis.

Durante l'esportazione, il modello viene compilato e quantizzato in una rappresentazione ottimizzata appositamente per l'hardware Axelera. Il processo genera un modello compilato in formato ".axm", insieme ai metadati necessari per la distribuzione e l'inferenza.

Fig. 2. I modelli Ultralytics YOLO possono essere eseguiti sulle AIPU Metis. (Fonte)

L'integrazione supporta un'ampia gamma di attività di visione artificiale nei modelli Ultralytics YOLOv8, Ultralytics YOLO11 e Ultralytics YOLO26, tra cui rilevamento di oggetti, segmentazione di istanze, classificazione di immagini, stima della posa e rilevamento di riquadri di delimitazione orientati (OBB). Le versioni attuali esportano direttamente tutte le attività Ultralytics, inclusi la segmentazione semantica e la stima della profondità di YOLO26; per i dettagli, consulta le attività supportate. Il catalogo dei modelli del Voyager SDK include anche modelli YOLO pronti all'uso.

Questo supporto ampliato offre agli sviluppatori la flessibilità necessaria per distribuire diversi tipi di modelli di visione in base alla propria applicazione: dal rilevamento di oggetti in tempo reale alla comprensione delle scene, al tracciamento dei movimenti e all'analisi di dati visivi complessi.

Dopo l'esportazione, i modelli possono essere distribuiti ed eseguiti senza PyTorch durante l'inferenza. Vengono invece eseguiti tramite il runtime del Voyager SDK, che supporta la creazione di pipeline end-to-end per attività come l'elaborazione video, il rilevamento in tempo reale e il tracciamento direttamente sui dispositivi edge.

Primi passi con l'esportazione dei modelli Ultralytics YOLO#

Ora che abbiamo compreso meglio la nuova integrazione di esportazione, vediamo come esportare i modelli Ultralytics YOLO in questo formato personalizzato ed eseguirli sull'hardware Metis all'edge.

Passaggio 1: installa il pacchetto Python di Ultralytics#

Per iniziare, devi prima installare il pacchetto Python Ultralytics. Offre un'interfaccia semplice e coerente per addestrare, valutare ed esportare modelli YOLO.

Puoi installarlo con pip eseguendo il comando seguente nel terminale o nel prompt dei comandi:

pip install ultralytics

Se riscontri problemi durante l'installazione o l'esportazione, la documentazione ufficiale di Ultralytics e la guida ai problemi comuni sono ottime risorse per la risoluzione dei problemi.

Passaggio 2: installa i driver Axelera e il Voyager SDK#

Per esportare ed eseguire modelli sull'hardware Axelera, devi installare anche i driver Axelera e il Voyager SDK. Questo passaggio consente la comunicazione con l'AIPU Metis e fornisce gli strumenti di runtime e compilazione necessari.

I passaggi seguenti devono essere eseguiti in un ambiente Linux con accesso all'hardware Metis di Axelera AI. Apri un terminale sul tuo sistema oppure usa una cella del notebook se stai eseguendo Jupyter Notebook su una configurazione locale compatibile, quindi esegui i comandi seguenti.

Per prima cosa, aggiungi la chiave del repository Axelera nel modo seguente:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Poi, come mostrato di seguito, aggiungi il repository Axelera al tuo sistema:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Infine, installa il Voyager SDK e carica il driver Metis nel modo seguente:

sudo apt update
sudo apt install -y metis-dkms
sudo modprobe metis

Completati questi passaggi, il tuo sistema sarà pronto per esportare ed eseguire modelli Ultralytics YOLO sui dispositivi Metis di Axelera AI.

Passaggio 3: esporta i modelli Ultralytics YOLO#

Una volta installato il pacchetto Ultralytics, puoi caricare il tuo modello YOLO ed esportarlo come pacchetto compilato per Metis. Questo processo converte il modello in un formato ottimizzato per la distribuzione sull'hardware Metis di Axelera AI.

Nell'esempio seguente usiamo un modello nano YOLO26 preaddestrato e lo esportiamo per Metis. Il modello esportato verrà salvato in una directory chiamata "yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Passaggio 4: esegui l'inferenza con il modello esportato#

Dopo aver esportato il modello, puoi caricarlo ed eseguire inferenze su immagini o flussi video mai visti prima. Ciò consente di svolgere attività di computer vision in tempo reale direttamente sui dispositivi Metis di Axelera AI.

Ad esempio, il frammento di codice seguente mostra come caricare il modello esportato ed eseguire l'inferenza su un URL disponibile pubblicamente.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

In questo caso, il modello analizza l'immagine in ingresso e rileva gli oggetti, salvando i risultati nella directory "runs/detect/predict".

Dove i modelli Ultralytics YOLO e l'hardware Axelera AI possono fare la differenza#

Vediamo ora alcune applicazioni comuni di edge AI in cui i modelli Ultralytics YOLO possono essere distribuiti sull'hardware Axelera AI in scenari reali.

Le AIPU Metis di Axelera AI sono progettate per una serie di ambienti di distribuzione, dai sistemi embedded e dai PC industriali alla robotica e ai server edge. Grazie a inferenze ad alte prestazioni ed efficienti dal punto di vista energetico, consentono alle applicazioni di visione artificiale di funzionare direttamente sul dispositivo in diversi settori. Il Voyager SDK include anche un generatore di pipeline che aiuta gli ingegneri ML e applicativi a rendere i modelli pronti per l'uso edge.

Sistemi di visione intelligenti edge nel commercio al dettaglio#

Negli ambienti commerciali, comprendere il comportamento dei clienti in tempo reale può fare una grande differenza.

Usando i modelli Ultralytics YOLO eseguiti sull'hardware Axelera AI, i negozi possono monitorare il flusso di persone, contare i visitatori e analizzare in tempo reale gli spostamenti all'interno del punto vendita. Poiché tutto viene eseguito sul dispositivo, è possibile ottenere informazioni immediate senza dipendere dalla connettività cloud, consentendo ai team di reagire più rapidamente e al contempo tutelare la privacy dei dati.

Fig. 3. Rilevamento e conteggio delle persone in un centro commerciale con Ultralytics YOLO26

Uso dell'edge AI per l'ispezione di infrastrutture e servizi pubblici#

La manutenzione di infrastrutture su vasta scala, come le linee elettriche, è complessa e richiede molte risorse. Queste reti spesso si estendono su distanze enormi, rendendo le ispezioni lunghe, costose e potenzialmente pericolose. Se guasti o primi segni di usura non vengono rilevati, possono causare interruzioni del servizio, danni alle apparecchiature o rischi per la sicurezza.

I droni vengono sempre più spesso usati per migliorare l'efficienza delle ispezioni. Possono coprire lunghe distanze, raggiungere aree difficili da accesso e acquisire immagini ad alta risoluzione di risorse critiche.

La combinazione di droni e IA edge migliora ulteriormente questi flussi di lavoro. I modelli Ultralytics YOLO eseguiti su hardware Axelera AI consentono l'analisi in tempo reale durante le ispezioni, individuando guasti, classificando componenti e rilevando anomalie sul posto. Questo riduce la necessità di revisioni manuali e favorisce un monitoraggio delle infrastrutture più rapido e affidabile.

Fig. 4. Rilevamento di varie parti di una linea elettrica con Ultralytics YOLO26

Potenziare la robotica con informazioni di IA visiva in tempo reale#

Per la robotica, velocità e reattività sono fondamentali. Che si tratti di muoversi in un magazzino o di operare in ambienti industriali dinamici, i robot devono interpretare l'ambiente circostante all'istante.

I modelli Ultralytics YOLO eseguiti su hardware Axelera AI consentono ai robot di interpretare l'ambiente circostante in tempo reale, dal rilevamento degli ostacoli al tracciamento delle persone e all'identificazione degli oggetti. Questo permette ai sistemi di muoversi in modo più sicuro, adattarsi a condizioni dinamiche e operare con maggiore autonomia senza dipendere da una connessione costante al cloud.

Vantaggi principali dell'esecuzione dei modelli Ultralytics YOLO sulle AIPU Metis#

Ecco alcuni dei principali vantaggi offerti dalla distribuzione dei modelli Ultralytics YOLO sull'hardware Metis di Axelera AI tramite la nuova integrazione:

• Integrazione con il flusso di lavoro Ultralytics: esportare i modelli YOLO per la distribuzione su Metis si integra naturalmente nel pacchetto Python di Ultralytics, semplificando il passaggio dal training all'inferenza.
• Supporto per diverse attività di visione artificiale: puoi distribuire modelli YOLOv8, YOLO11 e YOLO26 per il rilevamento di oggetti, la segmentazione, la classificazione, la stima della posa e altre attività.
• Esecuzione parallela dei modelli: Le AIPU Metis sono progettate con quattro core programmabili in modo indipendente, in grado di eseguire quattro modelli distinti in parallelo per adattarsi alle tue esigenze.
• Scalabilità per le applicazioni di IA edge: Dall'analisi dei dati nel commercio al dettaglio e dall'ispezione industriale alla robotica e alle infrastrutture intelligenti, l'integrazione supporta un'ampia gamma di casi d'uso reali.

Punti chiave#

I modelli Ultralytics YOLO e le AIPU Metis di Axelera AI semplificano l'adozione della visione artificiale ad alte prestazioni nell'edge. Semplificando la distribuzione e ottimizzando i modelli per hardware specializzato, questa integrazione aiuta a colmare il divario tra sviluppo e applicazioni reali.

Con la continua crescita dell'IA edge, disporre di opzioni di distribuzione efficienti e scalabili sarà fondamentale per realizzare sistemi reattivi e affidabili. Questa collaborazione è un passo verso una maggiore accessibilità dell'IA visiva avanzata nei diversi settori.

Vuoi saperne di più sull'IA? Esplora il nostro repository GitHub, entra in contatto con la nostra community e scopri le nostre opzioni di licenza per dare il via al tuo progetto di visione artificiale. Scopri come innovazioni come l'IA nel commercio al dettaglio e la visione artificiale in ambito sanitario stanno plasmando il futuro.