Scopri la nuova integrazione per l'esportazione supportata dalPython Ultralytics , realizzata in collaborazione con Axelera AI, per un'intelligenza artificiale edge efficiente e ad alte prestazioni.
In Ultralytics stiamo assistendo a una tendenza sempre più marcata verso l'esecuzione di modelli di visione artificiale direttamente sui dispositivi periferici, man mano che l'intelligenza artificiale trova sempre più diffusione. Nei nostri scambi con la comunità della visione artificiale, sia online che di persona in occasione delle recenti conferenze tecnologiche, il nostro team ha riscontrato un crescente interesse nell'implementare l'intelligenza artificiale applicata alla visione più vicino al luogo in cui vengono generati i dati.
Dagli ambienti di vendita al dettaglio intelligenti e dall'automazione industriale alla robotica, le informazioni in tempo reale stanno diventando fondamentali e affidarsi esclusivamente al cloud non è più sufficiente.
In parole povere, l'edge AI consiste nell'eseguire modelli di intelligenza artificiale a livello locale sui dispositivi, anziché inviare i dati a server centralizzati per l'elaborazione. Ciò consente di ridurre la latenza, migliorare l'affidabilità e reagire in tempo reale agli eventi del mondo reale.
Tuttavia, l'implementazione di modelli ad alte prestazioni in questi ambienti comporta alcune difficoltà, poiché le risorse di calcolo limitate e i vincoli di alimentazione richiedono che i modelli siano sia efficienti sia ottimizzati per l'hardware su cui vengono eseguiti.
YOLO Ultralytics YOLO , come Ultralytics , sono progettati per la visione artificiale in tempo reale, ma per sfruttarne appieno il potenziale in ambiente edge è necessaria la giusta combinazione di software e hardware. Ecco perché siamo lieti di annunciare la nostra collaborazione con Axelera AI.
Abbiamo avviato una collaborazione con Axelera AI per introdurre un'integrazione di esportazione aggiornata, che consente un'implementazione efficiente e ad alte prestazioni deiYOLO Ultralytics sulle unità di elaborazione AI (AIPU)Metis®.
In questo articolo vedremo come compilare facilmenteYOLO Ultralytics per l'implementazione su Metis. Cominciamo!
Con la continua evoluzione delle applicazioni di visione artificiale, la necessità di un'elaborazione più veloce ed efficiente sta diventando sempre più cruciale. Gli approcci tradizionali basati sul cloud possono comportare latenze, dipendono da una connettività stabile e potrebbero non soddisfare le esigenze in tempo reale di molti casi d'uso della visione intelligente.
L'Edge AI affronta queste sfide consentendo l'esecuzione dei modelli direttamente sui dispositivi locali, permettendo così di elaborare i dati più vicino alla loro fonte. Si pensi, ad esempio, ai droni dotati di sistemi di visione utilizzati nelle operazioni di ricerca e soccorso.
Questi sistemi devono analizzare i flussi video in tempo reale per detect , ostacoli o pericoli, spesso in aree remote con una connessione Internet limitata o assente. Eseguendo i modelli di visione artificiale direttamente sul drone, l'intelligenza artificiale edge consente un processo decisionale più rapido e prestazioni più affidabili senza dover ricorrere all'infrastruttura cloud.
Questo cambiamento sta aprendo nuove possibilità in tutti i settori. Applicazioni quali il rilevamento di oggetti in tempo reale nel settore della vendita al dettaglio, il controllo automatico della qualità nella produzione e la percezione nella robotica traggono tutte vantaggio da tempi di risposta più rapidi e da una maggiore affidabilità.
L'Edge AI sta rapidamente diventando un fattore chiave per l'implementazione di sistemi di visione artificiale scalabili e reattivi in contesti reali.
Prima di addentrarci nella nuova integrazione per l'esportazione, facciamo un passo indietro per approfondire la conoscenza delle unità di elaborazione Metis AI di Axelera AI e il ruolo che svolgono nel garantire un'intelligenza artificiale periferica efficiente.
Axelera AI sviluppa hardware su misura progettato specificamente per accelerare l'inferenza AI a livello di periferica. Un elemento fondamentale di questa soluzione è il Metis AIPU, ovvero l'AI Processing Unit, un processore specializzato realizzato per eseguire in modo efficiente le reti neurali sui dispositivi periferici.
A differenza delle unità di elaborazione centrale (CPU) generiche o persino delle unità di elaborazione grafica (GPU), le AIPU sono progettate per gestire i modelli computazionali specifici dei carichi di lavoro legati all'intelligenza artificiale. Ciò consente loro di garantire prestazioni elevate mantenendo un basso consumo energetico, aspetto fondamentale per gli ambienti edge in cui le risorse sono spesso limitate.
Ciò che rende particolarmente innovativo l'approccio di Axelera AI è la sua architettura full-stack. Metis è basato sulla tecnologia D-IMC (Digital In-Memory Computing) e su RISC-V per garantire prestazioni elevate e l'efficienza energetica richiesta dall'edge computing. I quattro core di Metis sono programmabili in modo indipendente, il che significa che è possibile eseguire quattro modelli per chip in parallelo. Oltre all'hardware, l'SDK Voyager include un compilatore e un runtime che operano in sinergia per ottimizzare i modelli in vista della loro implementazione.
Ciò consente agli sviluppatori di passare dai modelli addestrati all'inferenza pronta per la produzione in modo più efficiente. Nello specifico, le AIPU Metis permettono di eseguire modelli avanzati di visione artificiale, comeYOLO Ultralytics , direttamente su dispositivi edge in contesti che spaziano dal settore aziendale, della vendita al dettaglio, sanitario e manifatturiero fino alle attrezzature agricole e industriali e ai satelliti.
Python Ultralytics offre un'interfaccia unificata per l'addestramento, la valutazione e l'implementazione YOLO in una vasta gamma di attività di visione artificiale. YOLO vengono solitamente sviluppati e addestrati utilizzando PyTorch, che si presta particolarmente bene alla sperimentazione e allo sviluppo dei modelli.
Tuttavia, quando si implementano questi modelli su hardware edge specializzato, è necessario convertirli in un formato ottimizzato per il dispositivo di destinazione. È qui che entrano in gioco le integrazioni di esportazione supportate dalPython Ultralytics .
Ultralytics una serie di opzioni di esportazione che consentono di convertire YOLO in diversi formati a seconda della destinazione di distribuzione, come ONNX, TensorRT e altri backend specifici per l'hardware. Queste integrazioni semplificano il processo di preparazione dei modelli per le applicazioni pratiche, occupandosi delle fasi di ottimizzazione e conversione necessarie.
Sulla base di ciò, Ultralytics introdotto un'integrazione aggiornata per l'esportazione con Axelera AI, che consente di esportare YOLO per la loro implementazione sulle AIPU Metis.
Durante l'esportazione, il modello viene compilato e quantizzato in una rappresentazione ottimizzata progettata specificamente per l'hardware Axelera. Questo processo produce un modello compilato in formato ".axm", insieme ai metadati necessari per l'implementazione e l'inferenza.
L'integrazione supporta un'ampia gamma di attività di visione artificiale in Ultralytics YOLOv8, Ultralytics YOLO11e Ultralytics , tra cui il rilevamento di oggetti, la stima della posa, la segmentazione di istanze, il rilevamento di bounding box orientati (OBB) e la classificazione delle immagini. Sebbene la maggior parte delle attività sia supportata direttamente tramite il flusso di lavoro di esportazione, la segmentazione YOLO26 può essere utilizzata tramite il Model Zoo con l'SDK Voyager.
Questo supporto ampliato offre agli sviluppatori la flessibilità necessaria per implementare diversi tipi di modelli di visione artificiale a seconda dell'applicazione, dal rilevamento di oggetti in tempo reale alla comprensione delle scene, al tracciamento dei movimenti e all'analisi di dati visivi complessi.
Una volta esportati, i modelli possono essere implementati ed eseguiti senza ricorrere a PyTorch fase di inferenza. Vengono invece eseguiti utilizzando il runtime dell'SDK Voyager, che supporta la creazione di pipeline end-to-end per attività quali l'elaborazione video, il rilevamento in tempo reale e il tracciamento direttamente sui dispositivi periferici.
Ora che abbiamo una migliore comprensione della nuova integrazione per l'esportazione, vediamo come esportareYOLO Ultralytics in questo formato personalizzato ed eseguirli sull'hardware Metis in ambiente edge.
Per iniziare, devi prima installare ilPython Ultralytics . Esso offre un'interfaccia semplice e intuitiva per l'addestramento, la valutazione e l'esportazione YOLO .
È possibile installarlo tramite pip eseguendo il seguente comando nel terminale o nel prompt dei comandi:
pip install ultralytics
Se dovessi riscontrare problemi durante l'installazione o l'esportazione, la Ultralytics ufficiale Ultralytics e la guida ai problemi più comuni rappresentano ottime risorse per la risoluzione dei problemi.
Per esportare ed eseguire i modelli sull'hardware Axelera, è necessario installare anche i driver Axelera e l'SDK Voyager. Questo passaggio consente la comunicazione con l'AIPU Metis e fornisce gli strumenti di compilazione e di runtime necessari.
I passaggi riportati di seguito devono essere eseguiti in un ambiente Linux con accesso all'hardware Axelera AI Metis. Apri un terminale sul tuo sistema oppure utilizza una cella del notebook se stai utilizzando Jupyter Notebook su una configurazione locale compatibile, quindi esegui i comandi riportati di seguito.
Inizia aggiungendo la chiave del repository Axelera come segue:
sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"
Successivamente, come illustrato di seguito, aggiungi il repository Axelera al tuo sistema:
sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"
Quindi installa l'SDK Voyager e carica il driver Metis come segue:
sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis
Una volta completati questi passaggi, il sistema sarà pronto per esportare ed eseguireYOLO Ultralytics YOLO sui dispositivi Axelera AI Metis.
Una volta installato il Ultralytics , è possibile caricare YOLO proprio YOLO ed esportarlo come pacchetto compilato per Metis. Questo processo converte il modello in un formato ottimizzato per l'implementazione sull'hardware Axelera AI Metis.
Nell'esempio riportato di seguito, utilizziamo un modello YOLO26 nano preaddestrato e lo esportiamo per Metis. Il modello esportato verrà salvato in una directory denominata "/yolo26n_axelera_model".
da ultralytics YOLO
model = YOLO("yolo26n.pt")
model.export(format="axelera")
Dopo aver esportato il modello, è possibile caricarlo ed eseguire l'inferenza su immagini o flussi video non visti in precedenza. Ciò consente di eseguire attività di visione artificiale in tempo reale direttamente sui dispositivi Axelera AI Metis.
Ad esempio, il frammento di codice riportato di seguito mostra come caricare il modello esportato ed eseguire l'inferenza su un URL accessibile pubblicamente.
axelera_model = YOLO("yolo26n_axelera_model")
risultati = axelera_model("ultralytics", save=True)
In questo caso, il modello analizza l'immagine in ingresso e rileva gli oggetti, salvando i risultati nella directory "detect".
Vediamo ora alcune applicazioni comuni dell'IA edge in cuiYOLO Ultralytics possono essere implementati sull'hardware Axelera AI in contesti reali.
Le AIPU Metis di Axelera AI sono progettate per una vasta gamma di ambienti di implementazione, dai sistemi embedded e dai PC industriali alla robotica e ai server edge. Grazie a un'elaborazione inferenziale ad alte prestazioni ed efficiente dal punto di vista energetico, consentono l'esecuzione diretta delle applicazioni di visione artificiale sul dispositivo stesso in tutti i settori industriali. L'SDK Voyager include inoltre uno strumento per la creazione di pipeline che permette agli ingegneri di ML e APP di trasformare i modelli in prodotti destinati all'edge.
Nel settore della vendita al dettaglio, comprendere il comportamento dei clienti in tempo reale può fare una differenza significativa.
GrazieYOLO Ultralytics in esecuzione sull'hardware Axelera AI, i negozi possono monitorare l'affluenza, contare le persone e analizzare in tempo reale i modelli di movimento all'interno del punto vendita. Poiché tutto avviene direttamente sul dispositivo, è possibile ottenere informazioni in tempo reale senza dover ricorrere alla connessione cloud, consentendo ai team di reagire più rapidamente e garantendo al contempo la riservatezza dei dati.
La manutenzione di infrastrutture su larga scala, come le linee elettriche, è complessa e richiede ingenti risorse. Queste reti spesso si estendono su distanze considerevoli, rendendo le ispezioni dispendiose in termini di tempo, costose e potenzialmente pericolose. Quando i guasti o i primi segni di usura non vengono individuati, possono degenerare in interruzioni di corrente, danni alle apparecchiature o rischi per la sicurezza.
I droni vengono sempre più spesso utilizzati per migliorare l'efficienza delle ispezioni. Sono in grado di coprire lunghe distanze, raggiungere aree difficilmente accessibili e acquisire immagini ad alta risoluzione di infrastrutture critiche.
L'integrazione dei droni con l'intelligenza artificiale (AI) edge ottimizza ulteriormente questi flussi di lavoro.YOLO Ultralytics , in esecuzione sull'hardware AI di Axelera, consentono l'analisi in tempo reale durante le ispezioni, identificando i guasti, classificando i componenti e rilevando le anomalie direttamente in loco. Ciò riduce la necessità di revisioni manuali e favorisce un monitoraggio delle infrastrutture più rapido e affidabile.
Nel campo della robotica, la velocità e la reattività sono fondamentali. Che si tratti di muoversi all’interno di un magazzino o di operare in ambienti industriali dinamici, i robot devono interpretare immediatamente ciò che li circonda.
YOLO Ultralytics , in esecuzione sull'hardware Axelera AI, consentono ai robot di interpretare l'ambiente circostante in tempo reale, dal rilevamento degli ostacoli al tracciamento delle persone e all'identificazione degli oggetti. Ciò permette ai sistemi di muoversi in modo più sicuro, adattarsi a condizioni dinamiche e operare con maggiore autonomia senza dipendere da una connessione costante al cloud.
Ecco alcuni dei principali vantaggi derivanti dall'implementazioneYOLO Ultralytics sull'hardware Metis di Axelera AI tramite la nuova integrazione:
YOLO Ultralytics e le AIPU Metis di Axelera AI facilitano l'implementazione della visione artificiale ad alte prestazioni nei dispositivi periferici. Semplificando l'implementazione e ottimizzando i modelli per hardware specializzato, questa integrazione contribuisce a colmare il divario tra lo sviluppo e le applicazioni nel mondo reale.
Con la continua crescita dell'IA perimetrale, disporre di opzioni di implementazione efficienti e scalabili sarà fondamentale per realizzare sistemi reattivi e affidabili. Questa collaborazione rappresenta un passo avanti verso una maggiore accessibilità dell'IA avanzata per la visione in tutti i settori.
Vuoi saperne di più sull'IA? Esplora il nostro repository GitHub, entra in contatto con la nostra community e dai un'occhiata alle nostre opzioni di licenza per dare il via al tuo progetto di computer vision. Scopri come innovazioni come l'IA nel retail e la computer vision nel settore sanitario stanno plasmando il futuro.
Inizia il tuo viaggio con il futuro del machine learning
