Axelera AI offre inferenza edge AI a 34 FPS utilizzando Ultralytics YOLO

Axelera AI è un'azienda di semiconduttori europea che realizza chip IA potenti ed energeticamente efficienti per eseguire la computer vision all'edge. Ad esempio, le loro unità di elaborazione IA (AIPU) Metis sono impiegate in settori come il retail, la sicurezza e la produzione.

Per semplificare la creazione e il rilascio di applicazioni IA da parte dei clienti, Axelera ha integrato i modelli Ultralytics YOLO nel suo Voyager SDK, una piattaforma software che ottimizza, rilascia e accelera i modelli sulle AIPU Metis, rendendo la Vision AI in tempo reale più veloce, semplice e scalabile.

Ridefinire l'accelerazione hardware della Vision AI#

Fondata nel 2021 e con sede nei Paesi Bassi, Axelera AI si è posta l'obiettivo di risolvere un problema fondamentale: l'hardware IA tradizionale è stato progettato per il cloud, non per l'edge. Per colmare questo divario, l'azienda ha sviluppato le AIPU Metis.

Si tratta di un chip ad alte prestazioni e basso consumo progettato specificamente per carichi di lavoro edge: attività AI che vengono eseguite localmente sui dispositivi dove velocità, privacy ed efficienza energetica sono fondamentali.

È supportato dalla loro tecnologia proprietaria Digital In-Memory Compute (D-IMC), che rende possibile elaborare i dati direttamente dove vengono archiviati e riduce drasticamente la latenza e il consumo energetico. Con uno stack software completamente integrato e la missione di democratizzare l'AI, Axelera sta rendendo l'AI ad alte prestazioni più accessibile.

La sfida dell'esecuzione di modelli su hardware AI edge#

Per offrire un'esperienza IA fluida all'edge, Axelera AI ha puntato a fornire molto più di un hardware ad alte prestazioni. I clienti richiedevano anche un modo semplice e affidabile per eseguire soluzioni di computer vision in tempo reale che non comportassero strumenti complessi o personalizzazioni dispendiose in termini di tempo. Molti modelli esistenti erano troppo grandi, troppo lenti o poco adatti ad ambienti con risorse limitate.

L'analisi della vendita al dettaglio, l'automazione delle fabbriche e i sistemi di sorveglianza si basano spesso su insight visivi rapidi e accurati per supportare le operazioni. Tuttavia, i modelli tradizionali e le soluzioni basate sul cloud solitamente non sono in grado di soddisfare i requisiti di bassa latenza, efficienza energetica ed elaborazione on-device di queste applicazioni AI edge.

Axelera ha iniziato a cercare una suite di modelli che fosse accurata, facile da implementare e in grado di funzionare in modo efficiente sulle sue Metis AI Processing Units. La soluzione giusta avrebbe completato le sue capacità hardware semplificando al contempo lo sviluppo e accelerando il dispiegamento in un'ampia gamma di casi d'uso di AI edge.

Inferenze AI accelerate all'edge con Ultralytics YOLO#

Axelera AI ha integrato i modelli Ultralytics YOLO nel suo Voyager SDK per rendere la creazione e il rilascio di applicazioni edge AI più veloci, semplici e scalabili. L'SDK include un Model Zoo con modelli YOLO pronti all'uso e automatizza l'intera pipeline, coprendo pre-elaborazione, inferenza e post-elaborazione, ottimizzati per le unità di elaborazione IA Metis.

Fig 1. Metis AI Processing Unit (AIPU).

Questa integrazione consente ai clienti di utilizzare modelli Ultralytics YOLO pre-addestrati fin da subito o di portare i propri, con un'accelerazione senza interruzioni sull'hardware edge. Grazie al supporto per l'esecuzione di modelli paralleli e in cascata, le Metis AIPU consentono configurazioni multi-modello avanzate come la stima della posa seguita dalla segmentazione. Questo è l'ideale per compiti complessi nella vendita al dettaglio, nella sicurezza e nell'automazione industriale.

La combinazione di attività di computer vision in tempo reale supportate dai modelli Ultralytics YOLO e dallo stack hardware e software efficiente di Axelera offre prestazioni eccezionali per watt e per dollaro. Per i clienti, questo significa risultati più accurati, rilasci più rapidi e una minore barriera alla scalabilità della Vision AI all'edge.

Perché scegliere i modelli Ultralytics YOLO?#

Axelera AI ha collaborato con Ultralytics per integrare i modelli Ultralytics YOLO nella sua piattaforma per il loro eccezionale equilibrio tra accuratezza, velocità e facilità d'uso. Grazie al supporto per molteplici varianti di Ultralytics YOLO, i clienti di Axelera AI possono valutare un'ampia gamma di carichi di lavoro ed esigenze prestazionali sulla Metis AIPU.

Tramite una licenza Ultralytics Enterprise, Axelera fornisce l'accesso all'intera suite di modelli YOLO per la valutazione e lo sviluppo. Per il rilascio commerciale, i clienti devono ottenere una propria licenza direttamente da Ultralytics tramite il modulo di licenza, garantendo la conformità e supportando l'innovazione scalabile nella Vision AI all'edge.

Sfruttare i modelli Ultralytics YOLO su larga scala con il Voyager SDK di Axelera AI#

Con i modelli Ultralytics YOLO e il Voyager SDK di Axelera AI, gli utenti possono distribuire applicazioni di visione artificiale accurate e a bassa latenza direttamente sulle Metis AI Processing Units. Inoltre, avere accesso a molteplici varianti di YOLO consente ai clienti di regolare le prestazioni in base alle esigenze specifiche della loro applicazione.

Ad esempio, Axelera AI ha visto i clienti testare soluzioni basate su YOLO in una varietà di domini come:

• Vendita al dettaglio: Pipeline multi-modello che combinano stima della posa, segmentazione e rilevamento degli oggetti possono essere utilizzate per supportare attività come la riduzione dei furti e il tracciamento dell'inventario. Queste implementazioni vengono eseguite in modo efficiente su piattaforme embedded come il Raspberry Pi 5 abbinato alla Metis AIPU.
• Produzione: I clienti possono utilizzare l'esecuzione parallela dei modelli per eseguire attività simultanee, come il rilevamento dei difetti, la classificazione dei prodotti e la stima della posa, su un singolo chip per migliorare il throughput e ridurre i costi hardware.
• Sorveglianza: Le capacità di rilevamento di oggetti in tempo reale di YOLO possono essere utilizzate per analizzare flussi video 4K e 8K alla massima risoluzione, agevolando il monitoraggio della sicurezza ad alta precisione e la consapevolezza situazionale in ambienti critici. Questa è una soluzione nettamente migliore rispetto al tradizionale downscaling su telecamere ad alta risoluzione.
• Assistenza sanitaria: Le pipeline YOLO ottimizzate possono supportare l'identificazione dei tumori, offrendo un'elevata velocità di inferenza e un'accuratezza affidabile per l'imaging medico on-device.

Questi casi d'uso dimostrano come l'hardware AI edge di Axelera AI e i modelli Ultralytics YOLO promuovano innovazioni di Vision AI ad alte prestazioni ed efficienti dal punto di vista energetico in tutti i settori.

Guidare la prossima ondata di AI edge con Ultralytics YOLO#

Poiché Axelera AI continua a concentrarsi sull'ampliamento dell'accesso all'AI edge ad alte prestazioni, sta riunendo hardware potente e modelli di visione affidabili per aiutare i clienti a costruire applicazioni più intelligenti e veloci.

Con i modelli Ultralytics YOLO disponibili tramite il Voyager SDK e l'hardware AIPU Metis, gli utenti possono facilmente sviluppare e scalare soluzioni di computer vision in tempo reale in tutti i settori. Questa collaborazione supporta una community in crescita di sviluppatori e aziende che lavorano per avvicinare l'IA al luogo in cui vengono creati i dati, migliorando efficienza, reattività e innovazione all'edge.

Pronto ad accelerare il tuo percorso nell'edge AI? Esplora il nostro repository GitHub per scoprire come i modelli YOLO alimentano innovazioni come l'IA nel retail e la computer vision nella logistica. Mettiti alla prova con i nostri strumenti di Vision AI, scopri le opzioni di licenza e sblocca una computer vision ad alte prestazioni ed energeticamente efficiente all'edge.