Axelera AI offre inferenza edge AI a 34 FPS utilizzando Ultralytics YOLO

Axelera AI è un'azienda europea di semiconduttori che costruisce chip AI potenti ed efficienti dal punto di vista energetico per eseguire la visione artificiale all'edge. Ad esempio, le loro Metis AI Processing Units (AIPUs) vengono utilizzate in settori come la vendita al dettaglio, la sicurezza e la produzione.

Per rendere più semplice per i clienti la creazione e il dispiegamento di applicazioni AI, Axelera ha integrato i modelli Ultralytics YOLO nel suo Voyager SDK, una piattaforma software che ottimizza l'ottimizzazione, il dispiegamento e l'accelerazione dei modelli su Metis AIPUs, rendendo la Vision AI in tempo reale più veloce, semplice e scalabile.

Link to this sectionRidefinire l'accelerazione hardware della Vision AI#

Fondata nel 2021 e con sede nei Paesi Bassi, Axelera AI ha deciso di risolvere un problema fondamentale: il tradizionale hardware AI è stato costruito per il cloud, non per l'edge. Per colmare questa lacuna, l'azienda ha sviluppato la Metis AIPU.

Si tratta di un chip ad alte prestazioni e basso consumo progettato specificamente per carichi di lavoro edge: attività AI che vengono eseguite localmente sui dispositivi dove velocità, privacy ed efficienza energetica sono fondamentali.

È supportato dalla loro tecnologia proprietaria Digital In-Memory Compute (D-IMC), che rende possibile elaborare i dati direttamente dove vengono archiviati e riduce drasticamente la latenza e il consumo energetico. Con uno stack software completamente integrato e la missione di democratizzare l'AI, Axelera sta rendendo l'AI ad alte prestazioni più accessibile.

Link to this sectionLa sfida dell'esecuzione di modelli su hardware AI edge#

Per offrire un'esperienza AI senza interruzioni all'edge, Axelera AI mirava a fornire molto più di un semplice hardware ad alte prestazioni. I clienti richiedevano anche un modo semplice e affidabile per eseguire soluzioni di computer vision in tempo reale che non comportasse strumenti complicati o personalizzazioni lunghe. Molti modelli esistenti erano troppo grandi, troppo lenti o non adatti ad ambienti con risorse limitate.

L'analisi della vendita al dettaglio, l'automazione delle fabbriche e i sistemi di sorveglianza si basano spesso su insight visivi rapidi e accurati per supportare le operazioni. Tuttavia, i modelli tradizionali e le soluzioni basate sul cloud solitamente non sono in grado di soddisfare i requisiti di bassa latenza, efficienza energetica ed elaborazione on-device di queste applicazioni AI edge.

Axelera ha iniziato a cercare una suite di modelli che fosse accurata, facile da implementare e in grado di funzionare in modo efficiente sulle sue Metis AI Processing Units. La soluzione giusta avrebbe completato le sue capacità hardware semplificando al contempo lo sviluppo e accelerando il dispiegamento in un'ampia gamma di casi d'uso di AI edge.

Link to this sectionInferenze AI accelerate all'edge con Ultralytics YOLO#

Axelera AI ha integrato i modelli Ultralytics YOLO nel suo Voyager SDK per rendere la creazione e il dispiegamento di applicazioni AI edge più veloci, facili e scalabili. L'SDK include un Model Zoo con modelli YOLO pronti all'uso e automatizza l'intera pipeline, coprendo pre-elaborazione, inferenza e post-elaborazione, ottimizzati per le Metis AI Processing Units.

Fig 1. Metis AI Processing Unit (AIPU).

Questa integrazione consente ai clienti di utilizzare modelli Ultralytics YOLO pre-addestrati fin da subito o di portare i propri, con un'accelerazione senza interruzioni sull'hardware edge. Grazie al supporto per l'esecuzione di modelli paralleli e in cascata, le Metis AIPU consentono configurazioni multi-modello avanzate come la stima della posa seguita dalla segmentazione. Questo è l'ideale per compiti complessi nella vendita al dettaglio, nella sicurezza e nell'automazione industriale.

La combinazione di compiti di computer vision in tempo reale supportati dai modelli Ultralytics YOLO e dall'efficiente stack hardware e software di Axelera offre prestazioni eccezionali per watt e per dollaro. Per i clienti, questo significa risultati più accurati, un dispiegamento più rapido e una barriera inferiore per scalare la Vision AI all'edge.

Link to this sectionPerché scegliere i modelli Ultralytics YOLO?#

Axelera AI ha collaborato con Ultralytics per integrare i modelli Ultralytics YOLO nella sua piattaforma per il loro eccezionale equilibrio tra accuratezza, velocità e facilità d'uso. Grazie al supporto per molteplici varianti di Ultralytics YOLO, i clienti di Axelera AI possono valutare un'ampia gamma di carichi di lavoro ed esigenze prestazionali sulla Metis AIPU.

Tramite una Licenza Enterprise Ultralytics, Axelera fornisce l'accesso all'intera suite di modelli YOLO per la valutazione e lo sviluppo. Per il dispiegamento commerciale, i clienti devono ottenere la propria licenza direttamente da Ultralytics tramite il modulo di licenza, garantendo la conformità e supportando l'innovazione scalabile nella Vision AI all'edge.

Link to this sectionSfruttare i modelli Ultralytics YOLO su larga scala con il Voyager SDK di Axelera AI#

Con i modelli Ultralytics YOLO e il Voyager SDK di Axelera AI, gli utenti possono distribuire applicazioni di visione artificiale accurate e a bassa latenza direttamente sulle Metis AI Processing Units. Inoltre, avere accesso a molteplici varianti di YOLO consente ai clienti di regolare le prestazioni in base alle esigenze specifiche della loro applicazione.

Ad esempio, Axelera AI ha visto i clienti testare soluzioni basate su YOLO in una varietà di domini come:

• Vendita al dettaglio: Pipeline multi-modello che combinano stima della posa, segmentazione e rilevamento degli oggetti possono essere utilizzate per supportare attività come la riduzione dei furti e il tracciamento dell'inventario. Queste implementazioni vengono eseguite in modo efficiente su piattaforme embedded come il Raspberry Pi 5 abbinato alla Metis AIPU.
• Produzione: I clienti possono utilizzare l'esecuzione parallela dei modelli per eseguire attività simultanee, come il rilevamento dei difetti, la classificazione dei prodotti e la stima della posa, su un singolo chip per migliorare il throughput e ridurre i costi hardware.
• Sorveglianza: Le capacità di rilevamento oggetti in tempo reale di YOLO possono essere utilizzate per analizzare flussi video 4K e 8K a piena risoluzione, facilitando il monitoraggio della sicurezza ad alta precisione e la consapevolezza situazionale in ambienti critici. Questa è una soluzione decisamente migliore rispetto al tradizionale downscaling su telecamere ad alta risoluzione.
• Assistenza sanitaria: Le pipeline YOLO ottimizzate possono supportare l'identificazione dei tumori, offrendo un'elevata velocità di inferenza e un'accuratezza affidabile per l'imaging medico on-device.

Questi casi d'uso dimostrano come l'hardware AI edge di Axelera AI e i modelli Ultralytics YOLO promuovano innovazioni di Vision AI ad alte prestazioni ed efficienti dal punto di vista energetico in tutti i settori.

Link to this sectionGuidare la prossima ondata di AI edge con Ultralytics YOLO#

Poiché Axelera AI continua a concentrarsi sull'ampliamento dell'accesso all'AI edge ad alte prestazioni, sta riunendo hardware potente e modelli di visione affidabili per aiutare i clienti a costruire applicazioni più intelligenti e veloci.

Con i modelli Ultralytics YOLO disponibili tramite il Voyager SDK e l'hardware Metis AIPU, gli utenti possono facilmente sviluppare e scalare soluzioni di visione artificiale in tempo reale in tutti i settori. Questa collaborazione supporta una comunità crescente di sviluppatori e aziende che lavorano per portare l'AI più vicino al luogo in cui vengono creati i dati, migliorando l'efficienza, la reattività e l'innovazione all'edge.

Pronto ad accelerare il tuo viaggio nell'AI edge? Esplora il nostro repository GitHub per vedere come i modelli YOLO stanno alimentando innovazioni come l'AI nella vendita al dettaglio e la visione artificiale nella logistica. Mettiti alla prova con i nostri strumenti di Vision AI, scopri le opzioni di licenza e scopri come puoi sbloccare la visione artificiale ad alte prestazioni ed efficiente dal punto di vista energetico all'edge.