Distribuzione dei modelli quantizzati di Ultralytics YOLOv8 sui dispositivi edge con DeGirum

Benvenuti al riepilogo di un'altra interessante conferenza del nostro evento YOLO VISION 2023 (YV23), tenutosi presso il vivace Campus Google for Startups di Madrid. Questo intervento è stato tenuto da Shashi Chilappagar, Chief Architect e Co-Founder di DeGirum. Si è addentrato nell'affascinante mondo della quantizzazione e dell'implementazione di modelli quantizzati, esplorando le sfide principali, le soluzioni e le possibilità future.

Introduzione alla quantizzazione e all'implementazione di modelli quantizzati

Shashi ha fornito una panoramica completa sulla quantizzazione, sottolineandone l'importanza nell'ottimizzazione dei modelli Ultralytics YOLO per la distribuzione sui dispositivi edge. Dalla discussione delle basi all'esplorazione degli approcci per migliorare la quantizzazione, i partecipanti hanno acquisito preziose conoscenze sulle complessità del porting e della distribuzione dei modelli.

Sfide nella quantizzazione dei modelli YOLO

La quantizzazione pone spesso delle sfide, in particolare con i modelli YOLO in TFLite. Il pubblico ha appreso il significativo calo di accuratezza osservato quando tutti gli output sono quantizzati con la stessa scala/punto zero, facendo luce sulla complessità di mantenere l'accuratezza del modello durante il processo di quantizzazione.

Migliorare la quantizzazione dei modelli YOLO

Fortunatamente esistono soluzioni per affrontare queste sfide. L'introduzione della forcella DigiRAM offre un approccio che favorisce la quantizzazione, separando le uscite e ottimizzando la decodifica della bounding box. Grazie a questi miglioramenti, l'accuratezza del modello quantizzato vede un miglioramento significativo rispetto ai livelli di base.

Architetture di modelli più favorevoli alla quantizzazione

L'esplorazione di nuove architetture di modelli è fondamentale per ridurre al minimo la perdita di quantizzazione. I partecipanti hanno scoperto come la sostituzione di CILU con l'attivazione vincolata di Relu6 porti a una perdita di quantizzazione minima, offrendo risultati promettenti per mantenere l'accuratezza nei modelli quantizzati.

Distribuzione di modelli quantizzati

L'implementazione di modelli quantizzati non è mai stata così semplice: bastano cinque righe di codice per eseguire qualsiasi modello sulla piattaforma cloud di Digitim. Una dimostrazione di codice dal vivo ha mostrato la semplicità del rilevamento di oggetti con un modello Ultralytics YOLOv5 quantizzato, evidenziando la perfetta integrazione dei modelli quantizzati nelle applicazioni del mondo reale. 

A tal fine, Ultralytics offre una varietà di opzioni di distribuzione dei modelli, consentendo agli utenti finali di distribuire efficacemente le proprie applicazioni su dispositivi embedded ed edge. I diversi formati di esportazione includono OpenVINO, TorchScript, TensorRT, CoreML, TFlite e TFlite EDGE TPU, offrendo versatilità e compatibilità. 

L'integrazione con applicazioni di terze parti consente agli utenti di valutare le prestazioni dei nostri modelli in scenari reali.

Utilizzo di modelli diversi su hardware diversi

I partecipanti hanno anche acquisito informazioni sulla versatilità dell'implementazione di diversi modelli su varie piattaforme hardware, mostrando come un'unica base di codice possa supportare più modelli su diversi acceleratori. Esempi di esecuzione di diverse attività di rilevamento su diverse piattaforme hardware hanno dimostrato la flessibilità e la scalabilità del nostro approccio.

Risorse e documentazione

Per dare ulteriore potere ai partecipanti, abbiamo introdotto una sezione completa di risorse, che fornisce accesso alla nostra piattaforma cloud, a esempi, alla documentazione e ad altro ancora. Il nostro obiettivo è quello di garantire che tutti abbiano gli strumenti e il supporto necessari per riuscire a implementare efficacemente i modelli quantizzati.

Conclusione

Con l'evoluzione del campo della quantizzazione, è essenziale rimanere informati e impegnati. Ci impegniamo a fornire un supporto continuo e risorse per aiutarvi a percorrere questo entusiasmante viaggio. Guarda il discorso completo qui! 

Unitevi a noi per continuare a esplorare le ultime tendenze e innovazioni nel campo dell'apprendimento automatico e dell'intelligenza artificiale. Insieme, stiamo plasmando il futuro della tecnologia e guidando un cambiamento positivo nel mondo.