Distribuzione di modelli Ultralytics YOLOv8 quantizzati sui dispositivi edge con DeGirum

Benvenuto al riepilogo di un altro interessante intervento del nostro evento YOLO VISION 2023 (YV23), tenutosi presso il vivace Google for Startups Campus di Madrid. L'intervento è stato tenuto da Shashi Chilappagar, Chief Architect e cofondatore di DeGirum. Ha approfondito l'affascinante mondo della quantizzazione e della distribuzione di modelli quantizzati, esplorando sfide fondamentali, soluzioni e possibilità future.

Introduzione alla quantizzazione e alla distribuzione di modelli quantizzati#

Shashi ha fornito una panoramica completa della quantizzazione, sottolineandone l'importanza per ottimizzare i modelli Ultralytics YOLO per la distribuzione su dispositivi edge. Dalla discussione dei concetti di base all'esplorazione degli approcci per migliorare la quantizzazione, i partecipanti hanno acquisito preziose informazioni sulle complessità del porting e della distribuzione dei modelli.

Sfide nella quantizzazione dei modelli YOLO#

La quantizzazione presenta spesso delle sfide, in particolare con i modelli YOLO in TFLite. Il nostro pubblico ha scoperto il significativo calo di accuratezza osservato quando tutti gli output vengono quantizzati con la stessa scala e lo stesso punto zero, comprendendo meglio le complessità legate al mantenimento dell'accuratezza del modello durante il processo di quantizzazione.

Miglioramento della quantizzazione dei modelli YOLO#

Fortunatamente, esistono soluzioni per affrontare queste sfide. L'introduzione del fork di DeGirum offre un approccio favorevole alla quantizzazione, separando gli output e ottimizzando la decodifica dei riquadri delimitatori. Grazie a questi miglioramenti, l'accuratezza del modello quantizzato aumenta significativamente rispetto ai livelli di riferimento.

Architetture di modelli più adatte alla quantizzazione#

Esplorare nuove architetture di modelli è fondamentale per ridurre al minimo la perdita dovuta alla quantizzazione. I partecipanti hanno scoperto che sostituire SiLU con l'attivazione ReLU6 limitata comporta una perdita di quantizzazione minima, offrendo risultati promettenti per mantenere l'accuratezza nei modelli quantizzati.

Distribuzione di modelli quantizzati#

Distribuire modelli quantizzati non è mai stato così semplice: bastano cinque righe di codice per eseguire qualsiasi modello sulla piattaforma cloud di DeGirum. Una dimostrazione dal vivo del codice ha mostrato la semplicità del rilevamento degli oggetti con un modello Ultralytics YOLOv5 quantizzato, evidenziando la perfetta integrazione dei modelli quantizzati nelle applicazioni del mondo reale.

A questo proposito, Ultralytics offre diverse opzioni per la distribuzione dei modelli, consentendo agli utenti finali di distribuire efficacemente le proprie applicazioni su dispositivi embedded ed edge. I diversi formati di esportazione includono OpenVINO, TorchScript, TensorRT, CoreML, TFLite e TFLite Edge TPU, offrendo versatilità e compatibilità.

Questa integrazione con applicazioni di terze parti per la distribuzione consente agli utenti di valutare le prestazioni dei nostri modelli in scenari del mondo reale.

Utilizzo di modelli diversi su hardware diversi#

I partecipanti hanno inoltre acquisito informazioni sulla versatilità della distribuzione di modelli diversi su varie piattaforme hardware, scoprendo come un'unica base di codice possa supportare più modelli su diversi acceleratori. Esempi di esecuzione di diverse attività di rilevamento su piattaforme hardware eterogenee hanno dimostrato la flessibilità e la scalabilità del nostro approccio.

Risorse e documentazione#

Per fornire ulteriore supporto ai partecipanti, abbiamo presentato una sezione completa di risorse, offrendo accesso alla nostra piattaforma cloud, a esempi, alla documentazione e ad altro ancora. Il nostro obiettivo è garantire a tutti gli strumenti e il supporto necessari per distribuire efficacemente i modelli quantizzati.

Conclusioni#

Con l'evoluzione del settore della quantizzazione, è essenziale rimanere informati e partecipare attivamente. Ci impegniamo a fornire supporto e risorse costanti per aiutarti ad affrontare questo entusiasmante percorso. Guarda il talk completo Guarda il talk completo!

Unisciti a noi mentre continuiamo a esplorare le tendenze e le innovazioni più recenti nell'apprendimento automatico e nell'intelligenza artificiale. Insieme, stiamo plasmando il futuro della tecnologia e promuovendo un cambiamento positivo nel mondo.