Distribuzione di modelli Ultralytics YOLOv8 quantizzati su dispositivi edge con DeGirum

Benvenuti al riepilogo di un altro interessante intervento del nostro evento YOLO VISION 2023 (YV23), tenutosi presso il vivace Google for Startups Campus di Madrid. Questo intervento è stato tenuto da Shashi Chilappagar, Chief Architect e co-fondatore di DeGirum. Ha approfondito l'affascinante mondo della quantizzazione e della distribuzione di modelli quantizzati, esplorando le sfide chiave, le soluzioni e le possibilità future.

Introduzione alla quantizzazione e alla distribuzione di modelli quantizzati

Shashi ha fornito una panoramica completa della quantizzazione, evidenziandone l'importanza nell'ottimizzazione dei modelli Ultralytics YOLO per la distribuzione su dispositivi edge. Dalla discussione delle basi all'esplorazione di approcci per migliorare la quantizzazione, i partecipanti hanno acquisito preziose informazioni sulle complessità del porting e della distribuzione dei modelli.

Sfide nella quantizzazione dei modelli YOLO

La quantizzazione spesso pone delle sfide, in particolare con i modelli YOLO in TFLite. Il nostro pubblico ha appreso del significativo calo di accuratezza osservato quando tutti gli output vengono quantizzati con la stessa scala/punto zero, facendo luce sulla complessità del mantenimento dell'accuratezza del modello durante il processo di quantizzazione.

Miglioramento della quantizzazione dei modelli YOLO

Fortunatamente, esistono soluzioni per affrontare queste sfide. L'introduzione del fork DigiRAM offre un approccio favorevole alla quantizzazione separando gli output e ottimizzando il bounding box decoding. Con questi miglioramenti, l'accuratezza del modello quantizzato vede un miglioramento significativo rispetto ai livelli di base.

Architetture di modelli più favorevoli alla quantizzazione

L'esplorazione di nuove architetture di modelli è fondamentale per ridurre al minimo la perdita di quantizzazione. I partecipanti hanno scoperto come la sostituzione di CILU con l'attivazione Relu6 limitata porti a una perdita di quantizzazione minima, offrendo risultati promettenti per il mantenimento dell'accuratezza nei modelli quantizzati.

Distribuzione di modelli quantizzati

La distribuzione di modelli quantizzati non è mai stata così semplice, con sole cinque righe di codice necessarie per eseguire qualsiasi modello sulla piattaforma cloud Digitim. Una demo di codice live ha mostrato la semplicità del rilevamento di oggetti con un modello Ultralytics YOLOv5 quantizzato, evidenziando la perfetta integrazione di modelli quantizzati in applicazioni del mondo reale. 

A tal fine, Ultralytics offre una varietà di opzioni di distribuzione dei modelli, consentendo agli utenti finali di distribuire efficacemente le proprie applicazioni su dispositivi embedded ed edge. I diversi formati di esportazione includono OpenVINO, TorchScript, TensorRT, CoreML, TFlite e TFlite EDGE TPU, offrendo versatilità e compatibilità. 

Questa integrazione con applicazioni di terze parti per la distribuzione consente agli utenti di valutare le prestazioni dei nostri modelli in scenari del mondo reale.

Utilizzo di modelli diversi su hardware diversi

I partecipanti hanno anche acquisito informazioni sulla versatilità della distribuzione di diversi modelli su varie piattaforme hardware, dimostrando come un singolo codebase possa supportare più modelli su diversi acceleratori. Esempi di esecuzione di diverse attività di rilevamento su diverse piattaforme hardware hanno dimostrato la flessibilità e la scalabilità del nostro approccio.

Risorse e documentazione

Per fornire ulteriore supporto ai partecipanti, abbiamo introdotto una sezione completa di risorse, che fornisce accesso alla nostra piattaforma cloud, esempi, documentazione e altro ancora. Il nostro obiettivo è garantire che tutti abbiano gli strumenti e il supporto necessari per implementare efficacemente i modelli quantizzati.

Conclusione

Man mano che il campo della quantizzazione si evolve, è essenziale rimanere informati e coinvolti. Ci impegniamo a fornire supporto e risorse continui per aiutarti a orientarti in questo entusiasmante percorso. Dai un'occhiata al talk completo qui! 

Unisciti a noi mentre continuiamo a esplorare le ultime tendenze e innovazioni nel machine learning e nell'intelligenza artificiale. Insieme, stiamo plasmando il futuro della tecnologia e guidando un cambiamento positivo nel mondo.