Distribuzione di modelli Ultralytics YOLOv8 quantizzati su dispositivi edge con DeGirum
Scopri come distribuire modelli YOLOv8 quantizzati con DeGirum. Impara sfide, soluzioni e tecniche di distribuzione per dispositivi edge. Modella il futuro con noi!
Benvenuto nel riepilogo di un altro intervento approfondito dal nostro evento YOLO VISION 2023 (YV23), tenutosi nel vivace Google for Startups Campus a Madrid. Questo intervento è stato tenuto da Shashi Chilappagar, Chief Architect e Co-Founder di DeGirum. Si è addentrato nell'affascinante mondo della quantizzazione e del deployment di modelli quantizzati, esplorando sfide chiave, soluzioni e possibilità future.
Introduzione alla quantizzazione e alla distribuzione di modelli quantizzati#
Shashi ha fornito una panoramica completa della quantizzazione, evidenziandone l'importanza nell'ottimizzazione dei modelli Ultralytics YOLO per il deployment su edge device. Dalla discussione delle nozioni di base all'esplorazione di approcci per migliorare la quantizzazione, i partecipanti hanno ottenuto preziosi spunti sulle complessità del porting e del deployment dei modelli.
Sfide nella quantizzazione dei modelli YOLO#
La quantizzazione presenta spesso delle sfide, in particolare con i modelli YOLO in TFLite. Il nostro pubblico ha appreso del notevole calo di precisione osservato quando tutti gli output vengono quantizzati con la stessa scala/zero point, facendo luce sulle complessità del mantenimento della precisione del modello durante il processo di quantizzazione.
Migliorare la quantizzazione dei modelli YOLO#
Fortunatamente, esistono soluzioni per affrontare queste sfide. L'introduzione del fork di DeGirum offre un approccio favorevole alla quantizzazione, separando gli output e ottimizzando la decodifica dei bounding box. Con questi miglioramenti, l'accuratezza dei modelli quantizzati subisce un incremento significativo rispetto ai livelli di base.
Architetture di modelli più adatte alla quantizzazione#
Esplorare nuove architetture di modelli è fondamentale per ridurre al minimo la perdita di quantizzazione. I partecipanti hanno scoperto come la sostituzione di SiLU con l'attivazione bounded ReLU6 porti a una perdita di quantizzazione minima, offrendo risultati promettenti per il mantenimento dell'accuratezza nei modelli quantizzati.
Distribuzione di modelli quantizzati#
Il deployment di modelli quantizzati non è mai stato così semplice, con appena cinque righe di codice necessarie per eseguire qualsiasi modello sulla piattaforma cloud DeGirum. Una demo di codice dal vivo ha mostrato la semplicità del rilevamento di oggetti con un modello Ultralytics YOLOv5 quantizzato, evidenziando la perfetta integrazione dei modelli quantizzati in applicazioni del mondo reale.
A tal fine, Ultralytics offre una varietà di opzioni di deployment dei modelli, consentendo agli utenti finali di distribuire efficacemente le proprie applicazioni su dispositivi embedded ed edge. I diversi formati di esportazione includono OpenVINO, TorchScript, TensorRT, CoreML, TFLite e TFLite Edge TPU, offrendo versatilità e compatibilità.
Questa integrazione con applicazioni di terze parti per la distribuzione consente agli utenti di valutare le prestazioni dei nostri modelli in scenari reali.
Utilizzo di modelli diversi su hardware diverso#
I partecipanti hanno anche acquisito informazioni sulla versatilità di distribuire modelli differenti su varie piattaforme hardware, mostrando come un'unica base di codice possa supportare molteplici modelli su diversi acceleratori. Esempi di esecuzione di diverse attività di rilevamento su svariate piattaforme hardware hanno dimostrato la flessibilità e la scalabilità del nostro approccio.
Risorse e documentazione#
Per dare ulteriore supporto ai partecipanti, abbiamo introdotto una sezione di risorse completa, che fornisce l'accesso alla nostra piattaforma cloud, esempi, documentazione e altro ancora. Il nostro obiettivo è garantire che chiunque abbia gli strumenti e il supporto necessari per avere successo nel deployment efficace di modelli quantizzati.
In conclusione#
Man mano che il campo della quantizzazione si evolve, è essenziale rimanere informati e coinvolti. Ci impegniamo a fornire supporto e risorse costanti per aiutarti a intraprendere questo entusiasmante viaggio. Guarda l'intervento completo Watch the full talk!
Unisciti a noi mentre continuiamo a esplorare le ultime tendenze e innovazioni nel machine learning e nell'intelligenza artificiale. Insieme, stiamo plasmando il futuro della tecnologia e promuovendo un cambiamento positivo nel mondo.
