Distribuzione di modelli Ultralytics YOLOv8 quantizzati su dispositivi edge con DeGirum
Scopri come distribuire modelli YOLOv8 quantizzati con DeGirum. Impara sfide, soluzioni e tecniche di distribuzione per dispositivi edge. Modella il futuro con noi!
Benvenuto nel riassunto di un altro interessante intervento dal nostro evento YOLO VISION 2023 (YV23), tenutosi presso il dinamico Google for Startups Campus a Madrid. Questo intervento è stato tenuto da Shashi Chilappagar, Chief Architect e co-fondatore di DeGirum. Ha approfondito l'affascinante mondo della quantizzazione e della distribuzione di modelli quantizzati, esplorando sfide chiave, soluzioni e possibilità future.
Link to this sectionIntroduzione alla quantizzazione e alla distribuzione di modelli quantizzati#
Shashi ha fornito una panoramica completa sulla quantizzazione, sottolineandone l'importanza nell'ottimizzazione dei modelli Ultralytics YOLO per la distribuzione su dispositivi edge. Dall'analisi delle basi all'esplorazione di approcci per migliorare la quantizzazione, i partecipanti hanno acquisito preziose conoscenze sulle complessità del porting e della distribuzione dei modelli.
Link to this sectionSfide nella quantizzazione dei modelli YOLO#
La quantizzazione pone spesso delle sfide, in particolare con i modelli YOLO in TFLite. Il nostro pubblico ha appreso del significativo calo di precisione osservato quando tutti gli output vengono quantizzati con la stessa scala/zero point, facendo luce sulle complessità legate al mantenimento dell'accuratezza del modello durante il processo di quantizzazione.
Link to this sectionMigliorare la quantizzazione dei modelli YOLO#
Fortunatamente, esistono soluzioni per affrontare queste sfide. L'introduzione del fork di DeGirum offre un approccio favorevole alla quantizzazione, separando gli output e ottimizzando la decodifica dei bounding box. Con questi miglioramenti, l'accuratezza dei modelli quantizzati subisce un incremento significativo rispetto ai livelli di base.
Link to this sectionArchitetture di modelli più adatte alla quantizzazione#
Esplorare nuove architetture di modelli è fondamentale per ridurre al minimo la perdita di quantizzazione. I partecipanti hanno scoperto come la sostituzione di SiLU con l'attivazione bounded ReLU6 porti a una perdita di quantizzazione minima, offrendo risultati promettenti per il mantenimento dell'accuratezza nei modelli quantizzati.
Link to this sectionDistribuzione di modelli quantizzati#
Distribuire modelli quantizzati non è mai stato così semplice: bastano solo cinque righe di codice per eseguire qualsiasi modello sulla piattaforma cloud di DeGirum. Una demo dal vivo ha mostrato la semplicità di rilevare oggetti con un modello Ultralytics YOLOv5 quantizzato, mettendo in luce l'integrazione fluida dei modelli quantizzati in applicazioni reali.
A tal fine, Ultralytics offre una varietà di opzioni di distribuzione dei modelli, consentendo agli utenti finali di implementare efficacemente le proprie applicazioni su dispositivi embedded ed edge. I diversi formati di esportazione includono OpenVINO, TorchScript, TensorRT, CoreML, TFLite e TFLite Edge TPU, offrendo versatilità e compatibilità.
Questa integrazione con applicazioni di terze parti per la distribuzione consente agli utenti di valutare le prestazioni dei nostri modelli in scenari reali.
Link to this sectionUtilizzo di modelli diversi su hardware diverso#
I partecipanti hanno anche acquisito informazioni sulla versatilità di distribuire modelli differenti su varie piattaforme hardware, mostrando come un'unica base di codice possa supportare molteplici modelli su diversi acceleratori. Esempi di esecuzione di diverse attività di rilevamento su svariate piattaforme hardware hanno dimostrato la flessibilità e la scalabilità del nostro approccio.
Link to this sectionRisorse e documentazione#
Per offrire maggiori strumenti ai partecipanti, abbiamo introdotto una sezione completa di risorse, fornendo accesso alla nostra piattaforma cloud, esempi, documentazione e altro ancora. Il nostro obiettivo è garantire che tutti dispongano degli strumenti e del supporto necessari per avere successo nella distribuzione efficace di modelli quantizzati.
Link to this sectionIn conclusione#
Mentre il campo della quantizzazione si evolve, è essenziale rimanere informati e coinvolti. Ci impegniamo a fornire supporto e risorse costanti per aiutarti a navigare in questo entusiasmante viaggio. Dai un'occhiata al video completo Watch the full talk!
Unisciti a noi mentre continuiamo a esplorare le ultime tendenze e innovazioni nel machine learning e nell'intelligenza artificiale. Insieme, stiamo plasmando il futuro della tecnologia e promuovendo un cambiamento positivo nel mondo.
