27 marzo 2024
Scoprite la distribuzione di modelli YOLOv8 quantizzati con DeGirum. Imparate le sfide, le soluzioni e le tecniche di distribuzione per i dispositivi edge. Date forma al futuro con noi!
Benvenuti al riepilogo di un'altra interessante conferenza del nostro evento YOLO VISION 2023 (YV23), tenutosi presso il vivace Campus Google for Startups di Madrid. Questo intervento è stato tenuto da Shashi Chilappagar, Chief Architect e Co-Founder di DeGirum. Si è addentrato nell'affascinante mondo della quantizzazione e dell'implementazione di modelli quantizzati, esplorando le sfide principali, le soluzioni e le possibilità future.
Shashi ha fornito una panoramica completa sulla quantizzazione, sottolineandone l'importanza per l'ottimizzazione della Ultralytics YOLO per la distribuzione sui dispositivi edge. Dalla discussione delle basi all'esplorazione degli approcci per migliorare la quantizzazione, i partecipanti hanno acquisito preziose conoscenze sulle complessità del porting e della distribuzione dei modelli.
La quantizzazione pone spesso delle sfide, in particolare con i modelli YOLO in TFLite. Il pubblico ha appreso il significativo calo di accuratezza osservato quando tutte le uscite sono quantizzate con la stessa scala/punto zero, facendo luce sulla complessità di mantenere l'accuratezza del modello durante il processo di quantizzazione.
Fortunatamente, esistono soluzioni per affrontare queste sfide. L'introduzione del fork DigiRAM offre un approccio favorevole alla quantizzazione separando gli output e ottimizzando il bounding box decoding. Con questi miglioramenti, l'accuratezza del modello quantizzato vede un miglioramento significativo rispetto ai livelli di base.
L'esplorazione di nuove architetture di modelli è fondamentale per ridurre al minimo la perdita di quantizzazione. I partecipanti hanno scoperto come la sostituzione di CILU con l'attivazione Relu6 limitata porti a una perdita di quantizzazione minima, offrendo risultati promettenti per il mantenimento dell'accuratezza nei modelli quantizzati.
La distribuzione di modelli quantizzati non è mai stata così semplice: bastano cinque righe di codice per eseguire qualsiasi modello sulla piattaforma cloud di Digitim. Una demo dal vivo ha mostrato la semplicità del rilevamento di oggetti con un modello quantizzato. Ultralytics YOLOv5 e ha messo in evidenza la perfetta integrazione dei modelli quantizzati nelle applicazioni del mondo reale.
A tal fine, Ultralytics offre una serie di opzioni di distribuzione dei modelli, consentendo agli utenti finali di distribuire efficacemente le proprie applicazioni su dispositivi embedded e edge. I diversi formati di esportazione includono OpenVINO, TorchScript, TensorRT, CoreMLTFlite e TFlite EDGE TPU, offrendo versatilità e compatibilità.
Questa integrazione con applicazioni di terze parti per la distribuzione consente agli utenti di valutare le prestazioni dei nostri modelli in scenari del mondo reale.
I partecipanti hanno anche acquisito informazioni sulla versatilità della distribuzione di diversi modelli su varie piattaforme hardware, dimostrando come un singolo codebase possa supportare più modelli su diversi acceleratori. Esempi di esecuzione di diverse attività di rilevamento su diverse piattaforme hardware hanno dimostrato la flessibilità e la scalabilità del nostro approccio.
Per fornire ulteriore supporto ai partecipanti, abbiamo introdotto una sezione completa di risorse, che fornisce accesso alla nostra piattaforma cloud, esempi, documentazione e altro ancora. Il nostro obiettivo è garantire che tutti abbiano gli strumenti e il supporto necessari per implementare efficacemente i modelli quantizzati.
Man mano che il campo della quantizzazione si evolve, è essenziale rimanere informati e coinvolti. Ci impegniamo a fornire supporto e risorse continui per aiutarti a orientarti in questo entusiasmante percorso. Dai un'occhiata al talk completo qui!
Unisciti a noi mentre continuiamo a esplorare le ultime tendenze e innovazioni nel machine learning e nell'intelligenza artificiale. Insieme, stiamo plasmando il futuro della tecnologia e guidando un cambiamento positivo nel mondo.
