Compilare e quantizzare YOLOv5 di Ultralytics per prestazioni migliori con Deci
Ottimizza ed effettua il deployment dei modelli YOLOv5 di Ultralytics con la piattaforma di Deci, migliorando le prestazioni fino a 10 volte. Inizia gratuitamente e sfrutta l'ottimizzazione automatica dei modelli.
In Ultralytics collaboriamo commercialmente con altre startup per aiutarci a finanziare la ricerca e lo sviluppo dei nostri fantastici strumenti open-source, come YOLOv5, per mantenerli gratuiti per tutti. Questo articolo potrebbe contenere link di affiliazione a quei partner.
La piattaforma Deci include strumenti gratuiti per gestire, ottimizzare e distribuire facilmente i tuoi modelli YOLOv5 in qualsiasi ambiente di produzione. Deci supporta tutti i framework DL più diffusi, come TensorFlow, PyTorch, Keras e ONNX. Tutto ciò di cui hai bisogno è la nostra piattaforma web o il nostro client Python per eseguirlo dal tuo codice.
Link to this sectionPerché Deci?#
Puoi usare Deci non solo per l'esportazione, ma anche per il pruning e la quantizzazione del modello!
Deci fornisce un'interfaccia intuitiva per l'esportazione in qualsiasi formato e per il confronto delle prestazioni tra i modelli originali e quelli convertiti. Gli utenti scelgono di ottimizzare ulteriormente i propri modelli tramite la quantizzazione.
Link to this sectionCon Deci puoi:#
Link to this sectionMigliorare le prestazioni di inferenza fino a 10 volte#
Compilare e quantizzare automaticamente i tuoi modelli e valutare diverse impostazioni di produzione per ottenere latenza, throughput e riduzione delle dimensioni del modello e dell'impronta di memoria migliori sul tuo hardware.
Link to this sectionTrovare il miglior hardware di inferenza per la tua applicazione#
Effettua il benchmark delle prestazioni del tuo modello su vari dispositivi hardware (inclusi quelli edge) con un clic. Elimina la necessità di configurare e testare manualmente molteplici impostazioni hardware e di produzione.
Link to this sectionDistribuire con poche righe di codice#
Sfrutta il motore di inferenza basato su Python di Deci. Compatibile con framework e tipi di hardware multipli.
Per maggiori informazioni sulla piattaforma Deci, visita il sito web di Deci.
Link to this sectionConfigurazione iniziale#
Link to this sectionPassaggio 1#
Apri il tuo account gratuito.
Link to this sectionPassaggio 2#
Per iniziare a ottimizzare il tuo modello YOLOv5 pre-addestrato, dovrai convertirlo in formato ONNX. Consulta il Tutorial sull'esportazione di YOLOv5 per istruzioni su come convertire il tuo modello nel formato ONNX.
Link to this sectionPassaggio 3#
Vai alla scheda "Lab" e clicca sul pulsante "New Model" nella parte in alto a destra dello schermo per caricare il tuo modello ONNX YOLOv5.
Segui i passaggi della procedura guidata di caricamento del modello per selezionare il tuo hardware di destinazione, nonché la dimensione del batch desiderata e il livello di quantizzazione per la compilazione del modello.
Dopo aver inserito le informazioni pertinenti, clicca su "Start". La piattaforma Deci eseguirà automaticamente un'ottimizzazione in runtime del tuo modello YOLOv5 per l'hardware selezionato, oltre a sottoporre a benchmark il tuo modello su vari tipi di hardware. Questo processo richiede circa 10 minuti.
Una volta terminato, apparirà una nuova riga sullo schermo sotto il modello di base caricato in precedenza. Qui puoi vedere la versione ottimizzata del tuo modello YOLOv5 pre-addestrato.
Link to this sectionCosa c'è dopo?#
Puoi quindi scaricare il tuo modello ottimizzato cliccando sul pulsante "Deploy".
Ti verrà quindi richiesto di scaricare il modello e riceverai istruzioni su come installare e utilizzare Infery, il motore di inferenza runtime di Deci.
L'uso di Infery è facoltativo. Puoi ottenere i file raw Python e utilizzarli con qualsiasi altro motore di inferenza a tua scelta.
Esplora i risultati dell'ottimizzazione e del benchmark nella scheda "Insights".
Link to this sectionPronto per iniziare?#
Prima di concludere, discutiamo alcuni dei vantaggi offerti da Deci:
- Ottimizza il throughput e la latenza di inferenza del tuo modello senza comprometterne la precisione
- Ti consente di ottimizzare modelli da tutti i framework più popolari
- Supporta modelli destinati a qualsiasi attività di deep learning
- Supporta la distribuzione su macchine CPU e GPU popolari
- Esegue il benchmark dell'idoneità del tuo modello su diversi host hardware e provider cloud
- Rende i modelli caricati pronti per il serving, l'inferenza e la distribuzione
Come hai appena visto, puoi raddoppiare le prestazioni di un modello YOLOv5 in 15 minuti di tempo totale. La piattaforma Deci è facilissima e intuitiva da usare.
Hai domande? Unisciti alla nostra community e lascia la tua domanda oggi stesso!
