Compilare e quantizzare YOLOv5 di Ultralytics per prestazioni migliori con Deci
Ottimizza ed effettua il deployment dei modelli YOLOv5 di Ultralytics con la piattaforma di Deci, migliorando le prestazioni fino a 10 volte. Inizia gratuitamente e sfrutta l'ottimizzazione automatica dei modelli.
In Ultralytics collaboriamo commercialmente con altre startup per aiutarci a finanziare la ricerca e lo sviluppo dei nostri fantastici strumenti open-source, come YOLOv5, per mantenerli gratuiti per tutti. Questo articolo potrebbe contenere link di affiliazione a quei partner.
La piattaforma Deci include strumenti gratuiti per gestire, ottimizzare e distribuire facilmente i tuoi modelli YOLOv5 in qualsiasi ambiente di produzione. Deci supporta tutti i framework DL più diffusi, come TensorFlow, PyTorch, Keras e ONNX. Tutto ciò di cui hai bisogno è la nostra piattaforma basata sul Web o il nostro client Python per eseguirlo dal tuo codice.
Perché Deci?#
Puoi usare Deci non solo per l'esportazione, ma anche per il pruning e la quantizzazione del modello!
Deci fornisce un'interfaccia intuitiva per l'esportazione in qualsiasi formato e per il confronto delle prestazioni tra i modelli originali e quelli convertiti. Gli utenti scelgono di ottimizzare ulteriormente i propri modelli tramite la quantizzazione.
Con Deci puoi:#
Migliorare le prestazioni di inferenza fino a 10 volte#
Compilare e quantizzare automaticamente i tuoi modelli e valutare diverse impostazioni di produzione per ottenere latenza, throughput e riduzione delle dimensioni del modello e dell'impronta di memoria migliori sul tuo hardware.
Trovare il miglior hardware di inferenza per la tua applicazione#
Effettua il benchmark delle prestazioni del tuo modello su vari dispositivi hardware (inclusi quelli edge) con un clic. Elimina la necessità di configurare e testare manualmente molteplici impostazioni hardware e di produzione.
Distribuire con poche righe di codice#
Sfrutta il motore di inferenza basato su Python di Deci. Compatibile con framework e tipi di hardware multipli.
Per ulteriori informazioni sulla piattaforma Deci, visita il sito web di Deci.
Configurazione iniziale#
Passaggio 1#
Apri il tuo account gratuito.
Passaggio 2#
Per iniziare a ottimizzare il tuo modello YOLOv5 pre-addestrato, dovrai convertirlo nel formato ONNX. Consulta il tutorial sull'esportazione di YOLOv5 per istruzioni su come convertire il tuo modello nel formato ONNX.
Passaggio 3#
Vai alla scheda "Lab" e fai clic sul pulsante "New Model" nella parte in alto a destra dello schermo per caricare il tuo modello YOLOv5 ONNX.
Segui i passaggi della procedura guidata di caricamento del modello per selezionare il tuo hardware di destinazione, nonché la dimensione del batch desiderata e il livello di quantizzazione per la compilazione del modello.
Dopo aver compilato le informazioni pertinenti, clicca su "Start". La piattaforma Deci eseguirà automaticamente un'ottimizzazione in esecuzione del tuo modello Ultralytics YOLOv5 per l'hardware che hai selezionato e effettuerà il benchmark del tuo modello su vari tipi di hardware. Questo processo richiede circa 10 minuti.
Una volta completato, apparirà una nuova riga sullo schermo sotto il modello di base che hai caricato in precedenza. Qui puoi vedere la versione ottimizzata del tuo modello pre-addestrato Ultralytics YOLOv5.
Cosa c'è dopo?#
Puoi quindi scaricare il tuo modello ottimizzato cliccando sul pulsante "Deploy".
Ti verrà quindi richiesto di scaricare il modello e riceverai istruzioni su come installare e utilizzare Infery, il motore di inferenza runtime di Deci.
L'uso di Infery è facoltativo. Puoi ottenere i file raw Python e utilizzarli con qualsiasi altro motore di inferenza a tua scelta.
Esplora i risultati dell'ottimizzazione e del benchmark nella scheda "Insights".
Pronto per iniziare?#
Prima di concludere, discutiamo alcuni dei vantaggi offerti da Deci:
- Ottimizza il throughput e la latenza di inferenza del tuo modello senza comprometterne la precisione
- Ti consente di ottimizzare modelli da tutti i framework più popolari
- Supporta modelli destinati a qualsiasi attività di deep learning
- Supporta la distribuzione su macchine CPU e GPU popolari
- Esegue il benchmark dell'idoneità del tuo modello su diversi host hardware e provider cloud
- Rende i modelli caricati pronti per il serving, l'inferenza e la distribuzione
Come hai appena visto, puoi raddoppiare le prestazioni di un modello Ultralytics YOLOv5 in un tempo complessivo di 15 minuti. La piattaforma Deci è facilissima e intuitiva da usare.
Hai domande? Unisciti alla nostra community e lascia la tua domanda oggi stesso!
