Compilazione e quantizzazione di Ultralytics YOLOv5 con Deci per migliorare le prestazioni
Scopri come compilare, quantizzare e confrontare le prestazioni dei modelli Ultralytics YOLOv5 con la piattaforma Deci per accelerare l'inferenza sull'hardware di destinazione.
Nuvola Ladi4 min di lettura
Noi di Ultralytics collaboriamo a livello commerciale con altre startup per finanziare la ricerca e lo sviluppo dei nostri strumenti open source, come YOLOv5, e mantenerli gratuiti per tutti. Questo articolo potrebbe contenere link di affiliazione ai nostri partner.
Aggiornamento: NVIDIA ha acquisito Deci nel 2024 e deci.ai ora reindirizza a NVIDIA. I passaggi relativi alla piattaforma Deci sono mantenuti come riferimento.
La piattaforma Deci include strumenti gratuiti per gestire, ottimizzare e distribuire facilmente i tuoi modelli YOLOv5 in qualsiasi ambiente di produzione. Deci supporta tutti i framework di deep learning più diffusi, come TensorFlow, PyTorch, Keras e ONNX. Ti basta usare la nostra piattaforma web o il nostro client Python per eseguirlo dal tuo codice.
Perché Deci?#
Puoi usare Deci non solo per esportare il modello, ma anche per applicarvi il pruning e la quantizzazione.
Deci offre un'interfaccia pratica per esportare in qualsiasi formato e confrontare le prestazioni dei modelli originali e convertiti. Gli utenti possono scegliere di ottimizzare ulteriormente i propri modelli tramite la quantizzazione.
Con Deci puoi:#
Migliora le prestazioni di inferenza fino a 10 volte#
Compila e quantizza automaticamente i tuoi modelli e valuta diverse configurazioni di produzione per ottenere una latenza e un throughput migliori, riducendo le dimensioni del modello e l'occupazione di memoria sul tuo hardware.
Trova l'hardware migliore per l'inferenza nella tua applicazione#
Esegui con un clic il benchmark delle prestazioni del tuo modello su vari dispositivi hardware, inclusi quelli edge. Evita di dover configurare e testare manualmente diverse configurazioni hardware e di produzione.
Distribuisci con poche righe di codice#
Sfrutta il motore di inferenza di Deci basato su Python. È compatibile con diversi framework e tipi di hardware.
Configurazione iniziale#
Passaggio 1#
Apri il tuo account gratuito.
Passaggio 2#
Per iniziare a ottimizzare il tuo modello YOLOv5 preaddestrato, devi convertirlo nel formato ONNX. Consulta il tutorial sull'esportazione di YOLOv5 per le istruzioni su come convertire il modello nel formato ONNX.
Passaggio 3#
Vai alla scheda "Lab" e fai clic sul pulsante "New Model" nell'angolo in alto a destra dello schermo per caricare il tuo modello ONNX YOLOv5.
Segui i passaggi della procedura guidata di caricamento del modello per selezionare l'hardware di destinazione, nonché la dimensione del batch e il livello di quantizzazione desiderati per la compilazione del modello.
Dopo aver inserito le informazioni pertinenti, fai clic su "Start". La piattaforma Deci ottimizzerà automaticamente il runtime del tuo modello Ultralytics YOLOv5 per l'hardware selezionato e testerà le prestazioni del modello su vari tipi di hardware. Il processo richiede circa 10 minuti.
Al termine, sullo schermo comparirà una nuova riga sotto il modello di riferimento che hai caricato in precedenza. Qui puoi vedere la versione ottimizzata del tuo modello Ultralytics YOLOv5 preaddestrato.
E adesso?#
Puoi quindi scaricare il modello ottimizzato facendo clic sul pulsante "Deploy".
Ti verrà quindi chiesto di scaricare il modello e riceverai le istruzioni per installare e usare Infery, il motore di inferenza runtime di Deci.
L'uso di Infery è facoltativo. Puoi ottenere i file Python non elaborati e usarli con qualsiasi altro motore di inferenza di tua scelta.
Esplora i risultati dell'ottimizzazione e dei benchmark nella scheda "Insights".
Pronto per iniziare?#
Prima di concludere, vediamo alcuni dei vantaggi offerti da Deci:
- Ottimizza il throughput e la latenza dell'inferenza del tuo modello senza comprometterne l'accuratezza
- Ti permette di ottimizzare modelli di tutti i framework più diffusi
- Supporta modelli destinati a qualsiasi attività di deep learning
- Supporta la distribuzione sui computer più diffusi con CPU e GPU
- Valuta le prestazioni del tuo modello su diversi host hardware e provider cloud
- Prepara i modelli caricati per la distribuzione, l'inferenza e la messa in produzione
Come hai appena visto, puoi raddoppiare le prestazioni di un modello Ultralytics YOLOv5 in circa 15 minuti. La piattaforma Deci è facile e intuitiva da usare.
Hai domande? Unisciti alla nostra community e invia subito la tua domanda!
Scritto da
Digital Content Manager · Ultralytics
Commenti
Fai una domanda, condividi i tuoi risultati o aiuta qualcun altro.
