Compilazione e quantizzazione di Ultralytics YOLOv5 per migliori prestazioni con Deci

Team Ultralytics

4 minuti di lettura

26 ottobre 2022

Ottimizzate e distribuite i modelli Ultralytics YOLOv5 con la piattaforma Deci, migliorando le prestazioni fino a 10 volte. Iniziate gratuitamente e sfruttate l'ottimizzazione automatica dei modelli.

In Ultralytics collaboriamo commercialmente con altre startup per aiutarci a finanziare la ricerca e lo sviluppo dei nostri fantastici strumenti open-source, come YOLOv5, per mantenerli gratuiti per tutti. Questo articolo può contenere link di affiliazione a tali partner.

La piattaforma Deci include strumenti gratuiti per gestire, ottimizzare e distribuire facilmente i modelli YOLOv5 in qualsiasi ambiente di produzione. Deci supporta tutti i framework DL più diffusi, come TensorFlow, PyTorch, Keras e ONNX. Tutto ciò di cui avete bisogno è la nostra piattaforma basata sul web o il nostro client Python per eseguirla dal vostro codice.

Perché Deci?

È possibile utilizzare Deci non solo per l'esportazione, ma anche per la potatura e la quantizzazione del modello!

Deci offre una bella interfaccia per l'esportazione in qualsiasi formato e il confronto delle prestazioni tra i modelli originali e quelli convertiti. Gli utenti possono scegliere di ottimizzare ulteriormente i loro modelli mediante quantizzazione.

Con Deci è possibile:

Miglioramento delle prestazioni di inferenza fino a 10 volte

‍Compilaree quantizzare automaticamente i modelli e valutare diverse impostazioni di produzione per ottenere una migliore latenza e riduzione delle dimensioni del modello e dell'ingombro di memoria sull'hardware.

‍Trovareil miglior hardware di inferenza per la vostra applicazione

‍Benchmarkdelle prestazioni del modello su vari dispositivi hardware (compresi quelli edge) con un solo pulsante. Elimina la necessità di configurare e testare manualmente diverse impostazioni hardware e di produzione.

Distribuirecon poche linee di codice

Sfruttateil motore di inferenza di Deci basato su python. Compatibile con diversi framework e tipi di hardware.

Per maggiori informazioni sulla Piattaforma Deci, visitate il sito web di Deci.

Prima impostazione

Passo 1

Aprite il vostro account gratuito.

Iniziare con Deci e Ultralytics YOLOv5

Passo 2

Per iniziare a ottimizzare il modello YOLOv5 pre-addestrato, è necessario convertirlo in formato ONNX. Per istruzioni su come convertire il modello in formato ONNX, consultare l'esercitazione sull'esportazione di YOLOv5.

Passo 3

Accedere alla scheda "Lab" e fare clic sul pulsante "New Model" (Nuovo modello) nella parte superiore destra dello schermo per caricare il modello YOLOv5 ONNX.

Convertire i modelli YOLOv5 di Ultralytics in ONNX per una futura implementazione con Deci

Seguire i passaggi della procedura guidata di caricamento del modello per selezionare l'hardware di destinazione e le dimensioni del batch e il livello di quantizzazione desiderati per la compilazione del modello.

Compilazione del modello YOLOv5 di Ultralytics per la distribuzione con Deci

Dopo aver compilato le informazioni pertinenti, fare clic su "Start". La piattaforma Deci eseguirà automaticamente un'ottimizzazione runtime del modello YOLOv5 per l'hardware selezionato, nonché un benchmark del modello su vari tipi di hardware. Questo processo richiede circa 10 minuti.

Una volta fatto, sullo schermo apparirà una nuova riga sotto il modello di base caricato in precedenza. Qui è possibile vedere la versione ottimizzata del modello YOLOv5 pre-addestrato.

Ultralytics YOLOv5 modello ottimizzato per la distribuzione con Deci

Cosa c'è dopo?

È quindi possibile scaricare il modello ottimizzato facendo clic sul pulsante "Deploy".

Il modello YOLOv5 di Ultralytics è pronto per l'implementazione con Deci

Verrà quindi richiesto di scaricare il modello e di ricevere istruzioni su come installare e utilizzare Infery, il motore di inferenza runtime di Deci.

L'uso di Infery è facoltativo. È possibile ottenere i file python grezzi e utilizzarli con qualsiasi altro motore di inferenza di propria scelta.

Utilizzare Deci Infery per distribuire Ultralytics YOLOv5

Esplorate i risultati dell'ottimizzazione e del benchmark nella scheda "Insights".

Ottimizzazione con Deci del modello Ultralytics YOLOv5

Pronti a iniziare?

Prima di concludere, analizziamo alcuni dei vantaggi offerti da Deci:

  • Ottimizzare il throughput e la latenza dell'inferenza del modello senza compromettere l'accuratezza
  • Consente di ottimizzare i modelli di tutti i framework più diffusi.
  • Supporta modelli mirati a qualsiasi attività di deep-learning
  • Supporta l'implementazione sui più diffusi computer con CPU e GPU
  • Eseguire benchmark per verificare l'idoneità del modello su diversi host hardware e fornitori di cloud.
  • Prepara i modelli caricati per il servizio, l'inferenza e la distribuzione.

Come avete appena visto, è possibile raddoppiare le prestazioni di un modello YOLOv5 in 15 minuti complessivi. La piattaforma Deci è super facile e intuitiva da usare.

Avete domande? Unitevi alla nostra comunità e lasciate la vostra domanda oggi stesso!

Costruiamo insieme il futuro
dell'IA!

Iniziate il vostro viaggio nel futuro dell'apprendimento automatico

Iniziare gratuitamente
Link copiato negli appunti