Come esportare i modelli Ultralytics YOLO usando Ultralytics Platform

Il mese scorso abbiamo lanciato Ultralytics Platform, uno spazio di lavoro unificato progettato per semplificare l'intero flusso di lavoro della computer vision. Riunisce in un'unica interfaccia ottimizzata le principali funzionalità di AI per la visione, tra cui la gestione dei dataset, l'annotazione, l'addestramento dei modelli, i test, il deployment e il monitoraggio.

Fig. 1. Uno sguardo a Ultralytics Platform (Fonte)

Nell'ambito di questo flusso di lavoro end-to-end, il deployment svolge un ruolo cruciale nel portare i modelli dalla fase di sperimentazione all'utilizzo nel mondo reale. In precedenza abbiamo analizzato le diverse opzioni di deployment disponibili sulla piattaforma, tra cui l'inferenza condivisa tramite API, gli endpoint dedicati per deployment di produzione scalabili e l'esportazione dei modelli per l'esecuzione su dispositivi edge o infrastrutture esterne.

Ora esaminiamo più da vicino l'esportazione dei modelli e il modo in cui supporta il deployment in diversi ambienti. A differenza dell'inferenza e degli endpoint dedicati condivisi, che eseguono i modelli all'interno dell'infrastruttura gestita da Ultralytics Platform, l'esportazione dei modelli consente di eseguire il deployment e far girare i modelli in ambienti esterni, come dispositivi edge, applicazioni mobili e infrastrutture personalizzate.

Prima di poter essere eseguiti in questi ambienti, i modelli devono essere convertiti in formati supportati dal runtime di destinazione. Ogni configurazione di deployment ha requisiti specifici, dai formati leggeri per dispositivi mobili ed edge ai formati ad alte prestazioni per sistemi cloud e basati su GPU.

Tradizionalmente, questo processo può richiedere molto tempo, poiché coinvolge script, dipendenze e diversi strumenti. Con Ultralytics Platform, l'esportazione è molto più semplice. I modelli possono essere convertiti e ottimizzati con pochi clic, senza configurazioni aggiuntive.

In questo articolo illustreremo il significato di esportazione dei modelli, i formati supportati da Ultralytics Platform e come scegliere quello giusto per il tuo caso d'uso. Iniziamo!

Panoramica sull'esportazione di un modello#

L'esportazione di un modello consiste nel convertire un modello pre-addestrato o addestrato su dati personalizzati in un formato utilizzabile al di fuori del framework originale. I modelli Ultralytics YOLO sono creati utilizzando PyTorch e archiviati nel loro formato nativo, che funziona bene per l'addestramento, la valutazione e la sperimentazione nell'ecosistema PyTorch.

Tuttavia, gli ambienti di deployment spesso presentano runtime e requisiti hardware differenti. Per questo motivo, il formato utilizzato durante l'addestramento non è sempre adatto al deployment.

Ad esempio, un'applicazione mobile potrebbe richiedere un formato leggero ottimizzato per un basso consumo energetico, mentre un'app basata su browser necessita di un formato che funzioni in modo efficiente negli ambienti web.

I dispositivi edge, come fotocamere e sistemi embedded, traggono vantaggio da modelli compatti e veloci, mentre i sistemi cloud sono progettati per l'inferenza ad alte prestazioni. Per supportare questi diversi scenari, i modelli devono essere esportati in formati compatibili.

Perché l'opzione di esportare i modelli è più importante che mai#

Oggi i modelli di computer vision vengono sottoposti a deployment più vicino al luogo in cui vengono generati i dati, soprattutto sui dispositivi edge. Gli smartphone eseguono applicazioni di visione in tempo reale, le telecamere CCTV effettuano il monitoraggio direttamente sul dispositivo e i sistemi autonomi si affidano a decisioni immediate.

Tuttavia, il deployment in questi ambienti comporta una serie di sfide specifiche. I dispositivi edge hanno una potenza di calcolo limitata, requisiti rigorosi in termini di latenza e vincoli di memoria e consumo energetico. Un modello che offre buone prestazioni durante l'addestramento con risorse sufficienti potrebbe non funzionare in modo efficiente in queste condizioni limitate.

Esportare un modello nel formato corretto può aiutare ad affrontare queste sfide. Convertendo il modello in modo appropriato, è possibile ottimizzarlo per la velocità, ridurne le dimensioni e renderlo compatibile con hardware specifico.

Allo stesso tempo, l'esportazione offre flessibilità. Lo stesso modello può essere adattato a diversi ambienti di deployment convertendolo in più formati in base a requisiti specifici.

Fig. 2. Alcuni dei formati di esportazione disponibili in Ultralytics Platform (Fonte)

Ad esempio, il formato di modello NCNN è ottimizzato per dispositivi mobili ed edge con un basso utilizzo di risorse. Il formato OpenVINO, invece, è progettato per l'hardware Intel e offre prestazioni migliori su unità di elaborazione centrali (CPUs), unità di elaborazione grafiche (GPUs) e unità di elaborazione neurale (NPUs).

Nella maggior parte dei casi, ottenere questo livello di flessibilità significava gestire conversioni manuali, dipendenze e diversi strumenti, rendendo il processo lungo e complesso. Ultralytics Platform semplifica questo flusso di lavoro rendendo l'esportazione dei modelli più accessibile e facile da gestire.

Come Ultralytics Platform semplifica l'esportazione dei modelli#

In genere, l'esportazione di un modello viene considerata una fase separata e complessa nei flussi di lavoro di computer vision. Ultralytics Platform cambia questo approccio integrando l'opzione di esportare un modello direttamente in un unico spazio di lavoro che copre tutto, dall'addestramento al deployment.

Uno dei suoi principali vantaggi è l'esperienza di esportazione senza codice. Non è necessario scrivere script, gestire ambienti o utilizzare comandi specifici del framework. I modelli possono essere esportati con pochi clic tramite un'interfaccia intuitiva.

Fig. 3. Esempio di esportazione di un modello da Ultralytics Platform (Fonte)

Dietro le quinte, la piattaforma gestisce le attività più complesse. Le operazioni che normalmente richiederebbero diversi strumenti e una configurazione manuale vengono semplificate in un unico processo. Non devi installare dipendenze aggiuntive né gestire problemi di compatibilità, il che rende molto più facile passare da un modello addestrato a una soluzione pronta per la produzione.

Formati di esportazione dei modelli supportati da Ultralytics Platform#

Ultralytics Platform supporta 17 formati di esportazione, rendendo semplice preparare i modelli per un'ampia gamma di ambienti di deployment senza complessità aggiuntive.

Ecco una panoramica di alcuni dei formati di esportazione più utilizzati:

• Multipiattaforma e interoperabilità: ONNX e TorchScript sono ampiamente utilizzati per eseguire modelli su framework e ambienti diversi. ONNX funge da ponte tra gli ecosistemi, facilitando lo spostamento dei modelli tra gli strumenti, mentre TorchScript consente di eseguire modelli PyTorch in produzione senza richiedere un runtime Python.
• Inferenza ad alte prestazioni su GPU: TensorRT è progettato per le GPU NVIDIA e si concentra sull'ottimizzazione dei modelli per una bassa latenza e un throughput elevato. Supporta tecniche come la riduzione della precisione e la fusione dei layer per accelerare l'inferenza, rivelandosi una scelta eccellente per applicazioni in tempo reale e su scala produttiva.
• Deployment su dispositivi mobili ed edge: CoreML, LiteRT (TensorFlow Lite) e NCNN sono ottimizzati per dispositivi con capacità di calcolo e memoria limitate. Questi formati riducono le dimensioni dei modelli e ne migliorano l'efficienza, consentendo prestazioni fluide su smartphone, sistemi embedded e hardware edge. CoreML viene generalmente utilizzato negli ecosistemi Apple, mentre LiteRT è comune su Android.
• Esecuzione ottimizzata per l'hardware: OpenVINO è progettato per l'hardware Intel, comprese CPU, GPU e VPU, e contribuisce a migliorare la velocità e l'efficienza dell'inferenza su questi dispositivi. Formati specifici per l'hardware come questo sono utili quando devi ottenere le migliori prestazioni da un determinato sistema.
• Runtime specifici per framework e specializzati: formati come PaddlePaddle ed ExecuTorch supportano ecosistemi e requisiti di deployment specifici, tra cui l'esecuzione efficiente dei modelli su dispositivi edge o l'integrazione con determinati stack di deep learning.

Come esportare un modello utilizzando Ultralytics Platform#

L'esportazione di un modello su Ultralytics Platform è un processo semplice basato sull'interfaccia utente. L'intero flusso di lavoro viene gestito tramite l'interfaccia, senza bisogno di script o strumenti da riga di comando.

Ecco come esportare un modello utilizzando la piattaforma:

• Accedi e scegli il modello: vai al tuo progetto e apri il modello addestrato che vuoi esportare.
• Vai alla scheda Export: nella dashboard del modello, fai clic sulla scheda Export per visualizzare le opzioni di esportazione disponibili.
• Seleziona un formato di esportazione: scegli un formato come ONNX, TensorRT o CoreML in base alle tue esigenze di deployment.
• Configura le impostazioni di esportazione (facoltativo): modifica parametri come la dimensione dell'immagine, la precisione o la dimensione del batch per ottimizzare le prestazioni.
• Avvia il processo di esportazione: fai clic su “Start Export” per iniziare il processo. La piattaforma gestisce automaticamente la conversione.
• Scarica il modello esportato: al termine dell'esportazione, puoi scaricare il modello e utilizzarlo nella tua pipeline di deployment.

Fig. 4. Uno sguardo alla configurazione delle impostazioni di esportazione in Ultralytics Platform

Come scegliere il formato di esportazione giusto#

Esplorando i diversi formati di esportazione supportati da Ultralytics Platform, potresti chiederti quale scegliere. La risposta dipende davvero da dove e come prevedi di utilizzare il tuo modello.

Ecco alcuni fattori da considerare:

• Requisiti di latenza: per applicazioni in tempo reale come l'analisi video o i sistemi autonomi, una bassa latenza è fondamentale. I formati ottimizzati per l'inferenza ad alte prestazioni, come TensorRT, sono spesso più adatti.
• Vincoli hardware: i dispositivi con memoria e potenza di elaborazione limitate, come telefoni cellulari o sistemi embedded, richiedono formati leggeri come LiteRT o NCNN.
• Dimensioni del modello e consumo energetico: quando lavori con dispositivi edge, le dimensioni del modello e il consumo energetico diventano importanti. Modelli più piccoli e ottimizzati contribuiscono a garantire prestazioni costanti senza consumare eccessivamente le risorse.
• Ambiente di deployment: se il tuo modello deve funzionare su piattaforme diverse, formati come ONNX offrono flessibilità. Per casi d'uso specifici di una piattaforma, come le app iOS, CoreML è spesso la scelta migliore.

Non esiste un formato adatto a ogni situazione. Tutto dipende dall'equilibrio tra prestazioni, compatibilità e limitazioni dell'ambiente di destinazione. Ultralytics Platform semplifica questa scelta permettendoti di provare e confrontare formati diversi senza sforzi aggiuntivi.

Punti chiave#

L'esportazione è un passaggio essenziale per preparare il tuo modello all'utilizzo nel mondo reale in diversi ambienti. Con Ultralytics Platform, questo processo diventa molto più semplice: puoi convertire e ottimizzare i modelli senza configurazioni aggiuntive o complessità. Scegliendo il formato giusto per il tuo caso d'uso, puoi assicurarti che il modello funzioni in modo efficiente ovunque venga sottoposto a deployment.

Unisciti alla nostra community in crescita e dai un'occhiata al nostro repository GitHub per saperne di più sulla computer vision. Esplora le nostre pagine dedicate alle soluzioni per approfondire applicazioni come l'AI nella robotica e la computer vision nella logistica. Scopri le nostre opzioni di licenza e inizia a creare con l'AI per la visione!