Come esportare modelli Ultralytics YOLO utilizzando Ultralytics Platform

Il mese scorso abbiamo lanciato Ultralytics Platform, uno spazio di lavoro unificato progettato per semplificare l'intero flusso di lavoro della visione artificiale. Riunisce le principali funzionalità di vision AI, tra cui la gestione dei dataset, l'annotazione, l'addestramento, il test, il deployment e il monitoraggio dei modelli, in un'unica interfaccia semplificata.

Fig 1. Uno sguardo alla piattaforma Ultralytics (Fonte)

Come parte di questo flusso di lavoro end-to-end, il deployment gioca un ruolo cruciale nel portare i modelli dalla fase di sperimentazione all'uso nel mondo reale. In precedenza, abbiamo esplorato le diverse opzioni di deployment disponibili sulla piattaforma, tra cui l'inferenza condivisa tramite API, endpoint dedicati per deployment scalabili in produzione ed esportazione di modelli per l'esecuzione su dispositivi edge o infrastrutture esterne.

Ora, esaminiamo più da vicino l'esportazione dei modelli e come essa supporti il deployment in diversi ambienti. A differenza dell'inferenza condivisa e degli endpoint dedicati, che eseguono i modelli all'interno di un'infrastruttura gestita da Ultralytics Platform, l'esportazione consente ai modelli di essere distribuiti ed eseguiti in ambienti esterni come dispositivi edge, applicazioni mobili e infrastrutture personalizzate.

Prima che i modelli possano essere eseguiti in questi ambienti, devono essere convertiti nei formati supportati dal runtime di destinazione. Ogni configurazione di deployment ha i suoi requisiti, dai formati leggeri per dispositivi mobili ed edge ai formati ad alte prestazioni per sistemi cloud e basati su GPU.

Tradizionalmente, questo processo può richiedere molto tempo, coinvolgendo script, dipendenze e strumenti multipli. Con Ultralytics Platform, l'esportazione è molto più semplice. I modelli possono essere convertiti e ottimizzati in pochi clic, senza configurazioni aggiuntive.

In questo articolo, vedremo cosa significa esportazione del modello, quali sono i formati supportati da Ultralytics Platform e come scegliere quello giusto per il tuo caso d'uso. Iniziamo!

Link to this sectionUna panoramica dell'esportazione di un modello#

Esportare un modello significa convertire un modello pre-addestrato o personalizzato in un formato utilizzabile al di fuori del suo framework originale. I modelli YOLO di Ultralytics sono costruiti usando PyTorch e archiviati nel loro formato nativo, che funziona bene per l'addestramento, la valutazione e la sperimentazione all'interno dell'ecosistema PyTorch.

Tuttavia, gli ambienti di deployment hanno spesso runtime e requisiti hardware diversi. Per questo motivo, il formato utilizzato durante l'addestramento non è sempre adatto al deployment.

Ad esempio, un'applicazione mobile potrebbe richiedere un formato leggero ottimizzato per un basso consumo energetico, mentre un'app basata su browser necessita di un formato che giri in modo efficiente negli ambienti web.

I dispositivi edge, come telecamere e sistemi embedded, traggono vantaggio da modelli compatti e veloci, mentre i sistemi cloud sono progettati per un'inferenza ad alte prestazioni. Per supportare questi diversi scenari, i modelli devono essere esportati in formati compatibili.

Link to this sectionPerché l'opzione di esportare i modelli è più importante che mai#

Oggi, i modelli di visione artificiale vengono distribuiti più vicino al luogo in cui i dati vengono generati, specialmente sui dispositivi edge. Gli smartphone eseguono applicazioni di visione in tempo reale, le telecamere CCTV eseguono il monitoraggio on-device e i sistemi autonomi si basano su decisioni istantanee.

Tuttavia, il deployment in questi ambienti comporta una serie di sfide. I dispositivi edge hanno potenza computazionale limitata, severi requisiti di latenza e vincoli su memoria e consumo energetico. Un modello che funziona bene durante l'addestramento con risorse sufficienti potrebbe non girare in modo efficiente in queste condizioni limitate.

Esportare un modello nel formato giusto può aiutare ad affrontare queste sfide. Convertendo il modello in modo appropriato, è possibile ottimizzarlo per la velocità, ridurne le dimensioni e renderlo compatibile con hardware specifico.

Allo stesso tempo, l'esportazione offre flessibilità. Lo stesso modello può essere adattato a diversi ambienti di deployment convertendolo in più formati in base a requisiti specifici.

Fig 2. Alcuni dei formati di esportazione disponibili all'interno di Ultralytics Platform (Fonte)

Ad esempio, il formato modello NCNN è ottimizzato per dispositivi mobili ed edge con basso utilizzo delle risorse, mentre il formato OpenVINO è su misura per l'hardware Intel e offre prestazioni migliori su unità di elaborazione centrale (CPU), unità di elaborazione grafica (GPU) e unità di elaborazione neurale (NPU).

Nella maggior parte dei casi, ottenere questo livello di flessibilità significava gestire conversioni manuali, dipendenze e strumenti multipli, rendendo il processo complesso e dispendioso in termini di tempo. Ultralytics Platform semplifica questo flusso di lavoro rendendo l'esportazione dei modelli più accessibile e facile da gestire.

Link to this sectionCome Ultralytics Platform semplifica l'esportazione dei modelli#

Di solito, l'esportazione di un modello è trattata come un passaggio separato e complesso nei flussi di lavoro di visione artificiale. Ultralytics Platform cambia le cose integrando l'opzione di esportazione del modello direttamente in un unico spazio di lavoro che copre tutto, dall'addestramento al deployment.

Uno dei suoi vantaggi chiave è l'esperienza di esportazione no-code. Non c'è bisogno di scrivere script, gestire ambienti o utilizzare comandi specifici del framework. I modelli possono essere esportati in pochi clic tramite un'interfaccia intuitiva.

Fig 3. Un esempio di esportazione di un modello da Ultralytics Platform (Fonte)

Dietro le quinte, la piattaforma gestisce il lavoro pesante. Le attività che richiederebbero solitamente strumenti multipli e configurazioni manuali sono semplificate in un unico processo. Non devi installare dipendenze extra o gestire problemi di compatibilità, rendendo molto più facile passare da un modello addestrato a una soluzione pronta per la produzione.

Link to this sectionFormati di esportazione dei modelli supportati da Ultralytics Platform#

Ultralytics Platform supporta 17 formati di esportazione, rendendo facile preparare i modelli per un'ampia gamma di ambienti di deployment senza complicazioni aggiuntive.

Ecco una panoramica di alcuni dei formati di esportazione più utilizzati:

• Interoperabilità multipiattaforma: ONNX e TorchScript sono ampiamente utilizzati per eseguire modelli su diversi framework e ambienti. ONNX funge da ponte tra ecosistemi, facilitando lo spostamento dei modelli tra gli strumenti, mentre TorchScript consente di eseguire modelli PyTorch in produzione senza richiedere un runtime Python.
• Inferenza ad alte prestazioni su GPU: TensorRT è progettato per le GPU NVIDIA e si concentra sull'ottimizzazione dei modelli per una bassa latenza e un throughput elevato. Supporta tecniche come la riduzione della precisione e la fusione dei layer per accelerare l'inferenza, rendendolo un'ottima scelta per applicazioni in tempo reale e su scala di produzione.
• Deployment mobile ed edge: CoreML, LiteRT (TensorFlow Lite) e NCNN sono ottimizzati per dispositivi con calcolo e memoria limitati. Questi formati riducono le dimensioni del modello e migliorano l'efficienza, consentendo prestazioni fluide su smartphone, sistemi embedded e hardware edge. CoreML è tipicamente utilizzato negli ecosistemi Apple, mentre LiteRT è comune per Android.
• Esecuzione ottimizzata per l'hardware: OpenVINO è su misura per l'hardware Intel, incluse CPU, GPU e VPU, e aiuta a migliorare la velocità di inferenza e l'efficienza su tali dispositivi. I formati specifici per l'hardware come questo sono utili quando hai bisogno di ottenere le migliori prestazioni da un sistema particolare.
• Runtime specializzati e specifici per framework: Formati come PaddlePaddle ed ExecuTorch supportano ecosistemi ed esigenze di deployment specifici, inclusa l'esecuzione efficiente dei modelli su dispositivi edge o l'integrazione con determinati stack di deep learning.

Link to this sectionCome esportare un modello usando Ultralytics Platform#

Esportare un modello su Ultralytics Platform è un processo semplice basato su interfaccia utente. L'intero flusso di lavoro viene gestito attraverso l'interfaccia, senza bisogno di script o strumenti da riga di comando.

Ecco come puoi esportare un modello usando la piattaforma:

• Accedi e scegli il tuo modello: Vai al tuo progetto e apri il modello addestrato che desideri esportare.
• Vai alla scheda Esporta: All'interno della dashboard del modello, clicca sulla scheda Esporta per vedere le opzioni di esportazione disponibili.
• Seleziona un formato di esportazione: Scegli un formato come ONNX, TensorRT o CoreML in base alle tue esigenze di deployment.
• Configura le impostazioni di esportazione (opzionale): Regola parametri come dimensione dell'immagine, precisione o dimensione del batch per ottimizzare le prestazioni.
• Avvia il processo di esportazione: Clicca su "Avvia esportazione" per iniziare il processo. La piattaforma gestisce la conversione automaticamente.
• Scarica il modello esportato: Una volta completata l'esportazione, puoi scaricare il modello e utilizzarlo nella tua pipeline di deployment.

Fig 4. Uno sguardo alla configurazione delle impostazioni di esportazione in Ultralytics Platform

Link to this sectionScegliere il giusto formato di esportazione#

Mentre esplori i diversi formati di esportazione supportati da Ultralytics Platform, potresti chiederti quale scegliere. La risposta dipende realmente da dove e come prevedi di utilizzare il tuo modello.

Ecco alcuni fattori da considerare:

• Requisiti di latenza: Per applicazioni in tempo reale come analisi video o sistemi autonomi, una bassa latenza è fondamentale. I formati ottimizzati per un'inferenza ad alte prestazioni, come TensorRT, sono spesso più adatti.
• Vincoli hardware: I dispositivi con memoria e potenza di elaborazione limitate, come telefoni cellulari o sistemi embedded, richiedono formati leggeri come LiteRT o NCNN.
• Dimensione del modello e consumo energetico: Quando lavori con dispositivi edge, le dimensioni del modello e il consumo energetico diventano importanti. Modelli più piccoli e ottimizzati aiutano a garantire prestazioni costanti senza esaurire le risorse.
• Ambiente di deployment: Se il tuo modello deve essere eseguito su diverse piattaforme, formati come ONNX offrono flessibilità. Per casi d'uso specifici per piattaforma, come le app iOS, CoreML è spesso la scelta migliore.

Non esiste un formato unico per tutti. Si tratta davvero di bilanciare prestazioni, compatibilità e limitazioni del tuo ambiente di destinazione. Ultralytics Platform rende tutto più semplice permettendoti di provare e confrontare diversi formati senza sforzi extra.

Link to this sectionPunti chiave#

L'esportazione è un passaggio vitale per preparare il tuo modello all'uso nel mondo reale in diversi ambienti. Con Ultralytics Platform, questo processo diventa molto più semplice, permettendoti di convertire e ottimizzare i modelli senza configurazioni o complessità aggiuntive. Scegliendo il formato giusto per il tuo caso d'uso, puoi garantire che il tuo modello venga eseguito in modo efficiente ovunque tu lo distribuisca.

Unisciti alla nostra crescente community e dai un'occhiata al nostro repository GitHub per saperne di più sulla visione artificiale. Esplora le nostre pagine sulle soluzioni per conoscere meglio applicazioni come AI nella robotica e visione artificiale nella logistica. Scopri le nostre opzioni di licenza e inizia a costruire con la vision AI!