Alla scoperta delle integrazioni di Ultralytics YOLOv8 per il monitoraggio degli esperimenti ML

Raccogliere dati e annotarli, oltre ad addestrare modelli come il modello Ultralytics YOLOv8, è il fulcro di qualsiasi progetto di computer vision. Spesso dovrai addestrare più volte il tuo modello personalizzato con parametri diversi per creare il modello più ottimale. L'uso di strumenti per monitorare i tuoi esperimenti di addestramento può semplificare la gestione del tuo progetto di computer vision. Il monitoraggio degli esperimenti è il processo di registrazione dei dettagli di ogni esecuzione di addestramento, come i parametri utilizzati, i risultati ottenuti e le modifiche apportate nel corso del lavoro.

Fig. 1. Un'immagine che mostra come si inserisce il monitoraggio degli esperimenti in un progetto di computer vision.

Tenere traccia di questi dettagli ti aiuta a riprodurre i risultati, a capire cosa funziona e cosa no e a ottimizzare i tuoi modelli in modo più efficace. Per le organizzazioni, aiuta a mantenere la coerenza tra i team, favorisce la collaborazione e fornisce una chiara traccia di audit. Per i singoli utenti, significa mantenere una documentazione chiara e organizzata del proprio lavoro, che consenta di perfezionare l'approccio e ottenere risultati migliori nel tempo.

In questo articolo ti illustreremo le diverse integrazioni per l'addestramento disponibili per gestire e monitorare i tuoi esperimenti YOLOv8. Che tu lavori da solo o faccia parte di un team più grande, comprendere e utilizzare gli strumenti di monitoraggio giusti può fare davvero la differenza per il successo dei tuoi progetti YOLOv8.

Monitoraggio degli esperimenti di machine learning con MLflow#

MLflow è una piattaforma open source sviluppata da Databricks che semplifica la gestione dell'intero ciclo di vita del machine learning. MLflow Tracking è un componente essenziale di MLflow che fornisce un'API e un'interfaccia utente per aiutare data scientist e ingegneri a registrare e visualizzare i propri esperimenti di machine learning. Supporta diversi linguaggi e interfacce, tra cui le API Python, REST, Java e R.

MLflow Tracking si integra perfettamente con YOLOv8 e ti consente di registrare metriche importanti, come precisione, richiamo e perdita, direttamente dai tuoi modelli. Configurare MLflow con YOLOv8 è semplice e sono disponibili opzioni flessibili: puoi utilizzare la configurazione predefinita su localhost, connetterti a diversi archivi di dati oppure avviare un server remoto di monitoraggio MLflow per mantenere tutto organizzato.

Fig. 2. Configurazioni comuni per l'ambiente di monitoraggio MLflow. Fonte dell'immagine: monitoraggio MLflow.

Ecco alcuni elementi da considerare per decidere se MLflow è lo strumento giusto per il tuo progetto:

• Scalabilità: MLflow si adatta bene alle tue esigenze, sia che tu lavori su una singola macchina sia che tu esegua il deployment su cluster di grandi dimensioni. Se il tuo progetto prevede il passaggio dallo sviluppo alla produzione, MLflow può supportare questa crescita.
• Complessità del progetto: MLflow è ideale per progetti complessi che richiedono un monitoraggio approfondito, funzionalità di gestione dei modelli e di deployment. Se il tuo progetto necessita di queste funzionalità complete, MLflow può semplificare i tuoi flussi di lavoro.
• Configurazione e manutenzione: Sebbene sia potente, MLflow richiede un certo tempo per essere appreso e comporta un impegno aggiuntivo per la configurazione.

Utilizzare Weights & Biases (W&B) per monitorare i modelli di computer vision#

Weights & Biases è una piattaforma MLOps per monitorare, visualizzare e gestire gli esperimenti di machine learning. Utilizzando W&B con YOLOv8, puoi monitorare le prestazioni dei tuoi modelli mentre li addestri e ottimizzi. Il dashboard interattivo di W&B offre una visione chiara e in tempo reale di queste metriche e facilita l'individuazione delle tendenze, il confronto tra varianti del modello e la risoluzione dei problemi durante il processo di addestramento.

W&B registra automaticamente le metriche di addestramento e i checkpoint del modello e puoi persino utilizzarlo per ottimizzare gli iperparametri, come il learning rate e la dimensione del batch. La piattaforma supporta un'ampia gamma di opzioni di configurazione, dal monitoraggio delle esecuzioni sulla tua macchina locale alla gestione di progetti su larga scala con l'archiviazione cloud.

Fig. 3. Esempio di dashboard di monitoraggio degli esperimenti di Weights & Biases. Fonte dell'immagine: monitoraggio degli esperimenti con Weights & Biases.

Ecco alcuni elementi da considerare per decidere se Weights & Biases è lo strumento giusto per il tuo progetto:

• Visualizzazione e monitoraggio avanzati: W&B offre un dashboard intuitivo per visualizzare in tempo reale le metriche di addestramento e le prestazioni del modello.
• Modello di prezzo: Il prezzo si basa sulle ore monitorate, il che potrebbe non essere ideale per gli utenti con budget limitati o per i progetti che prevedono tempi di addestramento lunghi.

Monitoraggio degli esperimenti MLOps con ClearML#

ClearML è una piattaforma MLOps open source progettata per automatizzare, monitorare e orchestrare i flussi di lavoro di machine learning. Supporta framework di machine learning diffusi come PyTorch, TensorFlow e Keras e si integra facilmente con i processi esistenti. ClearML supporta anche il calcolo distribuito su macchine locali o nel cloud e può monitorare l'utilizzo di CPU e GPU.

L'integrazione di YOLOv8 con ClearML fornisce strumenti per il monitoraggio degli esperimenti, la gestione dei modelli e il monitoraggio delle risorse. L'intuitiva interfaccia web della piattaforma ti consente di visualizzare i dati, confrontare gli esperimenti e monitorare metriche fondamentali come perdita, accuratezza e punteggi di validazione in tempo reale. L'integrazione supporta anche funzionalità avanzate come l'esecuzione remota, l'ottimizzazione degli iperparametri e la gestione dei checkpoint del modello.

Fig. 4. Esempio di visualizzazioni del monitoraggio degli esperimenti di ClearML. Fonte dell'immagine: monitoraggio degli esperimenti e visualizzazione dei risultati con Clear ML.

Ecco alcuni elementi da considerare per decidere se ClearML è lo strumento giusto per il tuo progetto:

• Necessità di un monitoraggio avanzato degli esperimenti: ClearML offre un solido monitoraggio degli esperimenti, che include l'integrazione automatica con Git.
• Deployment flessibile: ClearML può essere utilizzato on-premises, nel cloud o su cluster Kubernetes, adattandosi a configurazioni diverse.

Monitorare gli esperimenti di addestramento con Comet ML#

Comet ML è una piattaforma intuitiva che aiuta a gestire e monitorare gli esperimenti di machine learning. L'integrazione di YOLOv8 con Comet ML ti consente di registrare i tuoi esperimenti e visualizzare i risultati nel tempo. L'integrazione facilita l'individuazione delle tendenze e il confronto tra diverse esecuzioni.

Comet ML può essere utilizzato nel cloud, su un cloud privato virtuale (VPC) o persino on-premises, adattandosi a configurazioni ed esigenze diverse. Questo strumento è progettato per il lavoro di squadra. Puoi condividere progetti, taggare i membri del team e lasciare commenti, così tutti possono essere aggiornati e riprodurre accuratamente gli esperimenti.

Ecco alcuni elementi da considerare per decidere se Comet ML è lo strumento giusto per il tuo progetto:

• Supporto di più framework e linguaggi: Comet ML funziona con Python, JavaScript, Java, R e altri linguaggi, rendendolo un'opzione versatile indipendentemente dagli strumenti o dai linguaggi utilizzati dal tuo progetto.
• Dashboard e report personalizzabili: L'interfaccia di Comet ML è altamente personalizzabile, quindi puoi creare report e dashboard che abbiano più senso per il tuo progetto.
• Costo: Comet ML è una piattaforma commerciale e alcune delle sue funzionalità avanzate richiedono un abbonamento a pagamento.

TensorBoard può aiutare con le visualizzazioni#

TensorBoard è un potente toolkit di visualizzazione progettato specificamente per gli esperimenti TensorFlow, ma è anche un ottimo strumento per monitorare e visualizzare le metriche in un'ampia gamma di progetti di machine learning. Noto per la sua semplicità e velocità, TensorBoard consente agli utenti di monitorare facilmente le metriche principali e visualizzare grafici dei modelli, embedding e altri tipi di dati.

Un vantaggio importante di utilizzare TensorBoard con YOLOv8 è che viene fornito comodamente preinstallato, eliminando la necessità di una configurazione aggiuntiva. Un altro vantaggio è la capacità di TensorBoard di funzionare interamente on-premises. Questo è particolarmente importante per i progetti con rigorosi requisiti di privacy dei dati o per gli ambienti in cui il caricamento sul cloud non è un'opzione.

Fig. 5. Monitoraggio dell'addestramento del modello YOLOv8 con TensorBoard.

Ecco alcuni elementi da considerare per decidere se TensorBoard è lo strumento giusto per il tuo progetto:

• Spiegabilità con What-If Tool (WIT): TensorBoard include What-If Tool, che offre un'interfaccia facile da usare per esplorare e comprendere i modelli ML. È utile per chi desidera ottenere informazioni sui modelli black box e migliorarne la spiegabilità.
• Monitoraggio semplice degli esperimenti: TensorBoard è ideale per esigenze di monitoraggio di base, con funzionalità limitate di confronto tra esperimenti, e non offre solide funzioni di collaborazione tra team, controllo delle versioni e gestione della privacy.

Utilizzare DVCLive (Data Version Control Live) per monitorare gli esperimenti ML#

L'integrazione di YOLOv8 con DVCLive offre un modo semplificato per monitorare e gestire gli esperimenti, creando versioni di dataset, modelli e codice insieme senza archiviare file di grandi dimensioni in Git. Utilizza comandi simili a quelli di Git e archivia le metriche monitorate in file di testo semplice per facilitare il controllo delle versioni. DVCLive registra le metriche principali, visualizza i risultati e gestisce gli esperimenti in modo ordinato senza ingombrare il repository. Supporta un'ampia gamma di provider di archiviazione e può funzionare localmente o nel cloud. DVCLive è ideale per i team che desiderano semplificare il monitoraggio degli esperimenti senza infrastrutture aggiuntive o dipendenze dal cloud.

Gestire i modelli e i flussi di lavoro Ultralytics con Ultralytics HUB#

Ultralytics HUB è una piattaforma interna tutto-in-uno progettata per semplificare l'addestramento, il deployment e la gestione dei modelli Ultralytics YOLO, come YOLOv5 e YOLOv8. A differenza delle integrazioni esterne, Ultralytics HUB offre un'esperienza nativa e fluida, creata specificamente per gli utenti YOLO. Semplifica l'intero processo, consentendoti di caricare facilmente i dataset, scegliere modelli preaddestrati e avviare l'addestramento con pochi clic utilizzando risorse cloud, tutto all'interno dell'interfaccia intuitiva di HUB. Ultralytics HUB supporta anche il monitoraggio degli esperimenti, semplificando il monitoraggio dei progressi dell'addestramento, il confronto dei risultati e l'ottimizzazione dei modelli.

Fig. 6. Monitoraggio dell'addestramento del modello YOLOv8 con Ultralytics HUB.

Punti chiave#

Scegliere lo strumento giusto per monitorare i tuoi esperimenti di machine learning può fare una grande differenza. Tutti gli strumenti che abbiamo illustrato possono aiutarti a monitorare gli esperimenti di addestramento YOLOv8, ma è importante valutare i vantaggi e gli svantaggi di ciascuno per trovare quello più adatto al tuo progetto. Lo strumento giusto ti aiuterà a mantenere l'organizzazione e a migliorare le prestazioni del tuo modello YOLOv8!

Le integrazioni possono semplificare l'utilizzo di YOLOv8 nei tuoi progetti innovativi e accelerare i tuoi progressi. Per scoprire altre interessanti integrazioni YOLOv8, consulta la nostra documentazione.

Scopri di più sull'AI esplorando il nostro repository GitHub e unendoti alla nostra community. Consulta le nostre pagine sulle soluzioni per approfondire l'AI nella produzione e nell'assistenza sanitaria. 🚀