Addestramento personalizzato dei modelli Ultralytics YOLO su Lightning AI

Che tu sia un sviluppatore di IA esperto o che tu stia appena iniziando a esplorare la vision AI, avere un ambiente affidabile in cui testare e sperimentare con modelli di visione artificiale come Ultralytics YOLO11 è fondamentale. Per ambiente si intendono gli strumenti, le risorse e l'infrastruttura necessari per progettare, testare e distribuire modelli di IA in modo efficiente.

Sebbene diverse piattaforme online offrano strumenti AI differenti, molte non forniscono un ambiente unificato per l'intero ciclo di vita dell'AI, dalla preparazione dei dati alla distribuzione del modello. È qui che Lightning AI, una piattaforma tutto-in-uno per lo sviluppo AI, interviene per ottimizzare il processo dalla preparazione dei dati alla distribuzione.

L'importanza di rendere lo sviluppo dell'IA più semplice è stata mostrata a YOLO Vision 2024 (YV24), un evento ibrido annuale organizzato da Ultralytics incentrato sui progressi nell'IA e nella visione artificiale. Luca Antiga, CTO di Lightning AI, ha tenuto un keynote intitolato 'Going YOLO on Lightning Studios', in cui ha spiegato come addestrare i modelli Ultralytics YOLO in modo rapido, fluido e senza perdersi nelle complessità tecniche utilizzando Lightning AI.

In questo articolo, approfondiremo i punti chiave dell'intervento di Luca, coprendo tutto, dalle applicazioni di computer vision nel mondo reale alle demo dal vivo su come addestrare e distribuire i modelli Ultralytics YOLO con Lightning AI. Iniziamo!

Utilizzare Lightning AI e Ultralytics YOLO per semplificare lo sviluppo AI#

Luca ha iniziato il suo keynote condividendo i suoi pensieri e il suo apprezzamento per l'influenza dei modelli YOLO in vari settori. Ha evidenziato come i modelli YOLO possano essere applicati in ambiti come la produzione e l'agricoltura. Ha dichiarato: "Apprezzo l'impatto che YOLO ha avuto sulla comunità di builder - persone che hanno bisogno di risolvere problemi reali e pratici - questo è molto vicino a me".

Collegando questo aspetto al crescente interesse per l'addestramento AI, ha introdotto Lightning AI, una piattaforma progettata per rendere lo sviluppo di modelli AI più veloce, più semplice e più accessibile a tutti. È particolarmente utile per supportare i progressi iterativi nell'AI, aiutando gli sviluppatori a perfezionare e migliorare i modelli.

Fig 1. Luca Antiga che presenta da remoto su Lightning Studios a YV24.

Ha anche sottolineato che Lightning AI è simile a PyTorch Lightning, un framework che semplifica il processo di addestramento dei modelli di IA. Tuttavia, la differenza sta nel fatto che Lightning AI è una piattaforma più completa che offre un set più ampio di strumenti e funzionalità per l'intero processo di sviluppo dell'IA, e non solo per l'addestramento dei modelli.

Un componente vitale di Lightning AI è Lightning Studios, che offre uno spazio di lavoro intuitivo per progettare, addestrare e distribuire modelli di IA, rendendo l'intero flusso di lavoro continuo ed efficiente. Puoi pensare a Lightning Studios come a un ambiente di sviluppo riproducibile per l'IA che viene eseguito sul cloud. Ad esempio, offre un ambiente simile a Jupyter Notebook che può essere duplicato e condiviso con un altro sviluppatore, contribuendo a migliorare la collaborazione.

Luca ha poi approfondito i vantaggi di Lightning Studios, dicendo: "Replicare il tuo ambiente non è più un problema. Se devi passare da una macchina CPU [Central Processing Unit] a una macchina GPU [Graphics Processing Unit] o avviare l'addestramento su migliaia di macchine, il tuo ambiente rimarrà persistente".

Configurazione di Lightning Studios per l'addestramento e lo sviluppo#

Successivamente, Luca ha mostrato quanto velocemente sia possibile iniziare a usare Lightning Studios. Con pochi clic, puoi aprire un nuovo studio e avere accesso a strumenti e ambienti come Jupyter Notebooks e VS Code, tutti configurati e pronti per la programmazione. Ha mostrato quanto sia facile passare da una macchina all'altra. Se l'attività su cui stai lavorando richiede più potenza, puoi facilmente passare da una CPU a una GPU più potente. La GPU rimarrà attiva solo durante l'uso; altrimenti, entrerà in modalità di sospensione, facendoti risparmiare crediti.

Luca ha anche menzionato i vantaggi dell'utilizzo degli Studio Template. Si tratta di ambienti di programmazione AI pre-realizzati dalla comunità, che puoi usare senza dover configurare nulla. Configurare un ambiente per progetti AI può richiedere molto tempo e gli Studio Template possono aiutare ad aumentare la produttività. Questi ambienti arrivano precaricati con tutto il necessario per i progetti AI, come dipendenze installate, pesi dei modelli, dati, codice, ecc.

Fig 2. Luca spiega cosa sono gli Studio Templates.

Addestramento di modelli Ultralytics YOLO su Lightning Studios#

Luca è poi passato alla demo dal vivo, evidenziando come sia possibile utilizzare Lightning Studio per addestrare i modelli Ultralytics YOLO. Ha aperto uno Studio Template che aveva già tutte le dipendenze installate e ha avviato una macchina con quattro GPU per accelerare il processo di addestramento. Per quanto riguarda i dati, ha affermato che è possibile scegliere se archiviare i dati direttamente sulla macchina o se trasmetterli in streaming dal cloud, rendendo il processo di addestramento più veloce ed efficiente.

Nel giro di pochi secondi, la macchina era pronta e Luca ha avviato rapidamente la sessione di addestramento. Durante la demo, un piccolo problema ha causato l'interruzione improvvisa della macchina, ma Lightning Studios ha ripreso senza problemi da dove si era interrotto, assicurandosi che non andasse perso alcun progresso. Luca ha sottolineato come questa affidabilità supporti flussi di lavoro fluidi, anche a fronte di interruzioni impreviste.

Continuando con la demo, ha mostrato quanto sia semplice monitorare i progressi dell'addestramento utilizzando TensorBoard, uno strumento per visualizzare le metriche di apprendimento automatico in tempo reale. Lightning Studio rende tutto ciò ancora più semplice generando automaticamente URL che consentono a te o ai tuoi compagni di squadra nello stesso spazio di lavoro di accedere alle viste di TensorBoard senza alcuna configurazione aggiuntiva. Questo ottimizza la collaborazione e mantiene tutti allineati.

Fig 3. Un diagramma di flusso sull'addestramento dei modelli Ultralytics YOLO su Lightning Studios. Immagine dell'autore.

Distribuzione di modelli Ultralytics YOLO con LitServe#

Dopo la demo, Luca ha spostato l'attenzione dell'intervento su un nuovo progetto, LitServe, lanciato di recente da Lightning AI. LitServe semplifica il processo di prendere un modello addestrato e trasformarlo in un servizio scalabile che altri possono utilizzare, eliminando la necessità di complesse pipeline di distribuzione. È progettato per gestire tutto, dal packaging del modello alla sua distribuzione, con il minimo sforzo.

Per mostrarlo in tempo reale, Luca ha fatto al pubblico una rapida demo usando un modello Ultralytics YOLOv8 pre-addestrato. È stato in grado di creare una semplice API per gestire le richieste in arrivo e restituire previsioni di immagini in pochi secondi. Ciò significa che chiunque può inviare un'immagine a questa API e ricevere quasi istantaneamente i risultati per compiti di visione artificiale come il rilevamento di oggetti. Dietro le quinte, il modello Ultralytics YOLOv8 viene distribuito come servizio, gestendo in modo efficiente le richieste, elaborando le immagini e fornendo previsioni con una latenza minima.

Fig 4. Luca mostra LitServe di Lightning AI durante YV24.

Ha eseguito un'inferenza su un'immagine di una pizza e Ultralytics YOLOv8 ha identificato con successo oggetti come la pizza, un cucchiaio e un tavolo da pranzo. Ha spiegato che, mentre la prima richiesta richiede leggermente più tempo a causa di un "cold start", le richieste successive sono molto più veloci una volta che il sistema è a regime.

Luca ha poi chiesto: "Cosa succede se voglio esporlo al mondo esterno?". Ha illustrato come il plugin API Builder renda semplice trasformare il tuo modello in un servizio live pronto per la produzione. Con funzionalità come domini personalizzati, sicurezza aggiuntiva e integrazione fluida, puoi facilmente rendere il tuo modello accessibile a chiunque.

Principali vantaggi dell'utilizzo di Lightning Studios#

Concludendo il suo intervento, Luca ha toccato la scalabilità e la flessibilità di Lightning Studio per lo sviluppo AI. Ha menzionato come la piattaforma possa addestrare modelli su più macchine, scalando fino a 10.000 nodi, con un addestramento a tolleranza di errore che riprende automaticamente dopo eventuali interruzioni.

Ad esempio, se un lavoro di addestramento su un cluster GPU viene interrotto a causa di un problema hardware o di un riavvio del server, Lightning Studios si assicura che il processo riprenda esattamente da dove era stato interrotto. Questo lo rende ideale per progetti di IA su larga scala, come l'addestramento di modelli di deep learning su dataset massicci come ImageNet o COCO.

Ecco alcuni altri vantaggi chiave di Lightning Studios di cui Luca ha parlato:

• Crediti GPU mensili gratuiti: agli utenti vengono forniti 15 crediti GPU gratuiti ogni mese, che si ricaricano automaticamente, assicurandoti di poter sperimentare e sviluppare senza costi aggiuntivi.
• Collaborazione avanzata: gli spazi team condivisi e gli ambienti riproducibili di Lightning Studio consentono ai membri del team di lavorare insieme senza problemi, garantendo coerenza ed efficienza in tutti i progetti.
• Opzioni di istanza flessibili: ti offre la flessibilità di scegliere tra istanze interrompibili e non interrompibili, consentendo agli utenti di risparmiare sui costi delle macchine GPU con opzioni interrompibili.
• Integrazione con strumenti esistenti: la piattaforma si integra con strumenti di sviluppo remoto come SSH (Secure Socket Shell) e VS Code, offrendo la flessibilità di lavorare localmente o sul cloud.

Punti chiave#

Il keynote di Luca al YV24 ha evidenziato come l'AI, combinata con strumenti come i modelli Ultralytics YOLO e Lightning AI, stia cambiando il modo in cui risolviamo i problemi del mondo reale. Rendono più facile per gli sviluppatori addestrare e distribuire modelli progettati per affrontare problemi specifici in una vasta gamma di settori.

Ha illustrato come Lightning Studios renda l'intero processo di sviluppo più veloce e più accessibile, consentendo agli sviluppatori di creare soluzioni potenti con facilità. Al centro di piattaforme all'avanguardia come Lightning AI, i modelli di computer vision stanno trasformando il modo in cui le soluzioni AI gestiscono le sfide. In particolare, con l'ultimo modello Ultralytics YOLO11, gli sviluppatori possono costruire soluzioni che hanno un impatto significativo.

Unisciti alla nostra community per rimanere aggiornato sull'IA e sulle sue applicazioni pratiche. Dai un'occhiata al nostro repository GitHub per esplorare le innovazioni in settori come l'IA nelle auto a guida autonoma e la visione artificiale nella sanità.