Gestione intelligente dei dataset per la computer vision con Ultralytics Platform

L'IA visiva, o visione artificiale, ha fatto molta strada dai suoi esordi, evolvendosi dalla ricerca sperimentale a una tecnologia fondamentale per le applicazioni del mondo reale. Oggi gli appassionati di IA possono creare modelli potenti per attività come il rilevamento degli oggetti e la segmentazione delle istanze usando strumenti e framework accessibili.

Tuttavia, quando queste applicazioni passano dalla sperimentazione alla produzione, la gestione dei dataset rimane una sfida critica e spesso trascurata. Man mano che i dataset di visione artificiale crescono in dimensioni e complessità, i team spesso faticano a mantenere annotazioni coerenti, tracciare le modifiche tra le versioni e garantire la qualità complessiva dei dati.

Anche i modelli più avanzati possono offrire prestazioni inferiori negli ambienti reali se i dati di training sono incompleti, sbilanciati o gestiti male. Questa crescente discrepanza tra le prestazioni in fase di sviluppo e l'affidabilità nel mondo reale rende necessario un approccio più strutturato alla gestione dei dataset.

Un'altra limitazione comune è che la raccolta dei dati, l'annotazione e l'addestramento vengono spesso gestiti con strumenti separati. Un flusso di lavoro frammentato rende più difficile gestire i dataset in modo efficiente, aumenta il rischio di incoerenze e rallenta le iterazioni.

Per risolvere gli ostacoli dell'IA visiva, come la gestione dei dataset e i flussi di lavoro frammentati, abbiamo lanciato di recente Ultralytics Platform. È un ambiente di lavoro end-to-end che riunisce la gestione dei dataset, l'annotazione, l'addestramento, la distribuzione e il monitoraggio in un unico flusso di lavoro integrato.

Collegando ogni fase del ciclo di vita della visione artificiale, diventa più semplice tracciare le modifiche ai dataset, confrontare le prestazioni tra le versioni e perfezionare continuamente i dati per ottenere risultati migliori.

Fig. 1. Esempio di visualizzazione delle immagini del tuo dataset all'interno di Ultralytics Platform (Fonte)

In questo articolo vedremo come Ultralytics Platform ti aiuti a monitorare, confrontare e migliorare i tuoi dataset per creare modelli di visione artificiale più affidabili.

L'importanza della gestione dei dataset nella visione artificiale#

Le prestazioni di un modello di visione artificiale sono strettamente legate ai dati su cui viene addestrato. L'accuratezza del modello, ovvero la frequenza con cui le previsioni sono corrette, dipende non solo dall'algoritmo, ma anche da quanto bene il dataset rappresenta le condizioni reali.

In poche parole, un modello apprende direttamente dai dati, quindi eventuali lacune, distorsioni o incoerenze nel dataset possono influenzare le sue previsioni. In altre parole, dati di scarsa qualità, annotazioni errate o una copertura limitata delle variazioni delle immagini nel mondo reale, come condizioni di illuminazione diverse, angolazioni degli oggetti, sfondi o livelli di occlusione, possono ridurre significativamente l'accuratezza, anche se l'architettura del modello è solida.

Questo vale anche per il fine-tuning di un modello, in cui un modello preaddestrato viene sottoposto a ulteriore addestramento con dati nuovi o aggiornati per adattarlo meglio a un caso d'uso o ambiente specifico. Poiché l'accuratezza del modello dipende così tanto dai dati, è essenziale gestirli correttamente.

La gestione dei dataset comprende l'organizzazione, l'etichettatura e l'aggiornamento continuo dei dati affinché rimangano accurati e pertinenti. Questo facilita il miglioramento delle prestazioni nel tempo, soprattutto quando si riaddestrano o si sottopongono a fine-tuning i modelli con nuovi dati.

In che modo la qualità dei dataset influisce sull'affidabilità nel mondo reale#

I casi d'uso della visione artificiale, come i sistemi di monitoraggio della sicurezza, sono un ottimo esempio dell'importanza di una corretta gestione dei dati. Questi sistemi devono funzionare in modo affidabile in una varietà di condizioni reali, tra cui diversi ambienti di illuminazione, angolazioni delle telecamere, livelli di affollamento e occlusioni parziali.

Se i dati di addestramento non coprono queste variazioni o non sono sufficientemente diversificati nel modo in cui gli oggetti appaiono in scene e condizioni diverse, il modello potrebbe avere difficoltà a rilevare gli oggetti con precisione. Per esempio, un modello addestrato soprattutto su scene ben illuminate e prive di ingombri potrebbe funzionare male in ambienti scarsamente illuminati o affollati. Nei sistemi di sicurezza, questo può causare eventi non rilevati o falsi allarmi.

Per evitarlo, è importante mantenere dataset non solo puliti e annotati con precisione, ma anche ben bilanciati e aggiornati regolarmente. Questo significa individuare le lacune nei dati, aggiungere nuovi esempi al variare delle condizioni e assicurarsi che le diverse classi e i vari ambienti siano rappresentati in modo equilibrato.

Con un dataset più completo e strutturato, i modelli sono più preparati ad affrontare la variabilità del mondo reale e a produrre previsioni più affidabili.

Aspetti chiave della gestione dei dataset#

Come si svolge, in pratica, la gestione dei dataset? Consiste nell'organizzare, etichettare e mantenere i dati affinché possano essere utilizzati efficacemente durante tutto il processo di sviluppo del modello.

Organizzare i dati, per esempio, significa strutturare il dataset e suddividerlo in set di training, convalida e test. Il set di training serve a insegnare al modello, quello di convalida a monitorarne le prestazioni e guidare gli aggiustamenti durante lo sviluppo, mentre quello di test serve a valutare le prestazioni del modello finale su dati completamente nuovi.

L'etichettatura, invece, consiste nell'annotare le immagini con dettagli come etichette di classe, riquadri di delimitazione o maschere di segmentazione. Poiché il modello apprende da queste annotazioni, accuratezza e coerenza sono fondamentali per aiutarlo ad apprendere schemi significativi e a produrre previsioni affidabili.

Inoltre, mantenere il dataset significa esaminare e aggiornare i dati nel tempo. Può includere la correzione di errori nelle annotazioni, la rimozione di dati duplicati o di bassa qualità e l'aggiunta di nuovi esempi per coprire casi mancanti o condizioni mutevoli.

Più in generale, la gestione dei dataset è un processo continuo. Man mano che i modelli vengono valutati e si raccolgono nuovi dati, i dataset devono essere aggiornati per riflettere le condizioni reali e i casi limite. Tracciare questi aggiornamenti e confrontare le diverse versioni aiuta i team a capire cosa migliora le prestazioni e dove sono necessari ulteriori cambiamenti.

Gestione dei dataset con Ultralytics Platform#

Ultralytics Platform offre un flusso di lavoro strutturato per gestire i dataset in un unico ambiente, dalla preparazione dei dati all'esportazione. È progettata per supportare sia i singoli sviluppatori sia i team, facilitando una gestione coerente dei dataset, che tu lavori in autonomia o collabori a più progetti.

Ogni fase è progettata per semplificare l'organizzazione, l'elaborazione e l'utilizzo dei dataset durante tutto il ciclo di vita dello sviluppo del modello. Riunendo questi passaggi in un unico spazio, la piattaforma riduce la frammentazione e rende più semplice mantenere la coerenza tra i flussi di lavoro.

Vediamo ora i passaggi principali e come la piattaforma supporta ciascuno di essi.

Caricamento dei dataset su Ultralytics Platform#

Iniziare a usare i dataset sulla piattaforma è semplice e flessibile, con diversi modi per importare o riutilizzare i dati. Puoi caricare i tuoi dati o iniziare più rapidamente usando i dataset pubblici disponibili sulla piattaforma. Puoi anche clonare dataset esistenti condivisi dalla community e svilupparli ulteriormente.

Le funzionalità community della piattaforma semplificano l'esplorazione e il riutilizzo dei lavori già esistenti. Grazie all'accesso ai dataset creati da altri utenti, che comprendono milioni di immagini e annotazioni, puoi iniziare rapidamente senza dover raccogliere ed etichettare tutto da zero. Clonando un dataset se ne crea una copia nel tuo spazio di lavoro, che puoi modificare e ampliare mantenendo intatto l'originale.

Per i caricamenti, la piattaforma supporta singole immagini, video e archivi di dataset come file ZIP, TAR o GZ. Supporta anche formati di dataset ampiamente utilizzati, come YOLO e COCO, semplificando l'importazione di dataset e annotazioni esistenti senza conversioni aggiuntive. Inoltre, puoi caricare un dataset usando un file NDJSON esportato dalla piattaforma e ricreare o riutilizzare facilmente i dataset in diversi progetti.

Dopo il caricamento, la piattaforma elabora i dati tramite una pipeline strutturata. Questa comprende la convalida dei formati e delle dimensioni dei file, il ridimensionamento delle immagini quando necessario, l'analisi delle annotazioni e la generazione di statistiche sul dataset.

Per esempio, i video vengono convertiti in fotogrammi per poterli usare nell'addestramento, mentre le immagini vengono ottimizzate e preparate per facilitarne la consultazione e l'analisi. Una volta elaborati, i dataset sono pronti per l'annotazione, l'analisi e l'addestramento dei modelli all'interno della piattaforma.

Annotazione dei dati su Ultralytics Platform#

Dopo il caricamento, puoi esaminare e annotare i dataset direttamente nella piattaforma. Sono inclusi strumenti integrati di annotazione delle immagini per diverse attività di visione artificiale, come rilevamento di oggetti, segmentazione di istanze, segmentazione semantica, classificazione di immagini, stima della posa e rilevamento di riquadri di delimitazione orientati (OBB).

Fig. 2. Utilizzo di Ultralytics Platform per l'etichettatura dei dati (Fonte)

Puoi creare le annotazioni manualmente con questi strumenti oppure velocizzare il lavoro con funzionalità assistite dall'IA, come l'annotazione intelligente basata su SAM. Con SAM puoi generare maschere, riquadri di delimitazione o riquadri orientati interagendo con l'immagine, accelerando il processo di etichettatura senza compromettere l'accuratezza.

Analisi della qualità dei dataset tramite Ultralytics Platform#

Oltre a preparare e annotare i dati, comprendere la qualità del dataset è essenziale per creare modelli di visione artificiale affidabili. Senza una chiara visibilità su fattori come la distribuzione delle classi, la qualità delle annotazioni, le suddivisioni del dataset e la rappresentazione dei dati nelle diverse condizioni, può essere difficile individuare i problemi che incidono sulle prestazioni del modello.

Ultralytics Platform include funzionalità integrate che aiutano ad analizzare i dataset in modo più efficace. Queste informazioni sono disponibili direttamente nell'interfaccia del dataset, nelle schede Immagini, Classi e Grafici.

Nella scheda Grafici puoi visualizzare statistiche a livello di dataset, come la distribuzione delle suddivisioni (addestramento, validazione e test), la frequenza delle classi e le mappe di calore delle annotazioni, che mostrano dove compaiono gli oggetti nelle immagini.

La scheda Classi fornisce una suddivisione del numero di annotazioni per classe, facilitando l'individuazione degli squilibri tra classi. La scheda Immagini, invece, mostra dettagli a livello di immagine, come le dimensioni, il numero di annotazioni e la distribuzione delle etichette nelle singole immagini.

Queste informazioni facilitano l'individuazione di problemi come squilibri tra classi, scenari mancanti o distribuzioni dei dati non uniformi. Per esempio, potresti notare che alcune classi hanno pochissimi esempi o che la maggior parte delle annotazioni si concentra in aree specifiche di un'immagine.

Oltre all'analisi dei dati, la piattaforma supporta la selezione e l'aumento dei dataset: in altre parole, permette di perfezionarli correggendo o rimuovendo i dati problematici e creando varianti di quelli esistenti per migliorare le prestazioni del modello. Puoi apportare questi miglioramenti direttamente sulla piattaforma aggiornando le annotazioni, aggiungendo nuovi dati o riorganizzando le suddivisioni del dataset sulla base delle informazioni ricavate dall'analisi.

Esportazione dei dataset da Ultralytics Platform#

Una volta preparato e convalidato, un dataset può essere esportato per l'uso in ambienti diversi. In questo modo puoi usare i tuoi dati di visione artificiale dove preferisci, per esempio per addestrare modelli in locale, nel cloud o con altri strumenti e flussi di lavoro.

Ultralytics Platform esporta i dataset come file Ultralytics NDJSON, un formato su cui il pacchetto Python di Ultralytics può eseguire direttamente il training e che può essere reimportato nella piattaforma, semplificando l'integrazione dei dataset con flussi di lavoro e strumenti di training diversi.

Fig. 3. Esportazione di un dataset da Ultralytics Platform (Fonte)

L'esportazione di un dataset crea un'istantanea fissa dei dati in un determinato momento, comprese immagini, annotazioni e struttura. È utile perché i dataset cambiano spesso quando si aggiungono nuovi dati, si aggiornano le annotazioni o si modificano le suddivisioni. Esportando un'istantanea, puoi conservare la versione esatta del dataset usata per una specifica sessione di addestramento.

Questo semplifica la riproduzione dei risultati in seguito, perché puoi addestrare di nuovo un modello con la stessa configurazione dei dati e confrontare le prestazioni tra diverse versioni del dataset. Per esempio, puoi valutare se l'aggiunta di nuove immagini o la correzione delle annotazioni migliora davvero l'accuratezza del modello, anziché limitarti a supporre cosa sia cambiato.

I dataset esportati possono essere scaricati e usati in ambienti di training locali, cloud o offline.

Migliorare la qualità dei dataset con iterazioni su Ultralytics Platform#

Nei flussi di lavoro di machine learning e deep learning, la gestione dei dataset continua anche dopo la distribuzione, perché spesso i dati del mondo reale differiscono da quelli usati durante l'addestramento.

Quando i modelli ricevono nuovi input, diventano più evidenti le lacune nel dataset, come la mancanza di condizioni quali ambienti scarsamente illuminati, angolazioni diverse delle telecamere, occlusioni o scene affollate, oltre agli errori di annotazione; diventa quindi necessario perfezionare i dati nel tempo.

Esistono diversi modi per migliorare un dataset. Puoi aggiungere nuove immagini o video per coprire condizioni mancanti, come ambienti scarsamente illuminati, angolazioni diverse delle telecamere, occlusioni o scene affollate, contribuendo a ridurre i punti ciechi nei dati.

Allo stesso tempo, assicurarsi che le annotazioni siano accurate e coerenti, per esempio con oggetti etichettati correttamente e riquadri di delimitazione o maschere precisi, aiuta il modello ad apprendere schemi più affidabili.

In genere si segue un ciclo semplice: addestra il modello, valuta i risultati, individua gli errori, migliora il dataset e ripeti l'addestramento. Ogni passaggio aiuta a evidenziare problemi come annotazioni errate, dati mancanti o casi sottorappresentati.

Immagina di lavorare a un sistema in tempo reale per monitorare gli scaffali dei negozi e rilevare i prodotti. Le prime versioni del dataset potrebbero non includere alcuni tipi di prodotti, condizioni di illuminazione o configurazioni di scaffali affollati. Durante la valutazione, potresti notare che il modello fatica a rilevare gli articoli in queste situazioni.

Per migliorare le prestazioni, puoi raccogliere nuove immagini che coprano questi scenari mancanti e aggiornare le annotazioni dove necessario. Ripetendo questo processo nel tempo, il modello diventa più accurato e affidabile nelle condizioni del mondo reale.

Ultralytics Platform supporta questo flusso di lavoro collegando gli aggiornamenti dei dataset all'addestramento e alla valutazione. Grazie al tracciamento integrato degli esperimenti e alle metriche delle prestazioni, è più facile monitorare i progressi e migliorare continuamente i dataset nel tempo.

Tracciamento delle modifiche ai dataset con Ultralytics Platform#

Abbiamo accennato brevemente a come i dataset evolvono nel tempo durante lo sviluppo dei modelli. Man mano che si aggiungono nuovi dati, si perfezionano le annotazioni e si aggiornano le classi, tenere traccia di queste modifiche diventa fondamentale per mantenere la qualità dei dati e garantire prestazioni coerenti del modello.

Ecco alcune delle principali funzionalità di Ultralytics Platform che supportano il tracciamento dei dataset e il controllo delle versioni:

• Controllo delle versioni dei dataset: Puoi creare versioni fisse dei dataset sotto forma di istantanee NDJSON. Ogni versione registra dettagli chiave, come il numero di immagini, classi e annotazioni e le dimensioni del dataset in un determinato momento. Le versioni vengono archiviate e possono essere scaricate in seguito, facilitando la riproduzione degli esperimenti e il confronto dei risultati tra diversi stati del dataset.
• Scheda Versioni: Tutte le versioni dei dataset sono organizzate nella scheda Versioni, dove puoi visualizzare la cronologia delle versioni, aggiungere descrizioni alle modifiche e seguire l'evoluzione del dataset nel tempo.
• Collegamento ai modelli: La scheda Modelli mostra tutti i modelli addestrati su un dataset, comprese metriche come mAP e i dettagli dell'addestramento. Le versioni dei dataset sono associate alle sessioni di addestramento, aiutandoti a capire come le modifiche ai dati influiscono sulle prestazioni del modello.
• Scheda Errori: La scheda Errori mette in evidenza i file la cui elaborazione non è riuscita, insieme ai dettagli degli errori e ai suggerimenti. Questo ti consente di individuare e risolvere problemi come file danneggiati o formati non supportati prima dell'addestramento.
• Interfaccia del dataset (schede Immagini e Classi): Queste viste ti permettono di sfogliare le immagini, esaminare le annotazioni, gestire le etichette delle classi e analizzarne la distribuzione. Funzionalità come il filtraggio, l'ordinamento e l'individuazione delle immagini non annotate semplificano il monitoraggio della qualità del dataset nel tempo.
• Statistiche e grafici: Le visualizzazioni dei dati integrate, come la distribuzione delle suddivisioni, la frequenza delle classi e le mappe di calore delle annotazioni, aiutano a tracciare i cambiamenti nella distribuzione dei dati e a individuare gli squilibri man mano che il dataset evolve.

Fig. 4. Esempio di analisi della distribuzione delle classi di un dataset su Ultralytics Platform (Fonte)

Collegare i dataset all'addestramento e alla distribuzione su Ultralytics Platform#

Ultralytics Platform collega le diverse fasi dello sviluppo dei modelli di IA in un'unica pipeline. Questo semplifica il passaggio dai dati grezzi alle applicazioni di IA visiva pronte per la produzione.

Una volta preparati e annotati, i dataset possono essere usati per addestrare modelli di visione artificiale, come Ultralytics YOLO26, direttamente sulla piattaforma. Durante l'addestramento, puoi monitorare le metriche delle prestazioni, tracciare gli esperimenti e valutare l'apprendimento del modello tramite dashboard integrate.

Fig. 5. Uno sguardo alla visualizzazione delle metriche di addestramento del modello su Ultralytics Platform (Fonte)

Dopo l'addestramento, puoi testare i modelli su nuove immagini direttamente nel browser per valutare le previsioni e individuare aree da migliorare prima della distribuzione. Quando il modello offre buone prestazioni, può essere distribuito in produzione.

La piattaforma supporta l'esportazione dei modelli in diversi formati o la loro distribuzione tramite servizi di inferenza ed endpoint dedicati, consentendo loro di operare in ambienti diversi.

Una volta distribuiti, gli strumenti di monitoraggio integrati aiutano a seguire nel tempo le prestazioni del sistema, comprese le metriche relative all'utilizzo e al comportamento del modello. Questo rende più semplice mantenere e migliorare i sistemi di IA visiva nelle applicazioni del mondo reale.

Buone pratiche per la gestione dei dataset con Ultralytics Platform#

Ecco alcuni fattori chiave da tenere a mente quando gestisci i tuoi dataset con Ultralytics Platform:

• Usa i filtri per individuare le lacune: individua i dati non etichettati o sottorappresentati usando gli strumenti di filtraggio, così sarà più facile completare le annotazioni e migliorare la copertura.
• Correggi subito gli errori: usa la scheda Errors per il controllo qualità e individua caricamenti non riusciti, file danneggiati o formati non supportati prima dell'addestramento.
• Aggiorna continuamente i dataset: aggiungi nuovi dati, correggi le annotazioni e includi i casi limite man mano che emergono. Questo aiuta a migliorare la copertura e garantisce che i modelli funzionino in modo affidabile in scenari reali.
• Gestisci con attenzione le suddivisioni del dataset: assicurati che i set di addestramento, validazione e test siano ben bilanciati. Se necessario, puoi riorganizzare manualmente le suddivisioni o usare la ridistribuzione automatica.

Per saperne di più su Ultralytics Platform, consulta la documentazione ufficiale di Ultralytics Platform.

Punti chiave#

Man mano che i progetti di computer vision si espandono, gestire i dataset in modo efficace diventa importante quanto sviluppare i modelli. Un approccio strutturato alla gestione dei dataset aiuta a migliorare la qualità dei dati, semplificare i flussi di lavoro e sostenere prestazioni migliori dei modelli nel tempo.

Ultralytics Platform semplifica questo processo riunendo la gestione dei dataset, l'addestramento e la distribuzione in un unico flusso di lavoro. Adottando un approccio strutturato alla gestione dei dataset, i team possono ridurre la complessità, migliorare l'efficienza e creare sistemi di computer vision più scalabili e affidabili.

Unisciti alla nostra community in crescita ed esplora il nostro repository GitHub per trovare risorse sull'AI. Per iniziare a sviluppare con l'AI visiva, dai un'occhiata alle nostre opzioni di licenza. Scopri come l'AI in agricoltura sta trasformando le pratiche agricole e come la computer vision in ambito sanitario sta plasmando il futuro visitando le nostre pagine dedicate alle soluzioni.