Gestione intelligente dei dataset nella computer vision con Ultralytics Platform

La vision AI, o computer vision, ha fatto molta strada dagli esordi, evolvendosi da ambito di ricerca sperimentale a tecnologia fondamentale per applicazioni del mondo reale. Oggi, gli appassionati di AI possono creare modelli potenti per attività come il rilevamento degli oggetti e la segmentazione delle istanze usando strumenti e framework accessibili.

Tuttavia, quando queste applicazioni passano dalla sperimentazione alla produzione, la gestione dei dataset rimane una sfida critica e spesso trascurata. Man mano che i dataset di computer vision aumentano in dimensioni e complessità, i team spesso faticano a mantenere annotazioni coerenti, tenere traccia delle modifiche tra le versioni e garantire la qualità complessiva dei dati.

Anche i modelli più avanzati possono avere prestazioni insufficienti in ambienti reali se i dati su cui sono addestrati sono incompleti, sbilanciati o gestiti male. Questo divario crescente tra le prestazioni in fase di sviluppo e l'affidabilità nel mondo reale rende necessario un approccio più strutturato alla gestione dei dataset.

Un'altra limitazione comune è che la raccolta dei dati, l'annotazione e l'addestramento vengono spesso gestiti con strumenti separati. Un flusso di lavoro frammentato rende più difficile gestire i dataset in modo efficiente, aumenta il rischio di incoerenze e rallenta le iterazioni.

Per risolvere i colli di bottiglia della vision AI, come la gestione dei dataset e i flussi di lavoro frammentati, abbiamo recentemente lanciato Ultralytics Platform. È un workspace end-to-end che riunisce la gestione dei dataset, l'annotazione, l'addestramento, la distribuzione e il monitoraggio in un unico flusso di lavoro unificato.

Collegando ogni fase del ciclo di vita della computer vision, diventa più facile tenere traccia delle modifiche ai dataset, confrontare le prestazioni tra le versioni e perfezionare continuamente i tuoi dati per ottenere risultati migliori.

Fig. 1. Esempio di visualizzazione delle immagini del tuo dataset in Ultralytics Platform (Fonte)

In questo articolo analizzeremo come Ultralytics Platform ti aiuta a monitorare, confrontare e migliorare i tuoi dataset per creare modelli di computer vision più affidabili. Iniziamo!

L'importanza della gestione dei dataset nella computer vision#

Le prestazioni di un modello di computer vision sono strettamente legate ai dati su cui viene addestrato. La precisione del modello, ovvero la frequenza con cui le predizioni sono corrette, dipende non solo dall'algoritmo, ma anche da quanto bene il dataset rappresenta le condizioni del mondo reale.

In parole semplici, un modello apprende direttamente i pattern dai dati, quindi eventuali lacune, distorsioni o incoerenze nel dataset possono influenzare il modo in cui effettua le predizioni. In altre parole, dati di scarsa qualità, annotazioni errate o una copertura limitata delle variazioni del mondo reale nelle immagini, come diverse condizioni di illuminazione, angolazioni degli oggetti, sfondi o livelli di occlusione, possono ridurre significativamente la precisione, anche se l'architettura del modello è solida.

Questo vale anche per il fine-tuning di un modello, in cui un modello preaddestrato viene addestrato ulteriormente su dati nuovi o aggiornati per adattarlo meglio a un caso d'uso o a un ambiente specifico. Poiché la precisione del modello dipende così tanto dai dati, gestirli correttamente diventa essenziale.

La gestione dei dataset include l'organizzazione, l'etichettatura e l'aggiornamento continuo dei dati, affinché rimangano accurati e pertinenti. Questo facilita il miglioramento delle prestazioni nel tempo, soprattutto quando si riaddestrano o si sottopongono a fine-tuning modelli con dati nuovi.

Come la qualità dei dataset influisce sull'affidabilità nel mondo reale#

I casi d'uso della computer vision, come i sistemi di monitoraggio della sicurezza, sono un ottimo esempio del motivo per cui una corretta gestione dei dati è fondamentale. Questi sistemi devono funzionare in modo affidabile in un'ampia gamma di condizioni reali, tra cui diversi ambienti di illuminazione, angolazioni delle telecamere, livelli di affollamento e occlusioni parziali.

Se i dati di addestramento non coprono queste variazioni o non sono abbastanza diversificati nel modo in cui gli oggetti appaiono in scene e condizioni diverse, il modello potrebbe avere difficoltà a rilevare gli oggetti con precisione. Ad esempio, un modello addestrato soprattutto su scene ben illuminate e prive di elementi di disturbo potrebbe avere prestazioni scarse in ambienti con poca luce o affollati. Nei sistemi di sicurezza, questo può causare eventi non rilevati o falsi allarmi.

Per evitarlo, è importante mantenere dataset non solo puliti e annotati accuratamente, ma anche ben bilanciati e aggiornati continuamente. Questo significa individuare le lacune nei dati, aggiungere nuovi esempi al variare delle condizioni e assicurarsi che classi e ambienti diversi siano rappresentati in modo uniforme.

Con un dataset più completo e strutturato, i modelli sono meglio equipaggiati per gestire la variabilità del mondo reale e produrre predizioni più affidabili.

Aspetti fondamentali della gestione dei dataset#

Quindi, come si presenta concretamente la gestione dei dataset? Comprende l'organizzazione, l'etichettatura e la manutenzione dei dati, affinché possano essere utilizzati efficacemente durante tutto il processo di sviluppo del modello.

L'organizzazione dei dati, ad esempio, include la strutturazione del dataset e la sua suddivisione in set di addestramento, convalida e test. Il set di addestramento serve a insegnare al modello, il set di convalida serve a monitorare le prestazioni e guidare gli aggiustamenti durante lo sviluppo, mentre il set di test serve a valutare le prestazioni del modello finale su dati completamente mai visti.

L'etichettatura, invece, consiste nell'annotare le immagini con dettagli come etichette di classe, bounding box o maschere di segmentazione. Poiché il modello apprende da queste annotazioni, precisione e coerenza sono fondamentali per aiutarlo ad apprendere pattern significativi e produrre predizioni affidabili.

Inoltre, la manutenzione del dataset comporta la revisione e l'aggiornamento dei dati nel tempo. Può includere la correzione degli errori di annotazione, la rimozione di dati di bassa qualità o duplicati e l'aggiunta di nuovi esempi per coprire casi mancanti o condizioni variabili.

Più in generale, la gestione dei dataset è un processo continuo. Quando i modelli vengono valutati e vengono raccolti nuovi dati, i dataset devono essere aggiornati per riflettere le condizioni del mondo reale e i casi limite. Monitorare questi aggiornamenti e confrontare versioni diverse aiuta i team a capire cosa sta migliorando le prestazioni e dove sono necessarie ulteriori modifiche.

Gestire i dataset con Ultralytics Platform#

Ultralytics Platform offre un flusso di lavoro strutturato per gestire i dataset in un unico ambiente, dalla preparazione dei dati all'esportazione. È progettato per supportare sia gli sviluppatori singoli sia i team, facilitando una gestione coerente dei dataset, sia quando lavori in autonomia sia quando collabori a più progetti.

Ogni fase è progettata per semplificare il modo in cui i dataset vengono organizzati, elaborati e utilizzati durante tutto il ciclo di vita dello sviluppo del modello. Riunendo questi passaggi in un unico luogo, la piattaforma riduce la frammentazione e rende più semplice mantenere la coerenza tra i flussi di lavoro.

Vediamo ora i passaggi principali e come la piattaforma supporta ciascuno di essi.

Caricare dataset su Ultralytics Platform#

Iniziare a lavorare con i dataset sulla piattaforma è flessibile, grazie a diversi modi per importare o riutilizzare i dati. Puoi caricare i tuoi dati oppure iniziare più rapidamente usando i dataset pubblici disponibili tramite la piattaforma. Puoi anche clonare dataset esistenti condivisi dalla community e svilupparli ulteriormente.

Le funzionalità community della piattaforma facilitano l'esplorazione e il riutilizzo del lavoro esistente. Avendo accesso ai dataset creati da altri utenti, inclusi milioni di immagini e annotazioni, puoi iniziare rapidamente senza dover raccogliere ed etichettare tutto da solo. Clonando un dataset ne crei una copia nel tuo workspace, che puoi modificare ed estendere preservando l'originale.

Per i caricamenti, la piattaforma supporta immagini singole, video e archivi di dataset come file ZIP, TAR o GZ. Supporta anche formati di dataset ampiamente utilizzati come YOLO e COCO, rendendo facile importare dataset e annotazioni esistenti senza conversioni aggiuntive. Inoltre, puoi caricare un dataset usando un file NDJSON esportato dalla piattaforma, così da ricreare o riutilizzare facilmente i dataset tra diversi progetti.

Dopo il caricamento, la piattaforma elabora i dati attraverso una pipeline strutturata. Questa include la convalida dei formati e delle dimensioni dei file, il ridimensionamento delle immagini quando necessario, l'analisi delle annotazioni e la generazione delle statistiche del dataset.

Ad esempio, i video vengono convertiti in fotogrammi per poter essere utilizzati nell'addestramento, mentre le immagini vengono ottimizzate e preparate per una consultazione e un'analisi più semplici. Dopo l'elaborazione, i dataset sono pronti per essere utilizzati per l'annotazione, l'analisi e l'addestramento dei modelli all'interno della piattaforma.

Annotazione dei dati su Ultralytics Platform#

Dopo il caricamento, i dataset possono essere esaminati e annotati direttamente all'interno della piattaforma. La piattaforma include strumenti integrati di annotazione delle immagini per numerose attività di computer vision, come il rilevamento degli oggetti, la segmentazione delle istanze, la stima della posa, il rilevamento di bounding box orientati (OBB) e la classificazione delle immagini.

Fig. 2. Utilizzo di Ultralytics Platform per l'etichettatura dei dati (Fonte)

Le annotazioni possono essere create manualmente usando questi strumenti oppure accelerate con funzionalità assistite dall'AI come l'annotazione intelligente basata su SAM. Con SAM puoi generare maschere, bounding box o box orientati interagendo con l'immagine, velocizzando il processo di etichettatura e mantenendo al contempo la precisione.

Analizzare la qualità dei dataset tramite Ultralytics Platform#

Oltre a preparare e annotare i dati, comprendere la qualità del dataset è essenziale per creare modelli di computer vision affidabili. Senza una visibilità chiara su fattori come la distribuzione delle classi, la qualità delle annotazioni, le suddivisioni del dataset e il modo in cui i dati sono rappresentati in condizioni diverse, può essere difficile individuare i problemi che influiscono sulle prestazioni del modello.

Ultralytics Platform include funzionalità integrate che aiutano ad analizzare i dataset in modo più efficace. Queste informazioni sono disponibili direttamente nell'interfaccia del dataset, in schede come Images, Classes e Charts.

Nella scheda Charts puoi visualizzare statistiche a livello di dataset, come la distribuzione delle suddivisioni (addestramento, convalida e test), la frequenza delle classi e le mappe di calore delle annotazioni, che mostrano dove compaiono gli oggetti nelle immagini.

La scheda Classes offre una suddivisione del numero di annotazioni per classe, facilitando l'individuazione degli squilibri tra le classi. La scheda Images mostra invece dettagli a livello di immagine, come dimensioni, numero di annotazioni e distribuzione delle etichette nelle singole immagini.

Queste informazioni facilitano l'identificazione di problemi come squilibri tra le classi, scenari mancanti o una distribuzione non uniforme dei dati. Ad esempio, potresti notare che alcune classi hanno pochissimi esempi oppure che la maggior parte delle annotazioni è concentrata in aree specifiche di un'immagine.

Oltre all'analisi dei dati, la piattaforma supporta la cura e l'aumento dei dataset, ovvero il perfezionamento dei dataset correggendo o rimuovendo dati problematici e creando variazioni dei dati esistenti per migliorare le prestazioni del modello. Questi miglioramenti possono essere apportati direttamente nella piattaforma aggiornando le annotazioni, aggiungendo nuovi dati o riorganizzando le suddivisioni del dataset in base alle informazioni emerse dall'analisi.

Esportare dataset da Ultralytics Platform#

Dopo che un dataset è stato preparato e convalidato, può essere esportato per essere utilizzato in ambienti diversi. Questo ti offre la flessibilità di usare i tuoi dati di computer vision dove preferisci, per addestrare modelli localmente, nel cloud o in altri strumenti e flussi di lavoro.

Ultralytics Platform supporta diversi formati di esportazione, tra cui YOLO, COCO e NDJSON, facilitando l'integrazione dei dataset in diversi flussi di lavoro e strumenti di addestramento.

Fig. 3. Esportazione di un dataset da Ultralytics Platform (Fonte)

L'esportazione di un dataset crea un'istantanea fissa dei dati in un momento specifico, incluse immagini, annotazioni e struttura. È utile perché i dataset spesso cambiano quando vengono aggiunti nuovi dati, aggiornate le annotazioni o modificate le suddivisioni. Esportando un'istantanea, puoi conservare la versione esatta del dataset utilizzata per una determinata esecuzione di addestramento.

Questo semplifica la riproduzione dei risultati in un secondo momento, poiché puoi addestrare nuovamente un modello sulla stessa configurazione dei dati e confrontare le prestazioni tra diverse versioni del dataset. Ad esempio, puoi valutare se l'aggiunta di nuove immagini o la correzione delle annotazioni migliora effettivamente la precisione del modello, invece di ipotizzare cosa sia cambiato.

Le esportazioni vengono gestite in modo asincrono e, quando sono pronte, i dataset possono essere scaricati e utilizzati in ambienti di addestramento locali, cloud o offline.

Migliorare la qualità dei dataset attraverso iterazioni su Ultralytics Platform#

Nei flussi di lavoro di machine learning e deep learning, la gestione dei dataset continua anche dopo la distribuzione, perché i dati del mondo reale spesso differiscono da quelli utilizzati durante l'addestramento.

Quando i modelli incontrano nuovi input, diventano più evidenti le lacune nel dataset, come condizioni mancanti quali ambienti con poca luce, diverse angolazioni della telecamera, occlusioni o scene affollate, nonché gli errori di annotazione, rendendo necessario perfezionare i dati nel tempo.

Esistono diversi modi per migliorare un dataset. Puoi aggiungere nuove immagini o video per coprire condizioni mancanti, come ambienti con poca luce, diverse angolazioni della telecamera, occlusioni o scene affollate, contribuendo a ridurre i punti ciechi nei dati.

Allo stesso tempo, assicurarti che le annotazioni siano accurate e coerenti, ad esempio con oggetti etichettati correttamente e bounding box o maschere precise, aiuta il modello ad apprendere pattern più affidabili.

Questo segue in genere un ciclo semplice: addestra il modello, valuta i risultati, individua gli errori, migliora il dataset e riaddestra. Ogni passaggio aiuta a evidenziare problemi come annotazioni errate, dati mancanti o casi sottorappresentati.

Supponiamo che tu stia lavorando a un sistema di monitoraggio in tempo reale degli scaffali di un negozio, utilizzato per rilevare i prodotti nei punti vendita. Le prime versioni del dataset potrebbero non includere determinati tipi di prodotto, condizioni di illuminazione o disposizioni affollate degli scaffali. Durante la valutazione, potresti notare che il modello fatica a rilevare gli articoli in queste situazioni.

Per migliorare le prestazioni, puoi raccogliere nuove immagini che coprano questi scenari mancanti e aggiornare le annotazioni dove necessario. Nel tempo, ripetere questo processo aiuta il modello a diventare più preciso e affidabile nelle condizioni del mondo reale.

Ultralytics Platform supporta questo flusso di lavoro collegando gli aggiornamenti dei dataset all'addestramento e alla valutazione. Grazie al monitoraggio integrato degli esperimenti e alle metriche delle prestazioni, diventa più facile controllare i progressi e migliorare continuamente i dataset nel tempo.

Monitorare le modifiche ai dataset usando Ultralytics Platform#

Abbiamo brevemente illustrato come i dataset evolvono nel tempo nell'ambito del processo di sviluppo del modello. Quando vengono aggiunti nuovi dati, perfezionate le annotazioni e aggiornate le classi, tenere traccia di queste modifiche diventa fondamentale per mantenere la qualità dei dati e garantire prestazioni coerenti del modello.

Ecco alcune delle principali funzionalità di Ultralytics Platform che supportano il monitoraggio dei dataset e il controllo delle versioni:

• Versioning dei dataset: puoi creare versioni fisse dei dataset come istantanee NDJSON. Ogni versione acquisisce dettagli fondamentali come il numero di immagini, il numero di classi, il numero di annotazioni e le dimensioni del dataset in un momento specifico. Queste versioni vengono archiviate e possono essere scaricate in seguito, facilitando la riproduzione degli esperimenti e il confronto dei risultati tra diversi stati del dataset.
• Scheda Versions: tutte le versioni dei dataset sono organizzate nella scheda Versions, dove puoi visualizzare la cronologia delle versioni, aggiungere descrizioni alle modifiche e monitorare l'evoluzione del dataset nel tempo.
• Collegamento ai modelli: la scheda Models mostra tutti i modelli addestrati su un dataset, incluse metriche come mAP e i dettagli dell'addestramento. Le versioni dei dataset sono collegate alle esecuzioni di addestramento, aiutandoti a capire in che modo le modifiche ai dati influiscono sulle prestazioni del modello.
• Scheda Errors: la scheda Errors evidenzia i file che hanno avuto esito negativo durante l'elaborazione, insieme ai dettagli degli errori e ai suggerimenti. Questo ti consente di individuare e correggere problemi come file danneggiati o formati non supportati prima dell'addestramento.
• Interfaccia del dataset (schede Images e Classes): queste viste ti consentono di sfogliare le immagini, esaminare le annotazioni, gestire le etichette delle classi e analizzare la distribuzione delle classi. Funzionalità come il filtraggio, l'ordinamento e l'identificazione delle immagini non annotate semplificano il monitoraggio della qualità del dataset nel tempo.
• Statistiche e grafici: le visualizzazioni integrate dei dati, come la distribuzione delle suddivisioni, la frequenza delle classi e le mappe di calore delle annotazioni, aiutano a monitorare i cambiamenti nella distribuzione dei dati e a identificare gli squilibri durante l'evoluzione del dataset.

Fig. 4. Panoramica dell'analisi della distribuzione delle classi di un dataset su Ultralytics Platform (Fonte)

Collegare i dataset all'addestramento e alla distribuzione in Ultralytics Platform#

Ultralytics Platform collega le diverse fasi dello sviluppo dei modelli di AI in un'unica pipeline. Questo semplifica il passaggio dai dati grezzi alle applicazioni di vision AI pronte per la produzione.

Dopo essere stati preparati e annotati, i dataset possono essere utilizzati per addestrare modelli di computer vision, come Ultralytics YOLO26, direttamente nella piattaforma. Durante l'addestramento, puoi monitorare le metriche delle prestazioni, tenere traccia degli esperimenti e valutare quanto bene il modello sta apprendendo usando le dashboard integrate.

Fig. 5. Panoramica delle metriche di addestramento del modello su Ultralytics Platform (Fonte)

Dopo l'addestramento, i modelli possono essere testati su nuove immagini direttamente nel browser per valutare le predizioni e individuare aree di miglioramento prima della distribuzione. Quando il modello offre buone prestazioni, può essere distribuito in produzione.

La piattaforma supporta l'esportazione dei modelli in diversi formati o la loro distribuzione tramite servizi di inferenza ed endpoint dedicati, consentendo loro di funzionare in ambienti diversi.

Dopo la distribuzione, gli strumenti di monitoraggio integrati aiutano a tenere traccia delle prestazioni del sistema nel tempo, incluse le metriche relative all'utilizzo e al comportamento del modello. Questo rende più semplice mantenere e migliorare i sistemi di vision AI nelle applicazioni del mondo reale.

Best practice per la gestione dei dataset con Ultralytics Platform#

Ecco alcuni fattori fondamentali da tenere presenti quando gestisci i tuoi dataset usando Ultralytics Platform:

• Usa i filtri per trovare le lacune: individua i dati senza etichette o sottorappresentati usando gli strumenti di filtraggio, così da completare più facilmente le annotazioni e migliorare la copertura.
• Correggi presto gli errori: usa la scheda Errors per il controllo qualità e individua caricamenti non riusciti, file danneggiati o formati non supportati prima dell'addestramento.
• Aggiorna continuamente i dataset: aggiungi nuovi dati, correggi le annotazioni e includi i casi limite quando si presentano. Questo aiuta a migliorare la copertura e garantisce che i modelli funzionino in modo affidabile negli scenari reali.
• Gestisci con attenzione le suddivisioni del dataset: assicurati che ci sia un buon equilibrio tra i set di addestramento, convalida e test. Puoi riorganizzare manualmente le suddivisioni o usare la ridistribuzione automatica quando necessario.

Per saperne di più su Ultralytics Platform, consulta la documentazione ufficiale di Ultralytics.

Punti chiave#

Con la crescita dei progetti di computer vision, gestire efficacemente i dataset diventa importante tanto quanto sviluppare i modelli. Un approccio strutturato alla gestione dei dataset aiuta a migliorare la qualità dei dati, semplificare i flussi di lavoro e supportare prestazioni migliori dei modelli nel tempo.

Ultralytics Platform semplifica questo processo riunendo la gestione dei dataset, l'addestramento e la distribuzione in un unico flusso di lavoro. Adottando un approccio strutturato alla gestione dei dataset, i team possono ridurre la complessità, migliorare l'efficienza e creare sistemi di computer vision più scalabili e affidabili.

Unisciti alla nostra community in crescita ed esplora il nostro repository GitHub per trovare risorse sull'AI. Per sviluppare oggi con la vision AI, dai un'occhiata alle nostre opzioni di licenza. Scopri come l'AI nell'agricoltura sta trasformando l'attività agricola e come la vision AI nel settore sanitario sta plasmando il futuro visitando le nostre pagine dedicate alle soluzioni.