Gestione intelligente dei dataset per la computer vision con Ultralytics Platform

L’IA per la visione artificiale, o computer vision, ha fatto molta strada dai suoi esordi, evolvendosi dalla ricerca sperimentale a una tecnologia fondamentale per applicazioni concrete. Oggi gli appassionati di IA possono creare modelli efficaci per attività come il rilevamento degli oggetti e la segmentazione di istanze usando strumenti e framework accessibili.

Tuttavia, quando queste applicazioni passano dalla sperimentazione alla produzione, la gestione dei dataset rimane una sfida cruciale, spesso trascurata. Con la crescita delle dimensioni e della complessità dei dataset di computer vision, i team spesso faticano a mantenere annotazioni coerenti, tenere traccia delle modifiche tra le versioni e garantire la qualità complessiva dei dati.

Anche i modelli più all’avanguardia possono avere prestazioni scarse in ambienti reali se i dati usati per addestrarli sono incompleti, sbilanciati o gestiti male. Questo divario crescente tra le prestazioni in fase di sviluppo e l’affidabilità nel mondo reale rende necessario un approccio più strutturato alla gestione dei dataset.

Un altro limite comune è che raccolta dei dati, annotazione e addestramento vengono spesso gestiti con strumenti separati. Un flusso di lavoro frammentato rende più difficile gestire i dataset in modo efficiente, aumenta il rischio di incoerenze e rallenta le iterazioni.

Per risolvere i colli di bottiglia dell’IA per la visione artificiale, come la gestione dei dataset e i flussi di lavoro frammentati, abbiamo lanciato di recente Ultralytics Platform. È un ambiente di lavoro end-to-end che riunisce gestione dei dataset, annotazione, addestramento, distribuzione e monitoraggio in un unico flusso di lavoro integrato.

Collegando ogni fase del ciclo di vita della computer vision, diventa più facile tenere traccia delle modifiche ai dataset, confrontare le prestazioni tra le versioni e perfezionare continuamente i dati per ottenere risultati migliori.

Fig. 1. Esempio di visualizzazione delle immagini del dataset in Ultralytics Platform (Fonte)

In questo articolo vedremo come Ultralytics Platform ti aiuta a tenere traccia dei dataset, confrontarli e migliorarli per creare modelli di computer vision più affidabili. Iniziamo!

L’importanza della gestione dei dataset nella computer vision#

Le prestazioni di un modello di computer vision sono strettamente legate ai dati su cui viene addestrato. L’accuratezza del modello, ovvero la frequenza con cui le previsioni sono corrette, dipende non solo dall’algoritmo, ma anche da quanto il dataset rappresenta bene le condizioni del mondo reale.

In parole semplici, un modello apprende direttamente i pattern dai dati, quindi eventuali lacune, distorsioni o incoerenze nel dataset possono influenzare le sue previsioni. In altre parole, dati di scarsa qualità, annotazioni errate o una copertura limitata delle variazioni delle immagini nel mondo reale, come diverse condizioni di illuminazione, angolazioni degli oggetti, sfondi o livelli di occlusione, possono ridurre notevolmente l’accuratezza, anche se l’architettura del modello è solida.

Questo vale anche quando si perfeziona un modello, ovvero quando un modello preaddestrato viene addestrato ulteriormente su dati nuovi o aggiornati per adattarlo meglio a un caso d’uso o a un ambiente specifico. Poiché l’accuratezza del modello dipende così tanto dai dati, gestirli correttamente è essenziale.

La gestione dei dataset comprende l’organizzazione, l’etichettatura e l’aggiornamento continuo dei dati per mantenerli accurati e pertinenti. In questo modo è più facile migliorare le prestazioni nel tempo, soprattutto quando si riaddestrano o perfezionano i modelli con dati nuovi.

In che modo la qualità dei dataset influisce sull’affidabilità nel mondo reale#

I casi d’uso della computer vision, come i sistemi di monitoraggio della sicurezza, sono un ottimo esempio dell’importanza di una corretta gestione dei dati. Questi sistemi devono funzionare in modo affidabile in diverse condizioni reali, tra cui varie condizioni di illuminazione, angolazioni della telecamera, livelli di affollamento e occlusioni parziali.

Se i dati di addestramento non coprono queste variazioni o non sono abbastanza diversificati rispetto all’aspetto degli oggetti in scene e condizioni diverse, il modello potrebbe faticare a rilevare gli oggetti con precisione. Per esempio, un modello addestrato soprattutto su scene ben illuminate e prive di ostacoli potrebbe funzionare male in ambienti poco illuminati o affollati. Nei sistemi di sicurezza, questo può causare eventi non rilevati o falsi allarmi.

Per evitarlo, è importante mantenere dataset non solo puliti e annotati con precisione, ma anche ben bilanciati e aggiornati continuamente. Ciò significa individuare le lacune nei dati, aggiungere esempi nuovi al cambiare delle condizioni e assicurarsi che le diverse classi e gli ambienti siano rappresentati in modo equilibrato.

Con un dataset più completo e strutturato, i modelli sono più preparati a gestire la variabilità del mondo reale e a produrre previsioni più affidabili.

Aspetti fondamentali della gestione dei dataset#

Quindi, in cosa consiste davvero la gestione dei dataset? Comprende l’organizzazione, l’etichettatura e la manutenzione dei dati, in modo da poterli usare efficacemente durante l’intero processo di sviluppo del modello.

Per esempio, organizzare i dati significa strutturare il dataset e suddividerlo in set di addestramento, convalida e test. Il set di addestramento serve a insegnare al modello, quello di convalida a monitorarne le prestazioni e guidare gli adeguamenti durante lo sviluppo, mentre il set di test serve a valutare le prestazioni del modello finale su dati mai visti prima.

L’etichettatura, invece, consiste nell’annotare le immagini con dettagli come etichette di classe, riquadri di delimitazione o maschere di segmentazione. Poiché il modello apprende da queste annotazioni, accuratezza e coerenza sono fondamentali per aiutarlo ad apprendere pattern significativi e formulare previsioni affidabili.

Inoltre, mantenere il dataset significa rivedere e aggiornare i dati nel tempo. Ciò può includere la correzione degli errori di annotazione, la rimozione di dati di bassa qualità o duplicati e l’aggiunta di nuovi esempi per coprire casi mancanti o condizioni in evoluzione.

Più in generale, la gestione dei dataset è un processo continuo. Man mano che i modelli vengono valutati e si raccolgono nuovi dati, i dataset devono essere aggiornati per rispecchiare le condizioni del mondo reale e i casi limite. Tenere traccia di questi aggiornamenti e confrontare le diverse versioni aiuta i team a capire cosa migliora le prestazioni e dove sono necessari ulteriori cambiamenti.

Gestione dei dataset con Ultralytics Platform#

Ultralytics Platform offre un flusso di lavoro strutturato per gestire i dataset in un unico ambiente, dalla preparazione dei dati all’esportazione. È pensata per supportare sia i singoli sviluppatori sia i team, semplificando la gestione coerente dei dataset, che tu lavori in autonomia o collabori a diversi progetti.

Ogni fase è progettata per semplificare l’organizzazione, l’elaborazione e l’uso dei dataset durante tutto il ciclo di vita dello sviluppo del modello. Riunendo questi passaggi in un unico ambiente, la piattaforma riduce la frammentazione e semplifica il mantenimento della coerenza tra i flussi di lavoro.

Vediamo ora i passaggi fondamentali e come la piattaforma supporta ciascuno di essi.

Caricamento dei dataset su Ultralytics Platform#

La piattaforma offre diverse modalità flessibili per iniziare a lavorare con i dataset e importare o riutilizzare i dati. Puoi caricare i tuoi dati oppure iniziare più rapidamente usando i dataset pubblici disponibili sulla piattaforma. Puoi anche clonare dataset esistenti condivisi dalla community e ampliarli.

Le funzionalità della community della piattaforma semplificano l’esplorazione e il riutilizzo dei lavori esistenti. Accedendo ai dataset creati da altri utenti, che includono milioni di immagini e annotazioni, puoi iniziare subito senza dover raccogliere ed etichettare tutto da solo. Clonando un dataset ne crei una copia nel tuo spazio di lavoro, che puoi modificare e ampliare preservando l’originale.

Per i caricamenti, la piattaforma supporta immagini singole, video e archivi di dataset, come file ZIP, TAR o GZ. Supporta anche formati di dataset molto diffusi, come YOLO e COCO, così puoi importare facilmente dataset e annotazioni esistenti senza conversioni aggiuntive. Inoltre, puoi caricare un dataset usando un file NDJSON esportato dalla piattaforma, così puoi ricreare o riutilizzare facilmente i dataset in diversi progetti.

Dopo il caricamento, la piattaforma elabora i dati tramite una pipeline strutturata. Questa comprende la convalida dei formati e delle dimensioni dei file, il ridimensionamento delle immagini quando necessario, l’analisi delle annotazioni e la generazione di statistiche sul dataset.

Per esempio, i video vengono convertiti in fotogrammi per poterli usare nell’addestramento, mentre le immagini vengono ottimizzate e preparate per facilitarne la consultazione e l’analisi. Una volta elaborati, i dataset sono pronti per essere annotati, analizzati e usati per addestrare i modelli direttamente sulla piattaforma.

Annotazione dei dati su Ultralytics Platform#

Dopo il caricamento, puoi esaminare e annotare i dataset direttamente sulla piattaforma. La piattaforma include strumenti integrati di annotazione delle immagini per diverse attività di computer vision, come il rilevamento degli oggetti, la segmentazione di istanze, la stima della posa, il rilevamento di riquadri di delimitazione orientati (OBB) e la classificazione delle immagini.

Fig. 2. Etichettatura dei dati con Ultralytics Platform (Fonte)

Puoi creare le annotazioni manualmente con questi strumenti oppure velocizzare il processo con funzionalità assistite dall’IA, come l’annotazione intelligente basata su SAM. Con SAM puoi generare maschere, riquadri di delimitazione o riquadri orientati interagendo con l’immagine: in questo modo velocizzi l’etichettatura mantenendo l’accuratezza.

Analisi della qualità dei dataset con Ultralytics Platform#

Oltre a preparare e annotare i dati, comprenderne la qualità è essenziale per creare modelli di computer vision affidabili. Senza una visione chiara di fattori come la distribuzione delle classi, la qualità delle annotazioni, le suddivisioni del dataset e la rappresentazione dei dati nelle diverse condizioni, può essere difficile individuare i problemi che incidono sulle prestazioni del modello.

Ultralytics Platform include funzionalità integrate che aiutano ad analizzare i dataset in modo più efficace. Queste informazioni sono disponibili direttamente nell’interfaccia del dataset, in schede come Immagini, Classi e Grafici.

Nella scheda Grafici puoi consultare statistiche a livello di dataset, come la distribuzione delle suddivisioni (addestramento, convalida e test), la frequenza delle classi e le mappe di calore delle annotazioni, che mostrano dove compaiono gli oggetti nelle immagini.

La scheda Classi offre una suddivisione del numero di annotazioni per classe, semplificando l’individuazione degli squilibri tra classi. La scheda Immagini, invece, mostra dettagli a livello di immagine, come dimensioni, numero di annotazioni e distribuzione delle etichette nelle singole immagini.

Queste informazioni semplificano l’individuazione di problemi come squilibri tra classi, scenari mancanti o distribuzioni dei dati non uniformi. Per esempio, potresti notare che alcune classi hanno pochissimi esempi oppure che la maggior parte delle annotazioni è concentrata in aree specifiche di un’immagine.

Oltre all’analisi dei dati, la piattaforma supporta la selezione e l’aumento dei dati, ossia il perfezionamento dei dataset tramite la correzione o la rimozione di dati problematici e la creazione di varianti dei dati esistenti per migliorare le prestazioni del modello. Puoi apportare questi miglioramenti direttamente sulla piattaforma aggiornando le annotazioni, aggiungendo nuovi dati o riorganizzando le suddivisioni del dataset in base ai risultati dell’analisi.

Esportazione dei dataset da Ultralytics Platform#

Una volta preparato e convalidato, puoi esportare un dataset per usarlo in ambienti diversi. In questo modo puoi usare i tuoi dati di computer vision dove preferisci, che tu voglia addestrare modelli localmente, nel cloud o con altri strumenti e flussi di lavoro.

Ultralytics Platform supporta diversi formati di esportazione, tra cui YOLO, COCO e NDJSON, semplificando l’integrazione dei dataset in vari flussi di lavoro e strumenti di addestramento.

Fig. 3. Esportazione di un dataset da Ultralytics Platform (Fonte)

Esportare un dataset crea un’istantanea fissa dei dati in un momento specifico, incluse immagini, annotazioni e struttura. È utile perché i dataset spesso cambiano quando si aggiungono nuovi dati, si aggiornano le annotazioni o si modificano le suddivisioni. Esportando un’istantanea puoi conservare la versione esatta del dataset usata per una determinata sessione di addestramento.

In questo modo è più semplice riprodurre i risultati in seguito, perché puoi addestrare di nuovo un modello con la stessa configurazione dei dati e confrontare le prestazioni tra diverse versioni del dataset. Per esempio, puoi verificare se l’aggiunta di nuove immagini o la correzione delle annotazioni migliora davvero l’accuratezza del modello, invece di dover indovinare cosa è cambiato.

Le esportazioni vengono elaborate in modo asincrono e, una volta pronte, puoi scaricare i dataset e usarli in ambienti di addestramento locali, cloud o offline.

Miglioramento della qualità dei dataset con le iterazioni su Ultralytics Platform#

Nei flussi di lavoro di machine learning e deep learning, la gestione dei dataset prosegue anche dopo la distribuzione, perché spesso i dati del mondo reale differiscono da quelli usati durante l’addestramento.

Quando i modelli ricevono nuovi input, diventano più evidenti le lacune nel dataset, come l’assenza di condizioni quali ambienti poco illuminati, diverse angolazioni della telecamera, occlusioni o scene affollate, nonché gli errori di annotazione. Per questo è necessario perfezionare i dati nel tempo.

Esistono diversi modi per migliorare un dataset. Puoi aggiungere nuove immagini o video per coprire condizioni mancanti, come ambienti poco illuminati, diverse angolazioni della telecamera, occlusioni o scene affollate, contribuendo così a ridurre i punti ciechi nei dati.

Allo stesso tempo, assicurarsi che le annotazioni siano accurate e coerenti, per esempio etichettando correttamente gli oggetti e usando riquadri di delimitazione o maschere precisi, aiuta il modello ad apprendere pattern più affidabili.

Di solito si segue un semplice ciclo: addestra il modello, valuta i risultati, individua gli errori, migliora il dataset e ripeti l’addestramento. Ogni passaggio aiuta a individuare problemi come annotazioni errate, dati mancanti o casi sottorappresentati.

Immagina di lavorare a un sistema di monitoraggio in tempo reale degli scaffali di un negozio, usato per rilevare i prodotti. Le prime versioni del dataset potrebbero non includere alcuni tipi di prodotto, condizioni di illuminazione o configurazioni di scaffali affollati. Durante la valutazione, potresti notare che il modello fatica a rilevare gli articoli in queste situazioni.

Per migliorare le prestazioni, puoi raccogliere nuove immagini che coprano questi scenari mancanti e aggiornare le annotazioni quando necessario. Ripetere questo processo nel tempo aiuta il modello a diventare più preciso e affidabile nelle condizioni reali.

Ultralytics Platform supporta questo flusso di lavoro collegando gli aggiornamenti dei dataset all’addestramento e alla valutazione. Grazie al monitoraggio degli esperimenti e alle metriche delle prestazioni integrati, è più facile tenere traccia dei progressi e migliorare continuamente i dataset nel tempo.

Monitoraggio delle modifiche ai dataset con Ultralytics Platform#

Abbiamo accennato brevemente a come i dataset evolvono nel tempo durante lo sviluppo dei modelli. Quando si aggiungono nuovi dati, si perfezionano le annotazioni e si aggiornano le classi, tenere traccia di queste modifiche diventa fondamentale per mantenere la qualità dei dati e garantire prestazioni coerenti del modello.

Ecco alcune delle principali funzionalità di Ultralytics Platform che supportano il monitoraggio dei dataset e il controllo delle versioni:

• Controllo delle versioni dei dataset: puoi creare versioni fisse dei dataset sotto forma di istantanee NDJSON. Ogni versione acquisisce dettagli importanti, come il numero di immagini, classi e annotazioni e le dimensioni del dataset in un momento specifico. Le versioni vengono archiviate e possono essere scaricate in seguito, semplificando la riproduzione degli esperimenti e il confronto dei risultati tra diversi stati del dataset.
• Scheda Versioni: tutte le versioni del dataset sono organizzate nella scheda Versioni, dove puoi consultare la cronologia delle versioni, aggiungere descrizioni alle modifiche e monitorare l’evoluzione del dataset nel tempo.
• Collegamento ai modelli: la scheda Modelli mostra tutti i modelli addestrati su un dataset, incluse metriche come mAP e i dettagli dell’addestramento. Le versioni dei dataset sono associate alle sessioni di addestramento, aiutandoti a capire in che modo le modifiche ai dati influiscono sulle prestazioni del modello.
• Scheda Errori: la scheda Errori evidenzia i file la cui elaborazione non è riuscita, insieme ai dettagli degli errori e ai suggerimenti. Puoi così individuare e risolvere problemi come file danneggiati o formati non supportati prima dell’addestramento.
• Interfaccia del dataset (schede Immagini e Classi): queste viste ti consentono di sfogliare le immagini, esaminare le annotazioni, gestire le etichette delle classi e analizzare la distribuzione delle classi. Funzionalità come il filtraggio, l’ordinamento e l’individuazione delle immagini non annotate semplificano il monitoraggio della qualità del dataset nel tempo.
• Statistiche e grafici: le visualizzazioni dei dati integrate, come la distribuzione delle suddivisioni, la frequenza delle classi e le mappe di calore delle annotazioni, aiutano a monitorare i cambiamenti nella distribuzione dei dati e a individuare gli squilibri man mano che il dataset evolve.

Fig. 4. Esempio di analisi della distribuzione delle classi di un dataset su Ultralytics Platform (Fonte)

Collegamento dei dataset all’addestramento e alla distribuzione in Ultralytics Platform#

Ultralytics Platform collega le diverse fasi dello sviluppo dei modelli di IA in un’unica pipeline. In questo modo semplifica il passaggio dai dati grezzi ad applicazioni di IA per la visione artificiale pronte per la produzione.

Una volta preparati e annotati, i dataset possono essere usati per addestrare modelli di computer vision, come Ultralytics YOLO26, direttamente sulla piattaforma. Durante l’addestramento puoi monitorare le metriche delle prestazioni, tenere traccia degli esperimenti e valutare l’apprendimento del modello tramite dashboard integrate.

Fig. 5. Esempio di visualizzazione delle metriche di addestramento del modello su Ultralytics Platform (Fonte)

Dopo l’addestramento, puoi testare i modelli su nuove immagini direttamente nel browser per valutare le previsioni e individuare gli aspetti da migliorare prima della distribuzione. Quando il modello offre buone prestazioni, puoi distribuirlo in produzione.

La piattaforma supporta l’esportazione dei modelli in diversi formati o la loro distribuzione tramite servizi di inferenza ed endpoint dedicati, consentendone l’esecuzione in ambienti diversi.

Dopo la distribuzione, gli strumenti di monitoraggio integrati aiutano a tenere traccia delle prestazioni del sistema nel tempo, comprese le metriche relative all’utilizzo e al comportamento del modello. In questo modo è più semplice mantenere e migliorare i sistemi di IA per la visione artificiale nelle applicazioni del mondo reale.

Buone pratiche per la gestione dei dataset con Ultralytics Platform#

Ecco alcuni aspetti importanti da tenere a mente quando gestisci i tuoi dataset con Ultralytics Platform:

• Usa i filtri per individuare le lacune: individua i dati senza etichetta o sottorappresentati con gli strumenti di filtraggio, così sarà più semplice completare le annotazioni e migliorare la copertura.
• Correggi subito gli errori: usa la scheda Errori per il controllo qualità e individua caricamenti non riusciti, file danneggiati o formati non supportati prima dell’addestramento.
• Aggiorna continuamente i dataset: aggiungi nuovi dati, correggi le annotazioni e includi i casi limite man mano che emergono. In questo modo migliori la copertura e garantisci che i modelli funzionino in modo affidabile in scenari reali.
• Gestisci con cura le suddivisioni dei dataset: assicurati che i set di addestramento, convalida e test siano ben bilanciati. Quando necessario, puoi riorganizzare manualmente le suddivisioni o usare la ridistribuzione automatica.

Per saperne di più su Ultralytics Platform, consulta la documentazione ufficiale di Ultralytics.

Punti chiave#

Con la crescita dei progetti di computer vision, gestire i dataset in modo efficace diventa importante quanto sviluppare i modelli. Un approccio strutturato alla gestione dei dataset aiuta a migliorare la qualità dei dati, semplificare i flussi di lavoro e sostenere prestazioni migliori dei modelli nel tempo.

Ultralytics Platform semplifica questo processo riunendo la gestione dei dataset, l’addestramento e la distribuzione in un unico flusso di lavoro. Adottando un approccio strutturato alla gestione dei dataset, i team possono ridurre la complessità, migliorare l’efficienza e creare sistemi di computer vision più scalabili e affidabili.

Unisciti alla nostra community in crescita ed esplora il nostro repository GitHub per trovare risorse sull’IA. Per iniziare oggi stesso a sviluppare con l’IA per la visione artificiale, scopri le nostre opzioni di licenza. Scopri come l’IA in agricoltura sta trasformando il settore agricolo e come l’IA per la visione artificiale in ambito sanitario sta plasmando il futuro, visitando le nostre pagine dedicate alle soluzioni.