L'importanza di dataset di visione artificiale di alta qualità

Nel 2019, l'adozione dell'intelligenza artificiale (AI) nelle imprese era cresciuta del 270% nei quattro anni precedenti. Questa crescita ha accelerato la rapida integrazione delle applicazioni di visione artificiale (CV), ovvero sistemi di IA che consentono alle macchine di interpretare e analizzare i dati visivi del mondo circostante. Queste applicazioni alimentano un'ampia gamma di tecnologie: dal rilevamento delle malattie nelle immagini mediche e la guida autonoma all'ottimizzazione del traffico nei trasporti e al potenziamento della sorveglianza nei sistemi di sicurezza.

La precisione e le prestazioni dei modelli di visione artificiale all'avanguardia, come Ultralytics YOLO11, hanno contribuito a questa crescita. Tuttavia, le prestazioni di questi modelli dipendono in larga misura dalla qualità e dalla quantità dei dati utilizzati per addestrarli, validarli e testarli.

Senza dati di alta qualità sufficienti, può essere difficile addestrare e ottimizzare efficacemente i modelli di visione artificiale per soddisfare gli standard del settore. In questo articolo esamineremo il ruolo fondamentale dei dati nella creazione di modelli di visione artificiale e l'importanza della loro qualità. Vedremo anche alcuni suggerimenti per creare set di dati di alta qualità mentre lavori all'addestramento di modelli personalizzati di visione artificiale.

Il ruolo dei dati nella creazione di modelli di visione artificiale#

I modelli di visione artificiale possono essere addestrati su grandi set di dati di immagini e video per riconoscere schemi e formulare previsioni accurate. Per esempio, un modello di rilevamento degli oggetti può essere addestrato su centinaia o persino migliaia di immagini e video etichettati per identificare gli oggetti con precisione.

La qualità e la quantità di questi dati di addestramento influiscono sulle prestazioni del modello.

Poiché i modelli di visione artificiale possono imparare solo dai dati a cui sono esposti, fornire dati di alta qualità ed esempi diversificati è fondamentale per il loro successo. Senza dataset sufficienti e diversificati, questi modelli potrebbero non riuscire ad analizzare accuratamente gli scenari del mondo reale e produrre risultati distorti o imprecisi.

Ecco perché è importante comprendere chiaramente il ruolo dei dati nell'addestramento dei modelli. Prima di esaminare le caratteristiche dei dati di alta qualità, scopriamo quali tipi di dataset potresti incontrare durante l'addestramento dei modelli di visione artificiale.

Tipi di dataset per la visione artificiale#

Nella visione artificiale, i dati utilizzati durante l'addestramento sono suddivisi in tre categorie, ciascuna con uno scopo specifico. Ecco una rapida panoramica:

• Dati di addestramento: è il dataset principale usato per addestrare il modello da zero. È composto da immagini e video con etichette predefinite, che consentono al modello di apprendere schemi e riconoscere oggetti.
• Dati di convalida: si tratta di un insieme di dati usato per verificare le prestazioni del modello durante l'addestramento. Aiuta a garantire che il modello funzioni correttamente su dati nuovi e mai visti prima.
• Dati di test: un insieme di dati separato, utilizzato per valutare le prestazioni finali di un modello addestrato. Serve a verificare quanto bene il modello formula previsioni su dati completamente nuovi e mai visti.

Fig. 1 Come vengono classificati i dati nella visione artificiale.

Le 5 caratteristiche principali dei dataset di visione artificiale di alta qualità#

Indipendentemente dal tipo di dataset, i dati di alta qualità sono essenziali per creare modelli di visione artificiale efficaci. Ecco alcune delle caratteristiche principali che rendono un dataset di alta qualità:

• Precisione: idealmente, i dati dovrebbero rispecchiare fedelmente le situazioni reali e includere etichette corrette. Per esempio, quando si applica l'IA per la visione in ambito sanitario, le immagini radiografiche o le scansioni devono essere etichettate correttamente affinché il modello possa imparare nel modo giusto.
• Diversità: un buon dataset include una varietà di esempi che aiutano il modello a funzionare bene in situazioni diverse. Per esempio, se un modello sta imparando a rilevare le auto, il dataset dovrebbe includere auto di forme, dimensioni e colori diversi, in varie condizioni (giorno, notte, pioggia e così via).
• Coerenza: i dataset di alta qualità seguono un formato uniforme e standard qualitativi omogenei. Per esempio, le immagini dovrebbero avere risoluzioni simili (non alcune sfocate e altre nitide) e seguire le stesse fasi di pre-elaborazione, come il ridimensionamento o la regolazione dei colori, affinché il modello apprenda da informazioni coerenti.
• Tempestività: i set di dati aggiornati regolarmente possono tenere il passo con i cambiamenti del mondo reale. Supponiamo che tu stia addestrando un modello per rilevare tutti i tipi di veicoli. Se ne vengono introdotti di nuovi, come i monopattini elettrici, dovrebbero essere aggiunti al set di dati per mantenere il modello preciso e aggiornato.
• Privacy: se un set di dati include informazioni sensibili, come foto di persone, deve rispettare le norme sulla privacy. Tecniche come l'anonimizzazione (rimozione dei dettagli identificativi) e il mascheramento dei dati (occultamento delle parti sensibili) possono tutelare la privacy e consentire comunque di usare i dati in sicurezza.

Problemi causati da dati di bassa qualità#

Comprendere le caratteristiche dei dati di alta qualità è importante, ma è altrettanto fondamentale considerare come i dati di bassa qualità possono influire sui tuoi modelli di visione artificiale.

Problemi come l'overfitting e l'underfitting possono compromettere gravemente le prestazioni del modello. L'overfitting si verifica quando un modello funziona bene sui dati di addestramento, ma incontra difficoltà con dati nuovi o mai visti prima, spesso perché il dataset manca di varietà. L'underfitting, invece, si verifica quando il dataset non fornisce esempi sufficienti o di qualità adeguata perché il modello possa apprendere schemi significativi. Per evitare questi problemi, è essenziale mantenere dataset diversificati, imparziali e di alta qualità, così da garantire prestazioni affidabili sia durante l'addestramento sia nelle applicazioni del mondo reale.

Fig. 2 Underfitting e overfitting a confronto.

I dati di bassa qualità possono anche rendere difficile per i modelli estrarre e apprendere schemi significativi dai dati grezzi, un processo noto come estrazione delle caratteristiche. Se il set di dati è incompleto, irrilevante o poco diversificato, il modello potrebbe non funzionare efficacemente.

A volte, i dati di bassa qualità sono il risultato di una semplificazione dei dati stessi. Semplificare i dati può aiutare a risparmiare spazio di archiviazione e ridurre i costi di elaborazione, ma un'eccessiva semplificazione può eliminare dettagli importanti per il corretto funzionamento del modello. Per questo è fondamentale mantenere dati di alta qualità durante l'intero processo di visione artificiale, dalla raccolta alla distribuzione. Come regola generale, i set di dati dovrebbero includere le caratteristiche essenziali, mantenendo al contempo varietà e precisione per supportare previsioni affidabili del modello.

Fig. 3 Comprendere l'estrazione delle caratteristiche.

Consigli per mantenere la qualità del tuo dataset di visione artificiale#

Ora che abbiamo compreso l'importanza dei dati di alta qualità e l'impatto dei dati di bassa qualità, vediamo come assicurarti che il tuo dataset soddisfi standard elevati.

Tutto comincia con una raccolta affidabile dei dati. L'uso di fonti diversificate, come il crowdsourcing, i dati provenienti da diverse aree geografiche e la generazione di dati sintetici, riduce i bias e aiuta i modelli a gestire gli scenari del mondo reale. Una volta raccolti i dati, la pre-elaborazione è fondamentale. Tecniche come la normalizzazione, che ridimensiona i valori dei pixel portandoli a un intervallo uniforme, e l'aumento dei dati, che applica trasformazioni come rotazioni, riflessioni e zoom, migliorano il set di dati. Questi passaggi aiutano il tuo modello a generalizzare meglio e a diventare più robusto, riducendo il rischio di overfitting.

Un altro passaggio fondamentale è suddividere correttamente i set di dati. Un approccio comune consiste nell'assegnare il 70% dei dati all'addestramento, il 15% alla validazione e il 15% al test. Verificare attentamente che non vi siano sovrapposizioni tra questi insiemi evita la fuga di dati e garantisce una valutazione accurata del modello.

Fig. 4 Una suddivisione comune dei dati tra addestramento, convalida e test.

Puoi anche usare modelli preaddestrati come YOLO11 per risparmiare tempo e risorse di calcolo. Addestrato su grandi set di dati e progettato per diverse attività di visione artificiale, YOLO11 può essere ottimizzato sul tuo set di dati specifico per soddisfare le tue esigenze. Adattando il modello ai tuoi dati puoi evitare l'overfitting e mantenere prestazioni elevate.

Il futuro dei dataset per la visione artificiale#

Tradizionalmente, la comunità dell'IA si è concentrata sul miglioramento delle prestazioni costruendo modelli più profondi e con più livelli. Tuttavia, con la continua evoluzione dell'IA, l'attenzione si sta spostando dall'ottimizzazione dei modelli al miglioramento della qualità dei dataset. Andrew Ng ritiene che «il cambiamento più importante che il mondo dell'IA dovrà affrontare in questo decennio sarà un passaggio all'IA incentrata sui dati».

Questo approccio pone l'accento sul perfezionamento dei dataset, migliorando l'accuratezza delle etichette, rimuovendo gli esempi rumorosi e garantendo la diversità. Per la visione artificiale, questi principi sono fondamentali per affrontare problemi come i bias e i dati di bassa qualità, consentendo ai modelli di funzionare in modo affidabile negli scenari del mondo reale.

In futuro, il progresso della visione artificiale dipenderà dalla creazione di set di dati più piccoli e di alta qualità, anziché dalla raccolta di enormi quantità di dati. Secondo Andrew Ng, «Migliorare i dati non è un passaggio di pre-elaborazione una tantum: è una parte fondamentale del processo iterativo di sviluppo dei modelli di machine learning». Concentrandosi su principi incentrati sui dati, la visione artificiale continuerà a diventare più accessibile, efficiente e incisiva in diversi settori.

Punti chiave#

I dati svolgono un ruolo fondamentale durante tutto il ciclo di vita di un modello di visione artificiale. Dalla raccolta dei dati alla pre-elaborazione, all'addestramento, alla convalida e al test, la qualità dei dati influisce direttamente sulle prestazioni e sull'affidabilità del modello. Dando priorità ai dati di alta qualità e a etichette accurate, possiamo creare modelli di visione artificiale robusti, capaci di fornire risultati affidabili e precisi.

Nel passaggio a un futuro basato sui dati, è essenziale affrontare le considerazioni etiche per mitigare i rischi legati ai bias e alle normative sulla privacy. In definitiva, garantire l'integrità e l'equità dei dati è fondamentale per sfruttare appieno il potenziale delle tecnologie di visione artificiale.

Unisciti alla nostra community e dai un'occhiata al nostro repository GitHub per saperne di più sull'IA. Consulta le nostre pagine dedicate alle soluzioni per scoprire altre applicazioni dell'IA in settori come l'agricoltura e la produzione industriale.