L'importanza di dataset di computer vision di alta qualità

Dal 2019, l'adozione dell'intelligenza artificiale (IA) nelle imprese è aumentata del 270% rispetto ai quattro anni precedenti. Questa crescita ha alimentato la rapida integrazione delle applicazioni di computer vision (CV), sistemi di IA che consentono alle macchine di interpretare e analizzare i dati visivi del mondo che le circonda. Queste applicazioni alimentano un'ampia gamma di tecnologie, dal rilevamento di malattie nell'imaging medico e l'abilitazione dei veicoli autonomi, all'ottimizzazione del flusso di traffico nei trasporti e al potenziamento della sorveglianza nei sistemi di sicurezza.

La straordinaria accuratezza e le prestazioni impareggiabili dei modelli di computer vision all'avanguardia, come Ultralytics YOLO11, hanno guidato in gran parte questa crescita esponenziale. Tuttavia, le prestazioni di questi modelli dipendono fortemente dalla qualità e dalla quantità dei dati utilizzati per addestrare, convalidare e testare i modelli.

Senza una quantità sufficiente di dati di alta qualità, i modelli di computer vision possono essere difficili da addestrare e ottimizzare efficacemente per soddisfare gli standard del settore. In questo articolo esploreremo il ruolo vitale dei dati nella creazione di modelli di computer vision e perché i dati di alta qualità siano così importanti nella computer vision. Vedremo anche alcuni suggerimenti per aiutarti a creare dataset di alta qualità mentre lavori all'addestramento di modelli di computer vision personalizzati. Cominciamo!

Link to this sectionIl ruolo dei dati nella creazione di modelli di computer vision#

I modelli di computer vision possono essere addestrati su grandi dataset di immagini e video per riconoscere schemi ed effettuare previsioni accurate. Ad esempio, un modello di object detection può essere addestrato su centinaia, o addirittura migliaia, di immagini e video etichettati per identificare accuratamente gli oggetti.

La qualità e la quantità di questi dati di addestramento influenzano le prestazioni del modello.

Poiché i modelli di computer vision possono apprendere solo dai dati a cui sono esposti, fornire dati di alta qualità ed esempi diversificati è fondamentale per il loro successo. Senza dataset sufficienti e diversificati, questi modelli potrebbero non riuscire ad analizzare accuratamente gli scenari del mondo reale e potrebbero produrre risultati distorti o imprecisi.

Ecco perché è importante comprendere chiaramente il ruolo dei dati nell'addestramento del modello. Prima di esaminare le caratteristiche dei dati di alta qualità, cerchiamo di capire i tipi di dataset che potresti incontrare durante l'addestramento dei modelli di computer vision.

Link to this sectionTipi di dataset di computer vision#

Nella computer vision, i dati utilizzati nel processo di addestramento sono classificati in tre tipi, ognuno dei quali ha uno scopo specifico. Ecco una rapida panoramica di ciascun tipo:

• Dati di addestramento: questo è il dataset principale utilizzato per addestrare il modello da zero. Consiste in immagini e video con etichette predefinite, che consentono al modello di apprendere schemi e riconoscere oggetti.
• Dati di validazione: questo è un insieme di dati utilizzato per verificare le prestazioni di un modello mentre viene addestrato. Aiuta a garantire che il modello funzioni correttamente su dati nuovi e non visti in precedenza.
• Dati di test: un insieme separato di dati utilizzato per valutare le prestazioni finali di un modello addestrato. Verifica quanto bene il modello sia in grado di effettuare previsioni su dati completamente nuovi e mai visti.

Fig 1. Come vengono classificati i dati nella computer vision.

Link to this sectionLe 5 caratteristiche principali dei dataset di computer vision di alta qualità#

Indipendentemente dal tipo di dataset, i dati di alta qualità sono essenziali per costruire modelli di computer vision di successo. Ecco alcune delle caratteristiche chiave che rendono un dataset di alta qualità:

• Accuratezza: idealmente, i dati dovrebbero rispecchiare fedelmente le situazioni del mondo reale e includere etichette corrette. Ad esempio, quando si parla di IA per la visione artificiale nel settore sanitario, le immagini di raggi X o scansioni devono essere etichettate in modo accurato per aiutare il modello ad apprendere correttamente.
• Diversità: un buon dataset include una varietà di esempi per aiutare il modello a funzionare bene in diverse situazioni. Ad esempio, se un modello sta imparando a rilevare le auto, il dataset dovrebbe includere auto di forme, dimensioni e colori diversi in vari contesti (giorno, notte, pioggia, ecc.).
• Coerenza: i dataset di alta qualità seguono un formato uniforme e standard di qualità. Ad esempio, le immagini dovrebbero avere risoluzioni simili (non alcune sfocate e altre nitide) e passare attraverso gli stessi passaggi di pre-elaborazione, come il ridimensionamento o le regolazioni del colore, in modo che il modello apprenda da informazioni coerenti.
• Tempestività: i dataset che vengono aggiornati regolarmente possono stare al passo con i cambiamenti del mondo reale. Supponiamo che tu stia addestrando un modello per rilevare tutti i tipi di veicoli. Se ne vengono introdotti di nuovi, come i monopattini elettrici, dovrebbero essere aggiunti al dataset per garantire che il modello rimanga accurato e aggiornato.
• Privacy: se un dataset include informazioni sensibili, come foto di persone, deve seguire le norme sulla privacy. Tecniche come l'anonimizzazione (rimozione dei dettagli identificabili) e la mascheratura dei dati (occultamento delle parti sensibili) possono proteggere la privacy pur rendendo possibile utilizzare i dati in modo sicuro.

Link to this sectionSfide causate da dati di bassa qualità#

Sebbene sia importante comprendere le caratteristiche dei dati di alta qualità, è altrettanto vitale considerare come i dati di bassa qualità possano influenzare i tuoi modelli di computer vision.

Problemi come l'overfitting e l'underfitting possono influire gravemente sulle prestazioni del modello. L'overfitting si verifica quando un modello ha buone prestazioni sui dati di addestramento ma fatica con dati nuovi o non visti, spesso perché il dataset manca di varietà. L'underfitting, d'altra parte, si verifica quando il dataset non fornisce abbastanza esempi o qualità affinché il modello impari schemi significativi. Per evitare questi problemi, è essenziale mantenere dataset diversificati, imparziali e di alta qualità, garantendo prestazioni affidabili sia nell'addestramento che nelle applicazioni del mondo reale.

Fig 2. Underfitting contro overfitting.

I dati di bassa qualità possono anche rendere difficile per i modelli estrarre e apprendere schemi significativi dai dati grezzi, un processo noto come estrazione delle feature. Se il dataset è incompleto, irrilevante o privo di diversità, il modello potrebbe avere difficoltà a funzionare efficacemente.

A volte, i dati di bassa qualità possono essere il risultato della semplificazione dei dati. Semplificare i dati può aiutare a risparmiare spazio di archiviazione e ridurre i costi di elaborazione, ma un'eccessiva semplificazione può rimuovere dettagli importanti di cui il modello ha bisogno per funzionare bene. Ecco perché è così importante mantenere dati di alta qualità durante l'intero processo di computer vision, dalla raccolta al deployment. Come regola generale, i dataset dovrebbero includere le caratteristiche essenziali pur rimanendo diversificati e accurati per garantire previsioni del modello affidabili.

Fig 3. Comprendere l'estrazione delle feature.

Link to this sectionSuggerimenti per mantenere la qualità del tuo dataset di computer vision#

Ora che abbiamo compreso l'importanza dei dati di alta qualità e l'impatto dei dati di bassa qualità, esploriamo come assicurarsi che il tuo dataset soddisfi standard elevati.

Tutto inizia con una raccolta dati affidabile. L'utilizzo di fonti diversificate come il crowdsourcing, dati provenienti da regioni geografiche varie e la generazione di dati sintetici riduce i bias e aiuta i modelli a gestire gli scenari del mondo reale. Una volta raccolti i dati, la pre-elaborazione è fondamentale. Tecniche come la normalizzazione, che scala i valori dei pixel a un intervallo coerente, e l'augmentation, che applica trasformazioni come rotazione, ribaltamento e zoom, migliorano il dataset. Questi passaggi aiutano il tuo modello a generalizzare meglio e a diventare più robusto, riducendo il rischio di overfitting.

Suddividere correttamente i dataset è un altro passaggio chiave. Un approccio comune consiste nell'allocare il 70% dei dati per l'addestramento, il 15% per la validazione e il 15% per il test. Controllare attentamente che non vi sia sovrapposizione tra questi set previene la fuga di dati (data leakage) e garantisce una valutazione accurata del modello.

Fig 4. Una comune suddivisione dei dati tra addestramento, validazione e test.

Puoi anche utilizzare modelli pre-addestrati come YOLO11 per risparmiare tempo e risorse computazionali. YOLO11, addestrato su dataset di grandi dimensioni e progettato per varie attività di computer vision, può essere ottimizzato sul tuo dataset specifico per soddisfare le tue esigenze. Adattando il modello ai tuoi dati, puoi evitare l'overfitting e mantenere prestazioni elevate.

Link to this sectionIl futuro dei dataset di computer vision#

La comunità dell'IA si è tradizionalmente concentrata sul miglioramento delle prestazioni costruendo modelli più profondi con più strati. Tuttavia, con l'evoluzione dell'IA, l'attenzione si sta spostando dall'ottimizzazione dei modelli al miglioramento della qualità dei dataset. Andrew Ng, spesso definito il “padre dell'IA”, ritiene che "il cambiamento più importante che il mondo dell'IA dovrà attraversare in questo decennio sarà il passaggio a un'IA incentrata sui dati (data-centric AI)."

Questo approccio enfatizza il perfezionamento dei dataset migliorando l'accuratezza delle etichette, rimuovendo esempi rumorosi e garantendo la diversità. Per la computer vision, questi principi sono fondamentali per affrontare problemi come i bias e i dati di bassa qualità, consentendo ai modelli di funzionare in modo affidabile negli scenari del mondo reale.

Guardando al futuro, il progresso della computer vision si baserà sulla creazione di dataset più piccoli e di alta qualità, piuttosto che sulla raccolta di vaste quantità di dati. Secondo Andrew Ng, "Migliorare i dati non è un passaggio di pre-elaborazione una tantum; è una parte fondamentale del processo iterativo dello sviluppo di modelli di machine learning." Concentrandosi sui principi data-centric, la computer vision continuerà a diventare più accessibile, efficiente e d'impatto in vari settori.

Link to this sectionPunti chiave#

I dati svolgono un ruolo fondamentale durante l'intero ciclo di vita di un modello di visione. Dalla raccolta dei dati alla pre-elaborazione, addestramento, validazione e test, la qualità dei dati influisce direttamente sulle prestazioni e sull'affidabilità del modello. Dando priorità a dati di alta qualità ed etichettatura accurata, possiamo costruire modelli di computer vision robusti che forniscono risultati affidabili e precisi.

Mentre ci muoviamo verso un futuro guidato dai dati, è essenziale affrontare le considerazioni etiche per mitigare i rischi legati ai bias e alle normative sulla privacy. In definitiva, garantire l'integrità e l'equità dei dati è la chiave per sbloccare il pieno potenziale delle tecnologie di computer vision.

Unisciti alla nostra community e dai un'occhiata al nostro repository GitHub per saperne di più sull'IA. Dai un'occhiata alle nostre pagine delle soluzioni per esplorare ulteriori applicazioni di IA in settori come l'agricoltura e la produzione.