L'importanza di dataset di computer vision di alta qualità

Nel 2019, l'adozione dell'intelligenza artificiale (AI) da parte delle aziende era aumentata del 270% rispetto ai quattro anni precedenti. Questa crescita ha alimentato la rapida integrazione delle applicazioni di visione artificiale (CV), ovvero sistemi di AI che consentono alle macchine di interpretare e analizzare i dati visivi del mondo circostante. Queste applicazioni alimentano un'ampia gamma di tecnologie, dal rilevamento di malattie nelle immagini mediche e dalla guida autonoma all'ottimizzazione del flusso del traffico nei trasporti e al potenziamento della videosorveglianza nei sistemi di sicurezza.

La notevole accuratezza e le prestazioni senza precedenti dei più avanzati modelli di visione artificiale, come Ultralytics YOLO11, hanno guidato in gran parte questa crescita esponenziale. Tuttavia, le prestazioni di questi modelli dipendono fortemente dalla qualità e dalla quantità dei dati utilizzati per addestrarli, convalidarli e testarli.

Senza dati sufficienti e di alta qualità, i modelli di visione artificiale possono essere difficili da addestrare e ottimizzare efficacemente per soddisfare gli standard del settore. In questo articolo esploreremo il ruolo fondamentale dei dati nella creazione di modelli di visione artificiale e perché i dati di alta qualità sono così importanti nella visione artificiale. Vedremo anche alcuni suggerimenti per aiutarti a creare dataset di alta qualità mentre lavori all'addestramento di modelli personalizzati di visione artificiale. Iniziamo!

Il ruolo dei dati nella creazione di modelli di visione artificiale#

I modelli di visione artificiale possono essere addestrati su grandi dataset di immagini e video per riconoscere schemi e formulare previsioni accurate. Ad esempio, un modello di rilevamento degli oggetti può essere addestrato su centinaia, o persino migliaia, di immagini e video annotati per identificare accuratamente gli oggetti.

La qualità e la quantità di questi dati di addestramento influenzano le prestazioni del modello.

Poiché i modelli di visione artificiale possono apprendere solo dai dati a cui sono esposti, fornire dati di alta qualità ed esempi diversificati è fondamentale per il loro successo. Senza dataset sufficienti e diversificati, questi modelli potrebbero non riuscire ad analizzare accuratamente gli scenari del mondo reale e produrre risultati distorti o imprecisi.

Per questo è importante comprendere chiaramente il ruolo dei dati nell'addestramento del modello. Prima di esaminare le caratteristiche dei dati di alta qualità, vediamo quali tipi di dataset potresti incontrare durante l'addestramento dei modelli di visione artificiale.

Tipi di dataset per la visione artificiale#

Nella visione artificiale, i dati utilizzati nel processo di addestramento sono suddivisi in tre tipi, ciascuno con uno scopo specifico. Ecco una rapida panoramica di ogni tipo:

• Dati di addestramento: è il dataset principale utilizzato per addestrare il modello da zero. Comprende immagini e video con etichette predefinite, che consentono al modello di apprendere schemi e riconoscere oggetti.
• Dati di convalida: è un insieme di dati utilizzato per verificare le prestazioni del modello durante l'addestramento. Aiuta a garantire che il modello funzioni correttamente su dati nuovi e non ancora osservati.
• Dati di test: un insieme di dati separato utilizzato per valutare le prestazioni finali di un modello addestrato. Verifica la capacità del modello di formulare previsioni su dati completamente nuovi e non ancora osservati.

Fig. 1. Come vengono categorizzati i dati nella visione artificiale.

I 5 principali tratti dei dataset di visione artificiale di alta qualità#

Indipendentemente dal tipo di dataset, i dati di alta qualità sono essenziali per creare modelli di visione artificiale efficaci. Ecco alcune delle caratteristiche principali che rendono un dataset di alta qualità:

• Accuratezza: idealmente, i dati dovrebbero riflettere fedelmente le situazioni del mondo reale e includere etichette corrette. Ad esempio, quando si parla di AI per la visione in ambito sanitario, le immagini di radiografie o scansioni devono essere annotate accuratamente per aiutare il modello ad apprendere correttamente.
• Diversità: un buon dataset include una varietà di esempi per aiutare il modello a funzionare bene in situazioni diverse. Ad esempio, se un modello sta imparando a rilevare automobili, il dataset dovrebbe includere auto di forme, dimensioni e colori diversi, in varie condizioni (giorno, notte, pioggia, ecc.).
• Coerenza: i dataset di alta qualità seguono un formato uniforme e standard qualitativi coerenti. Ad esempio, le immagini dovrebbero avere risoluzioni simili (non alcune sfocate e altre nitide) e seguire gli stessi passaggi di pre-elaborazione, come il ridimensionamento o la regolazione dei colori, affinché il modello apprenda da informazioni coerenti.
• Tempestività: i dataset aggiornati regolarmente possono tenere il passo con i cambiamenti del mondo reale. Supponiamo che tu stia addestrando un modello per rilevare tutti i tipi di veicoli. Se ne vengono introdotti di nuovi, come i monopattini elettrici, dovrebbero essere aggiunti al dataset per assicurarti che il modello rimanga accurato e aggiornato.
• Privacy: se un dataset include informazioni sensibili, come foto di persone, deve rispettare le norme sulla privacy. Tecniche come l'anonimizzazione (rimozione dei dettagli identificativi) e il mascheramento dei dati (occultamento delle parti sensibili) possono proteggere la privacy consentendo comunque di utilizzare i dati in modo sicuro.

Problemi causati dai dati di bassa qualità#

Sebbene sia importante comprendere le caratteristiche dei dati di alta qualità, è altrettanto fondamentale considerare come i dati di bassa qualità possano influire sui tuoi modelli di visione artificiale.

Problemi come overfitting e underfitting possono compromettere gravemente le prestazioni del modello. L'overfitting si verifica quando un modello funziona bene sui dati di addestramento ma ha difficoltà con dati nuovi o non osservati, spesso perché il dataset manca di varietà. L'underfitting, invece, si verifica quando il dataset non fornisce esempi o qualità sufficienti affinché il modello apprenda schemi significativi. Per evitare questi problemi, è essenziale mantenere dataset diversificati, imparziali e di alta qualità, garantendo prestazioni affidabili sia durante l'addestramento sia nelle applicazioni del mondo reale.

Fig. 2. Underfitting e overfitting a confronto.

I dati di bassa qualità possono inoltre rendere difficile per i modelli estrarre e apprendere schemi significativi dai dati grezzi, in un processo noto come estrazione delle caratteristiche. Se il dataset è incompleto, irrilevante o manca di diversità, il modello potrebbe avere difficoltà a funzionare efficacemente.

A volte, i dati di bassa qualità possono derivare dalla semplificazione dei dati. Semplificare i dati può aiutare a risparmiare spazio di archiviazione e ridurre i costi di elaborazione, ma un'eccessiva semplificazione può rimuovere dettagli importanti di cui il modello ha bisogno per funzionare bene. Per questo è così importante mantenere dati di alta qualità durante l'intero processo di visione artificiale, dalla raccolta alla distribuzione. Come regola generale, i dataset dovrebbero includere le caratteristiche essenziali, rimanendo al contempo diversificati e accurati per garantire previsioni affidabili del modello.

Fig. 3. Comprendere l'estrazione delle caratteristiche.

Suggerimenti per mantenere la qualità del tuo dataset di visione artificiale#

Ora che abbiamo compreso l'importanza dei dati di alta qualità e l'impatto dei dati di bassa qualità, vediamo come assicurarti che il tuo dataset soddisfi standard elevati.

Tutto inizia da una raccolta affidabile dei dati. L'utilizzo di fonti diversificate, come il crowdsourcing, dati provenienti da regioni geografiche diverse e la generazione di dati sintetici, riduce i bias e aiuta i modelli a gestire gli scenari del mondo reale. Una volta raccolti i dati, la pre-elaborazione è fondamentale. Tecniche come la normalizzazione, che ridimensiona i valori dei pixel a un intervallo coerente, e l'aumento dei dati, che applica trasformazioni come rotazione, riflessione e zoom, migliorano il dataset. Questi passaggi aiutano il tuo modello a generalizzare meglio e a diventare più robusto, riducendo il rischio di overfitting.

Suddividere correttamente i dataset è un altro passaggio fondamentale. Un approccio comune consiste nell'allocare il 70% dei dati all'addestramento, il 15% alla convalida e il 15% al test. Verificare attentamente che non vi siano sovrapposizioni tra questi insiemi previene la fuga di dati e garantisce una valutazione accurata del modello.

Fig. 4. Una suddivisione comune dei dati tra addestramento, convalida e test.

Puoi anche utilizzare modelli pre-addestrati come YOLO11 per risparmiare tempo e risorse computazionali. YOLO11, addestrato su grandi dataset e progettato per varie attività di visione artificiale, può essere ottimizzato sul tuo dataset specifico per soddisfare le tue esigenze. Adattando il modello ai tuoi dati, puoi evitare l'overfitting e mantenere prestazioni elevate.

Il futuro dei dataset per la visione artificiale#

La comunità dell'AI si è tradizionalmente concentrata sul miglioramento delle prestazioni creando modelli più profondi con un numero maggiore di livelli. Tuttavia, con la continua evoluzione dell'AI, l'attenzione si sta spostando dall'ottimizzazione dei modelli al miglioramento della qualità dei dataset. Andrew Ng, spesso definito il “padre dell'AI”, ritiene che "il cambiamento più importante che il mondo dell'AI deve affrontare in questo decennio sarà il passaggio a un'AI incentrata sui dati."

Questo approccio enfatizza il perfezionamento dei dataset migliorando l'accuratezza delle etichette, rimuovendo gli esempi rumorosi e garantendo la diversità. Per la visione artificiale, questi principi sono fondamentali per affrontare problemi come i bias e i dati di bassa qualità, consentendo ai modelli di funzionare in modo affidabile negli scenari del mondo reale.

Guardando al futuro, il progresso della visione artificiale dipenderà dalla creazione di dataset più piccoli e di alta qualità, anziché dalla raccolta di enormi quantità di dati. Secondo Andrew Ng, "Migliorare i dati non è un passaggio di pre-elaborazione una tantum; è una parte fondamentale del processo iterativo di sviluppo dei modelli di machine learning." Concentrandosi sui principi incentrati sui dati, la visione artificiale continuerà a diventare più accessibile, efficiente e d'impatto in vari settori.

Punti chiave#

I dati svolgono un ruolo fondamentale durante l'intero ciclo di vita di un modello di visione artificiale. Dalla raccolta dei dati alla pre-elaborazione, all'addestramento, alla convalida e al test, la qualità dei dati influisce direttamente sulle prestazioni e sull'affidabilità del modello. Dando priorità ai dati di alta qualità e a un'annotazione accurata, possiamo creare modelli di visione artificiale robusti, in grado di fornire risultati affidabili e precisi.

Mentre ci dirigiamo verso un futuro basato sui dati, è essenziale affrontare le considerazioni etiche per mitigare i rischi legati ai bias e alle normative sulla privacy. In definitiva, garantire l'integrità e l'equità dei dati è fondamentale per sfruttare appieno il potenziale delle tecnologie di visione artificiale.

Unisciti alla nostra community e dai un'occhiata al nostro repository GitHub per saperne di più sull'AI. Dai un'occhiata alle nostre pagine dedicate alle soluzioni per esplorare altre applicazioni dell'AI in settori come l'agricoltura e la produzione.