Cos'è l'overfitting nella computer vision e come prevenirlo?

I modelli di computer vision sono progettati per riconoscere schemi, rilevare oggetti e analizzare immagini. Tuttavia, le loro prestazioni dipendono da quanto bene riescono a generalizzare su dati mai visti prima. La generalizzazione è la capacità del modello di funzionare correttamente su nuove immagini, non solo su quelle utilizzate durante l'addestramento. Un problema comune nell'addestramento di questi modelli è l'overfitting, in cui un modello impara troppo dai propri dati di addestramento, incluso del rumore non necessario, anziché identificare schemi significativi.

Quando ciò accade, il modello ottiene ottimi risultati sui dati di addestramento ma fatica con nuove immagini. Ad esempio, un modello di object detection addestrato solo su immagini ad alta risoluzione e ben illuminate potrebbe fallire se presentato con immagini sfocate o in ombra in condizioni reali. L'overfitting limita l'adattabilità di un modello, circoscrivendone l'uso in applicazioni reali come la guida autonoma, l'imaging medico e i sistemi di sicurezza.

In questo articolo esploreremo cos'è l'overfitting, perché si verifica e come prevenirlo. Vedremo anche come i modelli di computer vision come Ultralytics YOLO11 aiutino a ridurre l'overfitting e a migliorare la generalizzazione.

Link to this sectionChe cos'è l'overfitting?#

L'overfitting si verifica quando un modello memorizza i dati di addestramento invece di apprendere schemi applicabili in modo ampio a nuovi input. Il modello si concentra troppo sui dati di addestramento, quindi ha difficoltà con nuove immagini o situazioni che non ha mai incontrato prima.

Nella computer vision, l'overfitting può influenzare diversi compiti. Un modello di classificazione addestrato solo su immagini luminose e nitide potrebbe avere difficoltà in condizioni di scarsa illuminazione. Un modello di object detection che impara da immagini perfette potrebbe fallire in scene affollate o disordinate. Allo stesso modo, un modello di segmentazione di istanze potrebbe funzionare bene in contesti controllati ma avere problemi con ombre o oggetti sovrapposti.

Questo diventa un problema nelle applicazioni AI del mondo reale, dove i modelli devono essere in grado di generalizzare oltre le condizioni di addestramento controllate. Le auto a guida autonoma, per esempio, devono essere in grado di rilevare i pedoni in diverse condizioni di illuminazione, meteo e ambiente. Un modello che va in overfitting sul proprio set di addestramento non funzionerà in modo affidabile in scenari così imprevedibili.

Link to this sectionQuando e perché si verifica l'overfitting?#

L'overfitting si verifica solitamente a causa di set di dati sbilanciati, eccessiva complessità del modello e addestramento prolungato. Ecco le cause principali:

• Dati di addestramento limitati: set di dati piccoli portano i modelli a memorizzare schemi anziché generalizzarli. Un modello addestrato su sole 50 immagini di uccelli potrebbe faticare a rilevare specie di uccelli al di fuori di quel set di dati.
• Modelli complessi con troppi parametri: le reti profonde con strati e neuroni eccessivi tendono a memorizzare dettagli fini invece di concentrarsi sulle caratteristiche essenziali.
• Mancanza di data augmentation: senza trasformazioni come ritaglio, rotazione o inversione, un modello potrebbe imparare solo dalle sue esatte immagini di addestramento.
• Addestramento prolungato: se un modello elabora i dati di addestramento troppe volte, un processo noto come epochs, memorizza dettagli invece di imparare schemi generali, rendendolo meno adattabile.
• Etichette incoerenti o rumorose: dati etichettati in modo errato portano un modello ad apprendere schemi sbagliati. Questo è comune nei set di dati etichettati manualmente.

Un approccio ben bilanciato alla complessità del modello, alla qualità dei dati e alle tecniche di addestramento garantisce una migliore generalizzazione.

Link to this sectionOverfitting vs. underfitting#

L'overfitting e l'underfitting sono due problemi completamente opposti nel deep learning.

Fig 1. Confronto tra underfitting, apprendimento ottimale e overfitting nei modelli di computer vision.

L'overfitting si verifica quando un modello è troppo complesso, risultando eccessivamente focalizzato sui dati di addestramento. Invece di imparare schemi generali, memorizza piccoli dettagli, anche irrilevanti come il rumore di fondo. Ciò fa sì che il modello funzioni bene sui dati di addestramento ma fatichi con nuove immagini, il che significa che non ha imparato davvero a riconoscere schemi applicabili in situazioni diverse.

L'underfitting si verifica quando un modello è troppo semplice, perdendo così schemi importanti nei dati. Questo può accadere quando il modello ha pochi strati, non abbastanza tempo di addestramento o i dati sono limitati. Di conseguenza, non riesce a riconoscere schemi importanti ed effettua previsioni imprecise. Ciò porta a prestazioni scadenti sia sui dati di addestramento che su quelli di test, poiché il modello non ha imparato abbastanza per comprendere correttamente il compito.

Un modello ben addestrato trova l'equilibrio tra complessità e generalizzazione. Dovrebbe essere abbastanza complesso da imparare schemi rilevanti, ma non così complesso da memorizzare i dati invece di riconoscere le relazioni sottostanti.

Link to this sectionCome identificare l'overfitting#

Ecco alcuni segnali che indicano che un modello è in fase di overfitting:

• Se l'accuratezza in fase di addestramento è significativamente superiore all'accuratezza in fase di validazione, è probabile che il modello sia in overfitting.
• Un divario crescente tra la perdita di addestramento e la perdita di validazione è un altro forte indicatore.
• Il modello è troppo sicuro di risposte errate, il che mostra che ha memorizzato dettagli invece di comprendere gli schemi.

Per garantire che un modello generalizzi bene, deve essere testato su set di dati diversi che riflettano le condizioni del mondo reale.

Link to this sectionCome prevenire l'overfitting nella computer vision#

L'overfitting non è inevitabile e può essere prevenuto. Con le tecniche giuste, i modelli di computer vision possono imparare schemi generali anziché memorizzare i dati di addestramento, diventando così più affidabili nelle applicazioni reali.

Ecco cinque strategie chiave per prevenire l'overfitting nella computer vision.

Link to this sectionAumenta la diversità dei dati con augmentation e dati sintetici#

Il modo migliore per aiutare un modello a funzionare bene su nuovi dati è espandere il set di dati utilizzando la data augmentation e dati sintetici. I dati sintetici sono generati al computer invece di essere raccolti da immagini del mondo reale. Aiutano a colmare le lacune quando non ci sono abbastanza dati reali.

Fig 2. Combinare dati reali e sintetici riduce l'overfitting e migliora l'accuratezza dell'object detection.

La data augmentation modifica leggermente le immagini esistenti tramite ribaltamento, rotazione, ritaglio o regolazione della luminosità, in modo che il modello non memorizzi solo i dettagli ma impari a riconoscere gli oggetti in situazioni diverse.

I dati sintetici sono utili quando è difficile ottenere immagini reali. Ad esempio, i modelli per auto a guida autonoma possono addestrarsi su scene stradali generate al computer per imparare a rilevare oggetti in diverse condizioni meteorologiche e di illuminazione. Questo rende il modello più flessibile e affidabile senza dover ricorrere a migliaia di immagini reali.

Link to this sectionOttimizza la complessità e l'architettura del modello#

Una rete neurale profonda, che è un tipo di modello di machine learning con molti strati che elaborano i dati anziché un solo strato, non è sempre migliore. Quando un modello ha troppi strati o parametri, memorizza i dati di addestramento invece di riconoscere schemi più ampi. Ridurre la complessità non necessaria può aiutare a prevenire l'overfitting.

Per ottenere ciò, un approccio è il pruning, che rimuove neuroni e connessioni ridondanti, rendendo il modello più snello ed efficiente.

Un altro approccio consiste nel semplificare l'architettura riducendo il numero di strati o neuroni. I modelli pre-addestrati come YOLO11 sono progettati per generalizzare bene tra i vari compiti con meno parametri, rendendoli più resistenti all'overfitting rispetto all'addestramento di un modello profondo da zero.

Trovare il giusto equilibrio tra profondità del modello ed efficienza lo aiuta ad apprendere schemi utili senza limitarsi a memorizzare i dati di addestramento.

Link to this sectionApplica tecniche di regolarizzazione#

Le tecniche di regolarizzazione impediscono ai modelli di diventare troppo dipendenti da caratteristiche specifiche nei dati di addestramento. Ecco alcune tecniche comunemente usate:

• Dropout disattiva parti casuali del modello durante l'addestramento in modo che impari a riconoscere schemi diversi invece di fare troppo affidamento su poche caratteristiche.
• Weight decay (regolarizzazione L2) scoraggia valori di peso estremi, mantenendo sotto controllo la complessità del modello.
• Batch normalization aiuta a stabilizzare l'addestramento assicurando che il modello sia meno sensibile alle variazioni nel set di dati.

Queste tecniche aiutano a mantenere la flessibilità e l'adattabilità di un modello, riducendo il rischio di overfitting pur preservando l'accuratezza.

Link to this sectionMonitora l'addestramento con validazione e arresto anticipato (early stopping)#

Per prevenire l'overfitting, è importante monitorare come apprende il modello e assicurarsi che generalizzi bene su nuovi dati. Ecco un paio di tecniche che aiutano in questo:

• Early stopping: termina automaticamente l'addestramento quando il modello smette di migliorare, in modo che non continui a imparare dettagli non necessari.
• Cross-validation: divide i dati in parti e addestra il modello su ciascuna di esse. Questo lo aiuta a imparare schemi invece di memorizzare immagini specifiche.

Queste tecniche aiutano il modello a rimanere equilibrato in modo che impari abbastanza per essere accurato senza concentrarsi troppo solo sui dati di addestramento.

Link to this sectionUsa modelli pre-addestrati e migliora l'etichettatura dei dati#

Invece di addestrare da zero, l'utilizzo di modelli pre-addestrati come YOLO11 può ridurre l'overfitting. YOLO11 è addestrato su set di dati su larga scala, consentendogli di generalizzare bene in diverse condizioni.

Fig 3. I modelli di computer vision pre-addestrati migliorano l'accuratezza e prevengono l'overfitting.

Il fine-tuning di un modello pre-addestrato lo aiuta a mantenere ciò che già sa mentre impara nuovi compiti, in modo che non memorizzi semplicemente i dati di addestramento.

Inoltre, garantire un'etichettatura dei dati di alta qualità è essenziale. Dati etichettati erroneamente o sbilanciati possono indurre i modelli a imparare schemi errati. Pulire i set di dati, correggere le immagini etichettate male e bilanciare le classi migliora l'accuratezza e riduce il rischio di overfitting. Un altro approccio efficace è l'adversarial training, in cui il modello viene esposto a esempi leggermente alterati o più complessi progettati per metterne alla prova i limiti.

Link to this sectionPunti chiave#

L'overfitting è un problema comune nella computer vision. Un modello potrebbe funzionare bene sui dati di addestramento ma faticare con le immagini del mondo reale. Per evitare questo, tecniche come la data augmentation, la regolarizzazione e l'uso di modelli pre-addestrati come YOLO11 aiutano a migliorare l'accuratezza e l'adattabilità.

Applicando questi metodi, i modelli di AI possono rimanere affidabili e funzionare bene in diversi ambienti. Con il miglioramento del deep learning, assicurarsi che i modelli generalizzino correttamente sarà la chiave per il successo dell'AI nel mondo reale.

Unisciti alla nostra community in crescita! Esplora il nostro repository GitHub per saperne di più sull'AI. Pronto a iniziare i tuoi progetti di computer vision? Dai un'occhiata alle nostre opzioni di licenza. Scopri la vision AI nella guida autonoma e l'AI nell'assistenza sanitaria visitando le nostre pagine dedicate alle soluzioni!