Overfitting

L'overfitting si verifica nel machine learning quando un modello apprende troppo bene i dati di addestramento, catturando rumore e fluttuazioni casuali anziché la distribuzione sottostante dei dati. Invece di apprendere schemi generali applicabili a dati nuovi e mai visti, un modello in overfitting memorizza effettivamente gli esempi specifici nel set di addestramento. Ciò si traduce in prestazioni eccellenti sui dati di addestramento ma in una scarsa capacità di generalizzazione verso scenari del mondo reale. Viene spesso descritto come "alta varianza", il che significa che le previsioni del modello variano in modo significativo a seconda dello specifico dataset utilizzato per l'addestramento.

Perché si verifica l'overfitting#

La causa principale dell'overfitting è l'eccessiva complessità del modello rispetto alla quantità di dati disponibili. Se una rete neurale è troppo grande, ovvero ha troppi strati o parametri, può facilmente memorizzare gli esempi di addestramento. Altri fattori contribuenti includono:

• Dati di addestramento insufficienti: Piccoli dataset possono contenere correlazioni spurie che non esistono nella popolazione più ampia. I modelli addestrati su dati limitati sono inclini ad apprendere questi schemi accidentali.
• Rumore dei dati e outlier: livelli elevati di rumore o outlier non rappresentativi nei dati di addestramento possono sviare il modello, inducendolo ad adeguare i propri parametri interni per adattarsi alle anomalie anziché al segnale reale.
• Durata prolungata dell'addestramento: l'addestramento per un numero eccessivo di epoche consente al modello di continuare a perfezionare i propri pesi fino ad adattarsi al rumore nel set di addestramento. Questo viene spesso monitorato utilizzando i dati di validazione.

Overfitting vs. Underfitting#

È importante distinguere l'overfitting dall'underfitting. Mentre l'overfitting comporta l'apprendimento di troppi dettagli (incluso il rumore), l'underfitting si verifica quando un modello è troppo semplice per catturare del tutto la struttura sottostante dei dati. Un modello in condizioni di underfitting offre scarse prestazioni sia sui dati di addestramento che sui nuovi dati, con conseguente elevata distorsione (bias). Bilanciare questi due estremi è noto come compromesso tra bias e varianza.

Prevenire l'overfitting#

Gli ingegneri utilizzano diverse tecniche per mitigare l'overfitting e migliorare la robustezza del modello:

• Regolarizzazione: tecniche come la regolarizzazione L1/L2 o l'aggiunta di strati di dropout introducono penalità o casualità durante l'addestramento, impedendo al modello di diventare eccessivamente dipendente da determinate caratteristiche.
• Arresto anticipato: il monitoraggio della funzione di perdita su un set di validazione consente di interrompere l'addestramento non appena le prestazioni sui dati non visti smettono di migliorare, anche se l'accuratezza dell'addestramento continua a crescere.
• Aumentazione dei dati: aumentare artificialmente le dimensioni e la diversità del set di addestramento utilizzando l'aumentazione dei dati rende più difficile per il modello memorizzare le immagini esatte.
• Convalida incrociata: l'utilizzo di tecniche come la convalida incrociata k-fold garantisce che il modello venga testato su diversi subset di dati, fornendo una stima più affidabile delle sue prestazioni.

Esempi dal mondo reale#

L'overfitting può avere gravi conseguenze quando si distribuisce l'IA in ambienti di produzione:

• Diagnosi medica: nell'intelligenza artificiale in ambito sanitario, un modello addestrato per rilevare il cancro della pelle potrebbe andare in overfitting rispetto alle condizioni di illuminazione o ai segni di un righello presenti nelle immagini di addestramento. Quando viene distribuito in una clinica con illuminazione o apparecchiature differenti, il modello potrebbe non riuscire a identificare correttamente le lesioni maligne poiché si è affidato a segnali di sfondo irrilevanti.
• Previsioni finanziarie: Un modello di previsione dei prezzi azionari potrebbe fare overfitting su tendenze di mercato storiche guidate da un evento specifico e non ripetibile (come una crisi economica una tantum). Un simile modello probabilmente fallirebbe nel prevedere accuratamente i futuri movimenti azionari perché ha memorizzato anomalie passate anziché apprendere le dinamiche di mercato fondamentali.

Esempio di codice: Early Stopping con Ultralytics YOLO26#

Utilizzando la piattaforma Ultralytics o gli script di addestramento locali, puoi prevenire l'overfitting impostando una tolleranza di arresto anticipato (patience). Questa opzione interrompe l'addestramento se l'efficacia di validazione non migliora per un numero stabilito di epoche.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

Concetti correlati#

• Generalizzazione: La capacità di un modello di adattarsi e ottenere buoni risultati su dati nuovi e precedentemente mai visti, che è l'opposto dell'overfitting.
• Convalida incrociata: una tecnica per valutare in che modo i risultati di un'analisi statistica si generalizzeranno a un set di dati indipendente.
• Regolarizzazione: Metodi utilizzati per ridurre gli errori adattando una funzione in modo appropriato sul set di addestramento dato ed evitare l'overfitting.