Overfitting

L'overfitting si verifica nel machine learning quando un modello apprende troppo bene i dati di addestramento, catturando rumore e fluttuazioni casuali anziché la distribuzione sottostante dei dati. Invece di apprendere schemi generali applicabili a dati nuovi e mai visti, un modello in overfitting memorizza effettivamente gli esempi specifici nel set di addestramento. Ciò si traduce in prestazioni eccellenti sui dati di addestramento ma in una scarsa capacità di generalizzazione verso scenari del mondo reale. Viene spesso descritto come "alta varianza", il che significa che le previsioni del modello variano in modo significativo a seconda dello specifico dataset utilizzato per l'addestramento.

Link to this sectionPerché si verifica l'overfitting#

La causa principale dell'overfitting è l'eccessiva complessità del modello rispetto alla quantità di dati disponibili. Se una neural network è troppo grande, ovvero ha troppi livelli o parametri, può facilmente memorizzare gli esempi di addestramento. Altri fattori che contribuiscono includono:

• Dati di addestramento insufficienti: Piccoli dataset possono contenere correlazioni spurie che non esistono nella popolazione più ampia. I modelli addestrati su dati limitati sono inclini ad apprendere questi schemi accidentali.
• Rumore dei dati e outlier: Livelli elevati di rumore o outlier non rappresentativi nei training data possono fuorviare il modello, portandolo ad adattare i propri parametri interni per adattarsi alle anomalie anziché al segnale reale.
• Durata dell'addestramento prolungata: Addestrare per troppe epochs consente al modello di continuare a perfezionare i propri pesi finché non si adatta al rumore nel set di addestramento. Questo aspetto viene spesso monitorato utilizzando i validation data.

Link to this sectionOverfitting vs. Underfitting#

È importante distinguere l'overfitting dall'underfitting. Mentre l'overfitting implica l'apprendimento di troppi dettagli (incluso il rumore), l'underfitting si verifica quando un modello è troppo semplice per catturare la struttura sottostante dei dati. Un modello in underfitting ha prestazioni scarse sia sui dati di addestramento che su nuovi dati, portando spesso a un'elevata polarizzazione. Bilanciare questi due estremi è noto come bias-variance tradeoff.

Link to this sectionPrevenire l'overfitting#

Gli ingegneri utilizzano diverse tecniche per mitigare l'overfitting e migliorare la robustezza del modello:

• Regolarizzazione: Tecniche come la regolarizzazione L1/L2 o l'aggiunta di dropout layers introducono penalità o casualità durante l'addestramento, impedendo al modello di diventare eccessivamente dipendente da caratteristiche specifiche.
• Early Stopping: Il monitoraggio della loss function su un set di validazione consente di interrompere l'addestramento una volta che le prestazioni su dati non visti smettono di migliorare, anche se l'accuratezza dell'addestramento continua a crescere.
• Data Augmentation: Aumentare artificialmente la dimensione e la diversità del set di addestramento utilizzando la data augmentation rende più difficile per il modello memorizzare immagini esatte.
• Cross-Validation: L'utilizzo di tecniche come la k-fold cross-validation garantisce che il modello venga testato su diversi sottoinsiemi di dati, fornendo una stima più affidabile delle sue prestazioni.

Link to this sectionEsempi dal mondo reale#

L'overfitting può avere gravi conseguenze quando si distribuisce l'IA in ambienti di produzione:

• Diagnosi medica: Nell'AI in healthcare, un modello addestrato per rilevare il cancro della pelle potrebbe fare overfitting sulle condizioni di illuminazione o sui segni dei righelli presenti nelle immagini di addestramento. Quando distribuito in una clinica con illuminazione o attrezzature diverse, il modello potrebbe non riuscire a identificare correttamente le lesioni maligne perché si è basato su segnali di sfondo irrilevanti.
• Previsioni finanziarie: Un modello di previsione dei prezzi azionari potrebbe fare overfitting su tendenze di mercato storiche guidate da un evento specifico e non ripetibile (come una crisi economica una tantum). Un simile modello probabilmente fallirebbe nel prevedere accuratamente i futuri movimenti azionari perché ha memorizzato anomalie passate anziché apprendere le dinamiche di mercato fondamentali.

Link to this sectionEsempio di codice: Early Stopping con YOLO26#

Utilizzando la Ultralytics Platform o script di addestramento locali, puoi prevenire l'overfitting impostando una pazienza di early stopping. Ciò interrompe l'addestramento se la fitness di validazione non migliora per un numero definito di epoche.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

Link to this sectionConcetti correlati#

• Generalizzazione: La capacità di un modello di adattarsi e ottenere buoni risultati su dati nuovi e precedentemente mai visti, che è l'opposto dell'overfitting.
• Cross-Validation: Una tecnica per valutare come i risultati di un'analisi statistica si generalizzeranno a un set di dati indipendente.
• Regolarizzazione: Metodi utilizzati per ridurre gli errori adattando una funzione in modo appropriato sul set di addestramento dato ed evitare l'overfitting.