Underfitting

L'underfitting si verifica quando un modello di apprendimento automatico (ML) non riesce a cogliere gli schemi nei dati di addestramento, perciò commette errori elevati sia sugli esempi appresi sia su quelli nuovi. Un esempio classico è adattare una retta a punti che seguono una curva, come fa la semplice regressione lineare: nessuna scelta di pendenza e intercetta può seguire la curvatura. Un modello in underfitting ha un bias elevato, cioè presupposti troppo restrittivi rispetto alla relazione reale tra input e output, e una accuratezza bassa sia sul set di addestramento sia sui dati di test.

Segnali di underfitting#

Il segnale più evidente è una perdita di addestramento che rimane alta. Quando la funzione di perdita si stabilizza ben al di sopra di un livello accettabile e la perdita sui dati di validazione le resta vicina, il modello non apprende abbastanza; la piccola differenza tra le due mostra che la memorizzazione non è il problema. Le curve di apprendimento, che rappresentano l'errore in funzione delle dimensioni del set di addestramento, mostrano un secondo segnale: entrambe le curve si appiattiscono con un errore elevato, quindi aggiungere altri dati dello stesso tipo aiuta poco. Nel rilevamento degli oggetti, un modello con un basso punteggio di precisione media media (mAP) proprio sulle immagini su cui è stato addestrato è in underfitting: è uno dei controlli indicati nella guida ai test dei modelli di Ultralytics. Confrontare entrambe le perdite permette di distinguere l'underfitting dall'overfitting:

Cause comuni#

• Capacità insufficiente: La famiglia di modelli non è in grado di rappresentare lo schema, per esempio un modello lineare applicato a dati curvi o una rete molto piccola per un compito di visione complesso.
• Numero insufficiente di epoche: Interrompere presto l'addestramento o usare un tasso di apprendimento troppo basso per progredire nel tempo disponibile ferma l'ottimizzatore prima che converga.
• Regolarizzazione eccessiva: Un forte decadimento dei pesi, tassi di dropout elevati o un aumento dei dati molto aggressivo vincolano il modello al punto da impedirgli di adattarsi al segnale.
• Caratteristiche poco informative: Variabili mancanti o immagini ridimensionate fino a far scomparire gli oggetti piccoli eliminano le informazioni necessarie al modello.
• Gradienti evanescenti e altri problemi di ottimizzazione: Gli strati iniziali di una rete profonda smettono di apprendere anche quando il modello ha capacità sufficiente.

Underfitting nel codice#

L'esempio seguente adatta campioni rumorosi di una curva sinusoidale con una retta e con un polinomio cubico usando scikit-learn, quindi calcola l'errore quadratico medio (MSE) sui punti di addestramento e di test:

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures

# Noisy samples of a curved function
rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, size=(200, 1))
y = np.sin(x).ravel() + rng.normal(0, 0.1, size=200)
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0)

# A straight line underfits; a cubic polynomial has enough capacity for the curve
for degree in (1, 3):
    model = make_pipeline(PolynomialFeatures(degree), LinearRegression()).fit(x_train, y_train)
    train_mse = mean_squared_error(y_train, model.predict(x_train))
    test_mse = mean_squared_error(y_test, model.predict(x_test))
    print(f"degree {degree}: train MSE {train_mse:.3f}, test MSE {test_mse:.3f}")

La retta ottiene un MSE di addestramento pari a 0.193 e un MSE di test pari a 0.188, entrambi elevati e quasi uguali: è il tipico segnale di underfitting. Il cubico riduce entrambi i valori a 0.013 e 0.017, vicini al limite minimo di 0.010 imposto dal rumore aggiunto ai dati.

Come correggere l'underfitting#

Gli interventi puntano alla causa: un modello più grande o espressivo, un addestramento più lungo con un tasso di apprendimento adeguato, una regolarizzazione più debole o una maggiore aumento dei dati e input più ricchi, ad esempio con risoluzione delle immagini superiore. YOLO26 è disponibile nelle dimensioni n, s, m, l e x, che scalano profondità e larghezza di un'unica architettura; passare da yolo26n.pt a una dimensione superiore è quindi il primo intervento abituale quando le perdite di addestramento e validazione nel results.csv di un'esecuzione restano elevate. Gli oggetti piccoli sono un caso comune nella visione artificiale: un rilevatore che elabora riprese da drone a bassa risoluzione di input non rileva gli oggetti piccoli che una risoluzione maggiore conserverebbe.

Underfitting e overfitting a confronto#

Underfitting e overfitting sono le due modalità di errore del compromesso bias-varianza. Un modello in underfitting ha bias elevato e commette errori simili sui dati di addestramento e su quelli nuovi; un modello in overfitting ha varianza elevata, si adatta strettamente ai dati di addestramento, compreso il rumore, e generalizza male. La rappresentazione classica è una curva a U dell'errore di test, con l'underfitting a sinistra e l'overfitting a destra. Le grandi reti neurali complicano il quadro con la doppia discesa, in cui l'errore di test può diminuire di nuovo quando un modello è abbastanza grande da adattarsi perfettamente ai dati di addestramento, un fenomeno osservato al variare delle dimensioni del modello e delle epoche di addestramento.