Underfitting

L'underfitting è un problema comune nel machine learning (ML) in cui un modello è troppo semplice per catturare i modelli sottostanti nei dati di addestramento. Questa semplicità gli impedisce di apprendere la relazione tra le caratteristiche di input e la variabile target, portando a scarse prestazioni sia sui dati su cui è stato addestrato sia su dati nuovi e non visti. Un modello underfit ha un elevato bias, il che significa che fa ipotesi forti, spesso errate, sui dati. Ciò si traduce in un modello che non riesce a raggiungere un alto livello di accuratezza e non può generalizzare bene.

Underfitting Vs. Overfitting

L'underfitting e l'overfitting sono due sfide chiave nel Machine Learning che riguardano la capacità di un modello di generalizzare dai dati di addestramento a nuovi dati. Rappresentano due estremi nello spettro della complessità del modello.

• Sottoadattamento (Underfitting): Il modello è troppo semplice e ha un bias elevato. Non riesce ad apprendere la struttura sottostante dei dati, il che si traduce in un valore elevato della funzione di loss e in prestazioni scadenti sia sui dataset di training che di validazione.
• Overfitting: Il modello è troppo complesso e ha un'alta varianza. Apprende troppo bene i dati di training, inclusi il rumore e le fluttuazioni casuali. Ciò si traduce in prestazioni eccellenti sul set di training ma scarse prestazioni su dati non visti, poiché il modello ha essenzialmente memorizzato gli esempi di training invece di apprendere pattern generali.

L'obiettivo finale nel ML è trovare un equilibrio tra questi due, un concetto noto come tradeoff bias-varianza, per creare un modello che si generalizzi efficacemente a nuovi scenari del mondo reale. L'analisi delle curve di apprendimento è un metodo comune per diagnosticare se un modello è in underfitting, overfitting o ben adattato.

Cause e soluzioni per l'underfitting

Identificare e affrontare l'underfitting è fondamentale per costruire modelli efficaci. Il problema deriva in genere da alcune cause comuni, ognuna con le relative soluzioni.

• Il modello è troppo semplice: L'utilizzo di un modello lineare per un problema complesso e non lineare è una causa classica di underfitting.
  • Soluzione: Aumentare la complessità del modello. Ciò potrebbe comportare il passaggio a un'architettura di modello più potente, come una rete neurale più profonda o un modello pre-addestrato più grande, passando da una variante di modello Ultralytics YOLO più piccola a una più grande. È possibile esplorare vari confronti tra modelli YOLO per selezionare un'architettura più adatta.
• Caratteristiche Insufficienti o di Scarsa Qualità: Se le feature di input fornite al modello non contengono informazioni sufficienti per fare previsioni accurate, il modello sarà sottodimensionato.
  • Soluzione: Migliorare le caratteristiche attraverso l'ingegnerizzazione delle feature. Ciò potrebbe comportare la creazione di nuove feature, l'utilizzo di feature polinomiali o l'applicazione di diverse tecniche di pre-elaborazione dei dati per rappresentare meglio i modelli sottostanti. È anche possibile applicare tecniche di selezione delle feature.
• Addestramento Insufficiente: Il modello potrebbe non essere stato addestrato a sufficienza epoche per apprendere i modelli nei dati.
  • Soluzione: Aumentare la durata dell'addestramento. È importante monitorare le metriche di validazione per garantire che un addestramento più lungo non porti a un overfitting. Strumenti come Ultralytics HUB possono aiutarti a monitorare e gestire i tuoi esperimenti di addestramento.
• Regolarizzazione eccessiva: Tecniche come Regolarizzazione L1 e L2 o alto dropout I tassi vengono utilizzati per prevenire l'overfitting, ma se sono troppo aggressivi, possono vincolare eccessivamente il modello e causare underfitting.
  • Soluzione: Ridurre la quantità di regolarizzazione. Ciò potrebbe significare ridurre il termine di penalità nelle funzioni di regolarizzazione o ridurre il tasso di dropout. Seguire le best practice per l'addestramento dei modelli può aiutare a trovare il giusto equilibrio.

Esempi reali di Underfitting

1. Classificatore di immagini semplice: Immagina di addestrare una rete neurale convoluzionale (CNN) molto semplice con solo uno o due livelli su un complesso compito di classificazione di immagini, come l'identificazione di migliaia di categorie di oggetti nel dataset ImageNet. La capacità limitata del modello gli impedirebbe di apprendere le intricate feature necessarie per distinguere tra così tante classi, con conseguente bassa accuratezza sia sui dati di addestramento che sui dati di test. Framework come PyTorch e TensorFlow forniscono gli strumenti per costruire architetture più sofisticate per superare questo problema.
2. Manutenzione predittiva di base: Si consideri l'utilizzo di un semplice modello di regressione lineare per la modellazione predittiva per stimare quando una macchina si guasterà in base solo alla sua temperatura di esercizio. Se i guasti della macchina sono effettivamente influenzati da una complessa interazione non lineare di fattori come vibrazioni, età e pressione, il semplice modello lineare sarà insufficiente. Non può catturare la vera complessità del sistema, portando a scarse prestazioni predittive e all'incapacità di anticipare i guasti con precisione. Un modello più complesso, come una macchina di potenziamento del gradiente o una rete neurale, sarebbe più appropriato.