Regolarizzazione

La regolarizzazione è un insieme di tecniche utilizzate nell'apprendimento automatico (ML) per prevenire un problema comune noto come overfitting. Quando un modello si adatta eccessivamente, apprende troppo bene i dati di addestramento, compresi i rumori e le fluttuazioni casuali, il che influisce negativamente sulla sua capacità di generalizzare e fare previsioni accurate su nuovi dati non visti. La regolarizzazione funziona aggiungendo alla funzione di perdita una penalità per la complessità del modello, scoraggiando il modello dall'apprendere modelli troppo complessi. In questo modo si crea un modello più semplice e generalizzabile, che ha prestazioni migliori sia sui dati di addestramento che su quelli di validazione.

Tecniche di regolarizzazione comuni

Esistono diverse tecniche di regolarizzazione ampiamente utilizzate che aiutano a migliorare le prestazioni e la robustezza del modello:

• Regolarizzazione L1 e L2: Sono le forme più comuni di regolarizzazione. Aggiungono una penalità alla funzione di perdita in base alla dimensione dei pesi del modello. La regolarizzazione L1 (Lasso) tende a ridurre i pesi delle caratteristiche meno importanti esattamente a zero, effettuando di fatto una selezione delle caratteristiche. La regolarizzazione L2 (Ridge o Weight Decay) costringe i pesi a essere piccoli ma raramente nulli. Per un approfondimento delle differenze matematiche si possono consultare risorse come gli appunti del corso CS229 di Stanford.
• Strato di abbandono: Questa tecnica è specifica delle reti neurali. Durante l'addestramento, azzera in modo casuale una frazione delle attivazioni dei neuroni a ogni passo di aggiornamento. In questo modo si evita che i neuroni si coadattino troppo e si costringe la rete ad apprendere caratteristiche più robuste. Il concetto è stato introdotto in un articolo di ricerca molto influente.
• Aumento dei dati: Ampliando artificialmente le dimensioni e la diversità dei dati di addestramento, l'aumento dei dati aiuta il modello a diventare più invariante a piccoli cambiamenti. Le tecniche più comuni includono la rotazione, il ritaglio, il ridimensionamento e lo spostamento dei colori nelle immagini. Ultralytics offre metodi di incremento dei dati YOLO integrati per migliorare la robustezza del modello.
• Arresto anticipato: Si tratta di un metodo pratico in cui le prestazioni del modello su un set di validazione vengono monitorate durante l'addestramento. Il processo di addestramento viene interrotto quando le prestazioni di validazione smettono di migliorare, evitando che il modello inizi a sovra-adattarsi nelle epoche successive. Una guida pratica sull'implementazione dell'arresto anticipato è disponibile nella documentazione di PyTorch.

Applicazioni del mondo reale

La regolarizzazione è fondamentale per sviluppare modelli di deep learning (DL) efficaci in vari campi.

1. Visione artificiale: Nei modelli di rilevamento degli oggetti come Ultralytics YOLO, la regolarizzazione è fondamentale per generalizzare da insiemi di dati come COCO alle applicazioni del mondo reale. Ad esempio, nell'IA per le soluzioni automobilistiche, la regolarizzazione L2 e il dropout aiutano un rilevatore di segnali stradali a funzionare in modo affidabile in condizioni di illuminazione e meteorologiche diverse, impedendogli di memorizzare gli esempi specifici visti durante l'addestramento.
2. Elaborazione del linguaggio naturale (NLP): I modelli linguistici di grandi dimensioni (LLM) sono soggetti a overfitting a causa dell'enorme numero di parametri. In applicazioni come la traduzione automatica, il dropout viene utilizzato nelle architetture dei trasformatori per garantire che il modello apprenda le regole grammaticali e le relazioni semantiche, anziché limitarsi a memorizzare specifiche coppie di frasi dai dati di addestramento.

Regolarizzazione e altri concetti

È importante differenziare la regolarizzazione da altri concetti correlati nel ML:

• Regolarizzazione vs. Normalizzazione: La normalizzazione è una tecnica di pre-elaborazione dei dati che scala le caratteristiche in ingresso a un intervallo standard (ad esempio, da 0 a 1). Garantisce che nessuna singola caratteristica domini il processo di apprendimento a causa della sua scala. La regolarizzazione, invece, è una tecnica che limita la complessità del modello durante l'addestramento per evitare l'overfitting. Sebbene entrambe migliorino le prestazioni del modello, la normalizzazione si concentra sui dati, mentre la regolarizzazione si concentra sul modello stesso. La normalizzazione batch è una tecnica di normalizzazione a livelli che fornisce anche un leggero effetto di regolarizzazione.
• Regolarizzazione e regolazione degli iperparametri: Le tecniche di regolarizzazione hanno i loro iperparametri, come la forza di regolarizzazione (lambda) in L1/L2 o il tasso di abbandono. La regolazione degli iperparametri è il processo di ricerca dei valori ottimali per queste impostazioni, spesso automatizzato con strumenti come la classe Ultralytics Tuner. In breve, si utilizza la regolazione degli iperparametri per trovare il modo migliore di applicare la regolarizzazione. Piattaforme come Ultralytics HUB possono aiutare a gestire gli esperimenti necessari per questo processo.