Hyperparameter Tuning

L'ottimizzazione degli iperparametri è il processo iterativo di perfezionamento delle variabili di configurazione esterne che regolano il processo di addestramento di un modello di machine learning (ML). A differenza dei parametri interni, come i pesi e i bias che vengono appresi dai dati durante l'addestramento, gli iperparametri vengono impostati dal data scientist o dall'ingegnere prima che inizi il processo di apprendimento. Queste impostazioni controllano la struttura del modello e il comportamento dell'algoritmo, fungendo da "manopole e quadranti" per rifinire le prestazioni. Trovare la combinazione ideale di questi valori è fondamentale per massimizzare metriche come precisione (accuracy) ed efficienza, facendo spesso la differenza tra un modello mediocre e una soluzione all'avanguardia.

Link to this sectionConcetti e tecniche fondamentali#

L'insieme di tutte le possibili combinazioni di iperparametri crea uno spazio di ricerca ad alta dimensionalità. I professionisti utilizzano varie strategie per navigare in questo spazio e trovare la configurazione ottimale che minimizza la funzione di perdita (loss function).

• Grid Search: Questo metodo esaustivo valuta il modello per ogni combinazione specificata di parametri in una griglia. Sebbene approfondito, è computazionalmente costoso e soffre della maledizione della dimensionalità quando si ha a che fare con molte variabili.
• Random Search: Invece di testare ogni combinazione, questa tecnica seleziona combinazioni casuali di iperparametri. La ricerca suggerisce che spesso sia più efficiente della grid search, poiché esplora lo spazio di ricerca in modo più efficace per i parametri di maggiore impatto.
• Ottimizzazione Bayesiana: Questo approccio probabilistico costruisce un modello surrogato per prevedere quali iperparametri produrranno i risultati migliori sulla base di valutazioni passate, concentrando la ricerca sulle aree più promettenti.
• Algoritmi Evolutivi: Ispirato dall'evoluzione biologica, questo metodo utilizza meccanismi come mutazione e crossover per evolvere una popolazione di configurazioni nel corso delle generazioni. Questo è il metodo principale utilizzato dalla libreria ultralytics per ottimizzare architetture moderne come YOLO26.

Link to this sectionOttimizzazione degli iperparametri vs. Addestramento del modello#

È essenziale distinguere tra ottimizzazione e addestramento, poiché rappresentano fasi distinte nel ciclo di vita MLOps:

• Addestramento del modello: Il processo in cui l'algoritmo itera sui dati di addestramento per apprendere i parametri interni tramite backpropagation. L'obiettivo è minimizzare l'errore sul set di addestramento.
• Ottimizzazione degli iperparametri: Il meta-processo di selezione delle impostazioni operative, come learning rate, batch size e momentum, prima che inizi l'addestramento. L'obiettivo è massimizzare le prestazioni sui dati di validazione per prevenire l'overfitting.

Link to this sectionApplicazioni nel mondo reale#

Modelli ottimizzati in modo efficace sono fondamentali per implementare soluzioni robuste in ambienti complessi.

Link to this sectionAgricoltura di precisione#

Nell'AI in agricoltura, droni autonomi utilizzano la computer vision per identificare erbe infestanti e malattie delle colture. Questi modelli spesso vengono eseguiti su dispositivi edge con durata limitata della batteria. Gli ingegneri utilizzano l'ottimizzazione degli iperparametri per ottimizzare la pipeline di data augmentation e la risoluzione di input, assicurando che il modello bilanci elevate velocità di inferenza con la precisione necessaria per irrorare solo le erbe infestanti, riducendo l'uso di prodotti chimici.

Link to this sectionDiagnostica medica#

Per l'AI nel settore sanitario, specificamente nell'analisi di immagini mediche, un falso negativo può avere conseguenze gravi. Quando addestrano modelli per rilevare anomalie nelle scansioni MRI, i professionisti ottimizzano in modo aggressivo gli iperparametri relativi alla ponderazione delle classi e alla focal loss. Questa ottimizzazione massimizza il recall, garantendo che anche segni sottili di patologia vengano segnalati per la revisione umana, aiutando significativamente nella diagnosi precoce.

Link to this sectionOttimizzazione automatizzata con Ultralytics#

La libreria ultralytics semplifica l'ottimizzazione includendo un tuner integrato che utilizza algoritmi genetici. Ciò consente agli utenti di cercare automaticamente i migliori iperparametri per i propri dataset personalizzati senza tentativi manuali. Per operazioni su larga scala, i team possono sfruttare la Ultralytics Platform per gestire dataset e visualizzare questi esperimenti di ottimizzazione nel cloud.

Il seguente esempio dimostra come avviare l'ottimizzazione degli iperparametri per un modello YOLO26. Il tuner muterà gli iperparametri nel corso di diverse iterazioni per massimizzare la Mean Average Precision (mAP).

from ultralytics import YOLO

# Initialize a YOLO26 model (using the 'nano' weight for speed)
model = YOLO("yolo26n.pt")

# Start tuning hyperparameters on the COCO8 dataset
# The tuner runs for 30 epochs per iteration, evolving parameters like lr0 and momentum
model.tune(data="coco8.yaml", epochs=30, iterations=100, optimizer="AdamW", plots=False)

Automatizzando questo processo, gli sviluppatori possono avvicinarsi al concetto di Automated Machine Learning (AutoML), in cui il sistema si auto-ottimizza per ottenere le migliori prestazioni possibili per un compito specifico.