Modello Ensemble

Come funzionano i gruppi di modelli

L'idea alla base dell'ensembling dei modelli è che combinando diversi modelli - modelli addestrati in modo diverso o utilizzando algoritmi diversi - i loro errori individuali possano annullarsi a vicenda, portando a una previsione finale più accurata e affidabile. Le strategie più comuni per combinare i risultati dei modelli includono:

• Media/voto: Per i compiti di regressione, le previsioni dei singoli modelli vengono mediate. Per i compiti di classificazione, la previsione finale è determinata da un voto di maggioranza (voto duro) o dalla media delle probabilità previste (voto morbido).
• Bagging (aggregazione Bootstrap): Più istanze dello stesso modello di base(alberi decisionali, ad esempio) vengono addestrate in modo indipendente su diversi sottoinsiemi casuali dei dati di addestramento. L'algoritmo Random Forest è un classico esempio di bagging.
• Boosting: I modelli vengono addestrati in modo sequenziale e ogni nuovo modello si concentra sulla correzione degli errori commessi da quelli precedenti. Alcuni esempi sono AdaBoost, Gradient Boosting e XGBoost.
• Accatastamento: Le previsioni di diversi modelli di base (ad esempio, un SVM, una rete neurale e un modello k-Nearest Neighbors ) vengono utilizzate come caratteristiche di input per un "meta-modello" finale (spesso un modello più semplice come la regressione logistica) che impara a combinare al meglio queste previsioni.

Nel contesto dell'apprendimento profondo, gli ensemble possono prevedere la combinazione di modelli con architetture diverse (come una CNN e un Vision Transformer (ViT)), modelli addestrati con iperparametri diversi o modelli addestrati su sottoinsiemi di dati diversi. Anche tecniche come il salvataggio di checkpoint del modello in epoche diverse e il loro assemblaggio (snapshot ensembling) possono essere efficaci.

Modello Ensemble vs. Metodi Ensemble

Pur essendo strettamente correlati, questi termini hanno sfumature leggermente diverse.

• Metodi Ensemble: Si riferisce all'ampia categoria di tecniche o algoritmi (come bagging, boosting, stacking) utilizzati per creare e combinare più modelli. Si tratta di una metodologia.
• Ensemble di modelli: In genere si riferisce allo specifico gruppo di modelli che sono stati combinati utilizzando un metodo di ensemble. Si tratta del modello composito risultante.

In sostanza, si utilizzano i metodi di ensemble per creare un ensemble di modelli.

Vantaggi e considerazioni

L'utilizzo di ensemble di modelli offre vantaggi significativi:

• Migliori prestazioni: Gli ensemble spesso raggiungono un'accuratezza maggiore e una migliore generalizzazione rispetto a qualsiasi modello singolo, vincendo spesso le competizioni di apprendimento automatico.
• Maggiore robustezza: Facendo una media degli errori o delle distorsioni dei singoli modelli, gli ensemble sono meno sensibili ai valori anomali o al rumore dei dati e meno inclini all'overfitting.
• Riduzione degli errori: La combinazione di diversi modelli aiuta a ridurre il rischio di affidarsi a un unico modello difettoso.

Tuttavia, ci sono delle considerazioni da fare:

• Maggiore complessità: La formazione, la gestione e la distribuzione di più modelli è intrinsecamente più complessa rispetto alla gestione di un singolo modello. La distribuzione dei modelli diventa più complessa.
• Costo computazionale più elevato: L'addestramento di più modelli richiede più risorse di calcolo (CPU/GPU) e tempo. Anche l 'inferenza può essere più lenta perché le previsioni di tutti i modelli di base devono essere calcolate e combinate.
• Interpretabilità: Capire perché un ensemble fa una determinata previsione può essere più impegnativo che interpretare un singolo modello più semplice, anche se le tecniche di Explainable AI (XAI) si stanno evolvendo.

Piattaforme come Ultralytics HUB possono aiutare a gestire le complessità della formazione e del monitoraggio di più modelli, semplificando potenzialmente la creazione di ensemble efficaci.

Applicazioni del mondo reale

Gli ensemble di modelli sono ampiamente utilizzati in vari ambiti:

1. Rilevamento degli oggetti nella visione artificiale: In compiti come la guida autonoma o la sorveglianza della sicurezza, diversi modelli di rilevamento degli oggetti (ad esempio, diverse versioni di Ultralytics YOLO come YOLOv8 e YOLOv10, o modelli come RT-DETR) potrebbero essere assemblati. Ad esempio, la combinazione di modelli addestrati su incrementi diversi o in fasi diverse dell'addestramento(l'incremento del tempo di prova può essere visto come una forma di assemblaggio) può migliorare l'accuratezza del rilevamento e la robustezza in condizioni difficiliYOLOv5 Guida all'assemblaggio dei modelliYOLOv5 ).
2. Diagnosi medica: Gli ensemble possono combinare le previsioni di diversi modelli che analizzano immagini mediche (come radiografie o risonanze magnetiche) o dati dei pazienti. Un modello potrebbe eccellere nel rilevare determinate anomalie, mentre un altro è più bravo in altre. L'unione di questi modelli può portare a uno strumento diagnostico più affidabile, fondamentale per applicazioni come il rilevamento dei tumori.
3. Previsioni finanziarie: Prevedere i prezzi delle azioni o il rischio di credito comporta spesso un'elevata incertezza. L'assemblaggio di modelli addestrati su diverse finestre di dati storici o utilizzando diversi indicatori economici può fornire previsioni più stabili e accurate rispetto a qualsiasi singolo modello predittivo. Scopri di più sull'IA nella finanza.
4. Controllo della qualità della produzione: La combinazione di modelli che ispezionano i prodotti da diverse angolazioni o che si concentrano su diversi tipi di difetti può creare un sistema di ispezione della qualità più completo di un singolo modello di visione(Computer Vision in Manufacturing).

L'ensembling di modelli è una tecnica potente per spingere i limiti delle prestazioni dei sistemi di ML, rendendola uno strumento prezioso nella cassetta degli attrezzi degli sviluppatori di AI.