Ensemble

Come funzionano gli ensemble

I metodi ensemble funzionano addestrando prima più modelli di base. Questi modelli possono essere dello stesso tipo (ensemble omogeneo) o di tipi diversi (ensemble eterogeneo), ad esempio combinando alberi decisionali, macchine vettoriali di supporto (SVM) e reti neurali (NN). La chiave è spesso quella di incoraggiare la diversità tra i modelli di base, ottenuta attraverso tecniche come l'addestramento su sottoinsiemi diversi dei dati di addestramento o l'utilizzo di algoritmi o iperparametri diversi. Una volta addestrati, le previsioni di questi singoli modelli vengono combinate utilizzando una strategia specifica. Le strategie più comuni includono la media delle previsioni (per i compiti di regressione) o l'utilizzo della votazione a maggioranza (per i compiti di classificazione). Metodi più sofisticati potrebbero prevedere la media ponderata o l'apprendimento di un altro modello (un meta-apprendista) per determinare il modo ottimale di combinare i risultati dei modelli di base.

Vantaggi dell'uso degli ensemble

L'impiego di metodi d'insieme offre diversi vantaggi significativi:

• Migliori prestazioni predittive: Gli ensemble di solito offrono un'accuratezza maggiore e prestazioni migliori su metriche come l'F1-score rispetto ai modelli singoli, riducendo l'errore complessivo.
• Maggiore robustezza: Facendo una media delle previsioni di più modelli, gli ensemble sono meno sensibili alle peculiarità o al rumore dei dati di formazione e alle debolezze specifiche dei singoli apprendisti. Questo aiuta a ridurre il rischio di overfitting.
• Migliore generalizzazione: Gli ensemble tendono a generalizzare meglio ai dati di prova non visti perché catturano una gamma più ampia di modelli e hanno meno probabilità di essere influenzati da aspetti specifici dell'insieme di formazione. Questo aspetto è legato alla gestione del compromesso bias-varianza.

Tecniche comuni di ensemble

Vengono utilizzate diverse tecniche consolidate per creare ensemble efficaci:

• Bagging (Aggregazione Bootstrap): Comporta l'addestramento di più istanze dello stesso discente di base su diversi sottoinsiemi casuali dei dati di addestramento (campionati con sostituzione). Le previsioni sono tipicamente aggregate tramite votazione o media. Random Forest è un esempio popolare di tecnica di bagging che utilizza alberi decisionali.
• Incremento: Costruisce l'ensemble in modo sequenziale. Ogni nuovo modello si concentra sulla correzione degli errori commessi dai modelli precedenti. Alcuni esempi sono AdaBoost e Gradient Boosting Machines (GBM).
• Accatastamento (Stacked Generalization): Combina le previsioni di più modelli di base diversi (ad es. Ultralytics YOLO Ultralytics, un modello RT-DETR e un SVM) addestrando un metamodello (ad esempio, la regressione logistica) per imparare a combinare al meglio i loro risultati. Per saperne di più sulla generalizzazione dell'impilamento.

Distinzione dai termini correlati

È importante distinguere gli ensemble da altri concetti di ML:

• Singolo modello complesso: Mentre un singolo modello di grandi dimensioni (come una CNN profonda o un Vision Transformer (ViT)) può essere molto potente, un ensemble combina più modelli, spesso più semplici, per ottenere robustezza e potenzialmente una maggiore precisione.
• Apprendimento per trasferimento: Consiste nel riutilizzare un modello pre-addestrato (o parti di esso) come punto di partenza per un nuovo compito, piuttosto che combinare gli output di più modelli addestrati in modo indipendente.
• Apprendimento multimodale: Si concentra sull'addestramento di modelli in grado di elaborare e integrare le informazioni provenienti da diversi tipi di dati (ad esempio, immagini e testi), mentre gli ensemble combinano tipicamente modelli che lavorano sullo stesso tipo di dati e di compito.

Applicazioni del mondo reale

I metodi ensemble sono ampiamente utilizzati in diversi ambiti grazie ai loro vantaggi in termini di prestazioni:

1. Computer Vision per sistemi autonomi: Nei veicoli autonomi e nei sistemi avanzati di assistenza alla guida (ADAS), gli ensemble di modelli di rilevamento degli oggetti (magari combinando architetture diverse come YOLOv10 e YOLO11o modelli addestrati con diverse strategie di aumento dei dati ) possono fornire un rilevamento più affidabile di pedoni, veicoli e ostacoli attenuando le modalità di fallimento di ogni singolo modello. Tecniche come la Test-Time Augmentation (TTA), che calcola la media delle previsioni sulle versioni aumentate dell'immagine di ingresso, possono essere viste come una forma di ensembling al momento dell'inferenza.
2. Rilevamento delle frodi finanziarie: Gli istituti finanziari utilizzano spesso insiemi di modelli diversi(regressione logistica, gradient boosting, reti neurali) per rilevare le transazioni fraudolente. La combinazione di modelli che catturano diversi modelli e tipi di comportamento fraudolento porta a un sistema di rilevamento più robusto e accurato, fondamentale per ridurre al minimo le perdite finanziarie. Per saperne di più sull'IA nella finanza.
3. Analisi delle immagini mediche: Gli ensemble di CNN vengono utilizzati nell'analisi delle immagini mediche per compiti come il rilevamento dei tumori o la classificazione delle malattie (ad esempio, utilizzando YOLO11 per il rilevamento dei tumori). La combinazione di modelli addestrati su sottoinsiemi di dati diversi o con architetture diverse può migliorare l'accuratezza e l'affidabilità diagnostica.
4. Piattaforme di competizione: Gli ensemble sono notoriamente efficaci nelle competizioni di apprendimento automatico, dove i partecipanti spesso combinano più modelli ad alte prestazioni per ottenere un vantaggio competitivo.

Vantaggi e considerazioni

Pur essendo potenti, gli ensemble aumentano la complessità e i requisiti computazionali per l'addestramento e la distribuzione dei modelli. La gestione di più modelli richiede più risorse e un'attenta progettazione. Tuttavia, i significativi guadagni in termini di prestazioni spesso giustificano questi costi nelle applicazioni critiche. Piattaforme come Ultralytics HUB possono semplificare la gestione e l'addestramento di più modelli, facilitando potenzialmente la creazione e la distribuzione di ensemble efficaci costruiti con framework come PyTorch o TensorFlow. Valutare il compromesso tra l'aumento delle prestazioni e la maggiore complessità durante la valutazione dei modelli è essenziale per le applicazioni pratiche.