Alla scoperta dell'ensemble learning e del suo ruolo nell'AI e nel ML

Per una panoramica visiva dei concetti trattati in questo articolo, guarda il video qui sotto.

Le innovazioni dell’AI, come i motori di raccomandazione e i sistemi di rilevamento delle frodi, si affidano ad algoritmi e modelli di machine learning per fare previsioni e prendere decisioni basate sui dati. Questi modelli possono identificare schemi, prevedere tendenze e contribuire ad automatizzare attività complesse.

Tuttavia, un singolo modello può avere difficoltà a cogliere tutti i dettagli dei dati del mondo reale. Potrebbe funzionare bene in alcuni casi, ma rivelarsi insufficiente in altri, ad esempio quando un modello di rilevamento delle frodi non riconosce nuovi tipi di transazioni.

Questa limitazione è una difficoltà che gli ingegneri dell’AI affrontano spesso quando costruiscono e distribuiscono modelli di machine learning. Alcuni modelli vanno in overfitting imparando i dati di addestramento in modo troppo specifico, mentre altri vanno in underfitting perché non colgono schemi importanti. L’apprendimento ensemble è una tecnica di AI che aiuta ad affrontare queste difficoltà combinando più modelli, noti come modelli di base, in un unico sistema più potente.

Puoi immaginarlo come un team di esperti che collabora per risolvere un problema. In questo articolo esploreremo cos’è l’apprendimento ensemble, come funziona e dove può essere utilizzato. Iniziamo!

Che cos’è l’apprendimento ensemble?#

L’apprendimento ensemble indica un insieme di tecniche che combinano più modelli per risolvere lo stesso problema e produrre un unico risultato migliorato. Può essere applicato sia nell’apprendimento supervisionato (in cui i modelli imparano da dati etichettati) sia nell’apprendimento non supervisionato (in cui i modelli individuano schemi nei dati non etichettati).

Invece di affidarsi a un solo modello per fare previsioni, un ensemble utilizza diversi modelli, ognuno dei quali analizza i dati a modo proprio. Quando i loro output vengono combinati, il risultato è spesso più accurato, stabile e generalizzabile di quello che un singolo modello potrebbe ottenere da solo.

Puoi paragonarlo a un gruppo di analisti che affronta lo stesso problema. Ogni analista, o singolo modello, interpreta i dati in modo diverso.

Uno potrebbe concentrarsi sugli schemi, un altro sulle anomalie e un altro ancora sul contesto. Riunendo le loro prospettive, il gruppo può prendere una decisione più equilibrata e affidabile di qualsiasi valutazione individuale.

Questo approccio aiuta anche ad affrontare due delle principali difficoltà del machine learning: bias e varianza. Un modello con bias elevato è troppo semplice e trascura schemi importanti, mentre uno con varianza elevata è eccessivamente sensibile e si adatta troppo ai dati di addestramento. Combinando i modelli, l’apprendimento ensemble trova un equilibrio tra i due, migliorando le prestazioni del sistema su dati nuovi e mai osservati.

Capire come funziona l’apprendimento ensemble#

Ogni modello di un ensemble è noto come modello di base o learner di base. Questi modelli possono essere dello stesso tipo di algoritmo oppure una combinazione di algoritmi diversi, a seconda della tecnica ensemble utilizzata.

Ecco alcuni esempi comuni dei diversi modelli utilizzati nell’apprendimento ensemble:

• Alberi decisionali: questi modelli suddividono i dati in rami in base ai valori delle caratteristiche per prendere decisioni. Ad esempio, nei problemi di classificazione, come prevedere se un cliente acquisterà un prodotto, considerano fattori quali età, reddito e cronologia di navigazione.
• Reti neurali: ispirate al modo in cui il cervello umano elabora le informazioni, costituiscono l’architettura di base della maggior parte dei moderni modelli di AI e machine learning.
• Macchine a vettori di supporto (SVMs): questi algoritmi classificano i dati trovando un confine decisionale ottimale, chiamato iperpiano, che massimizza il margine tra classi diverse. In altre parole, l’SVM traccia la linea migliore possibile per separare i gruppi, lasciando il maggior spazio tra loro. Ad esempio, può essere utilizzato per determinare se un’e-mail è spam o meno sulla base di schemi come la frequenza e la struttura delle parole.
• Modelli di regressione logistica: stimano le probabilità e vengono spesso utilizzati per attività di classificazione binaria. Un esempio tipico è prevedere se una transazione è fraudolenta o legittima.

Un ensemble di modelli combinato viene generalmente chiamato learner forte perché integra i punti di forza dei learner di base (chiamati anche modelli deboli), riducendone al minimo i punti deboli. Lo fa combinando le previsioni di ciascun modello in modo strutturato, utilizzando il voto di maggioranza per le attività di classificazione o la media ponderata per le attività di regressione, così da produrre un risultato finale più accurato.

Fig. 1. Un esempio di apprendimento ensemble (Fonte)

Quando utilizzare l’apprendimento ensemble#

Prima di esaminare le varie tecniche di apprendimento ensemble, facciamo un passo indietro e capiamo quando utilizzare questo tipo di approccio in un progetto di machine learning o AI.

L’apprendimento ensemble è particolarmente efficace quando un singolo modello ha difficoltà a produrre previsioni accurate o coerenti. Può essere utilizzato anche in situazioni in cui i dati sono complessi, rumorosi o imprevedibili.

Ecco alcuni casi comuni in cui i metodi ensemble sono particolarmente efficaci:

• Bassa accuratezza del modello: quando le previsioni di un singolo modello non sono abbastanza affidabili, combinare più modelli può migliorare significativamente l’accuratezza e le prestazioni. Ad esempio, nella valutazione del merito creditizio o nella diagnostica medica, anche piccoli miglioramenti nell’accuratezza delle previsioni possono fare una grande differenza.
• Dati rumorosi o incoerenti: se un dataset contiene valori anomali, errori o fluttuazioni casuali, l’apprendimento ensemble aiuta ad attenuare queste irregolarità calcolando la media o il voto tra più modelli.
• Necessità di robustezza: i modelli ensemble sono meno sensibili a piccoli cambiamenti nei dati, risultando più stabili e affidabili negli ambienti di produzione, dove gli input del mondo reale possono variare.
• Attività di previsione complesse: in attività come il riconoscimento delle immagini, il rilevamento delle frodi o la previsione di serie temporali, gli ensemble colgono una gamma più ampia di schemi e relazioni rispetto a quanto potrebbe fare un singolo modello.

È inoltre più semplice da addestrare, più facile da interpretare e più veloce da mantenere. Prima di utilizzare un ensemble, è importante valutare il vantaggio di una maggiore accuratezza rispetto al tempo aggiuntivo, alla potenza di calcolo e alla complessità richiesti.

Panoramica delle tecniche di apprendimento ensemble#

Ora esaminiamo i principali modi in cui l’apprendimento ensemble può essere applicato nei progetti di machine learning. Esistono diverse tecniche fondamentali per combinare i modelli, ognuna delle quali migliora le prestazioni a modo proprio. I metodi ensemble più comuni sono bagging, boosting, stacking e blending.

Bagging#

Il bagging, abbreviazione di aggregazione bootstrap, è un metodo di apprendimento ensemble che aiuta a migliorare la stabilità e l’accuratezza del modello addestrando più versioni dello stesso modello su parti diverse dei dati.

Ogni sottoinsieme viene creato utilizzando un processo chiamato campionamento bootstrap, in cui i punti dati vengono selezionati casualmente con reinserimento. Ciò significa che, dopo aver scelto un punto dati, questo viene reinserito nell’insieme prima di selezionare il successivo; lo stesso punto può quindi comparire più di una volta, mentre altri potrebbero essere esclusi. Questa casualità garantisce che ogni modello venga addestrato su una versione leggermente diversa del dataset.

Durante l’inferenza, tutti i modelli addestrati vengono eseguiti in parallelo per fare previsioni su dati nuovi e mai osservati. Ogni modello produce il proprio output sulla base di ciò che ha imparato, quindi queste previsioni individuali vengono combinate per formare il risultato finale.

Per le attività di regressione, come la previsione dei prezzi delle case o delle vendite, ciò significa generalmente calcolare la media degli output di tutti i modelli per ottenere una stima più uniforme. Per le attività di classificazione, come determinare se una transazione è fraudolenta o meno, l’ensemble utilizza spesso un voto di maggioranza per stabilire la classe finale.

Il bagging in azione: l’algoritmo Random Forest#

Un buon esempio di utilizzo efficace del bagging riguarda gli alberi decisionali, che possono facilmente andare in overfitting quando vengono addestrati su un singolo dataset. Addestrando molti alberi su campioni leggermente diversi e combinando i loro risultati, il bagging riduce l’overfitting e migliora l’affidabilità.

Considera l’algoritmo Random Forest. È un ensemble di alberi decisionali, in cui ogni albero viene addestrato su un sottoinsieme casuale del dataset di addestramento e su un sottoinsieme casuale di caratteristiche.

Questa casualità delle caratteristiche contribuisce a garantire che gli alberi siano meno correlati e che il modello complessivo sia più stabile e accurato. Un algoritmo Random Forest può essere utilizzato per classificare immagini, rilevare frodi, prevedere l’abbandono dei clienti, prevedere le vendite o stimare i prezzi degli immobili.

Fig. 2. Uno sguardo all’algoritmo Random Forest (Fonte)

Boosting#

Il boosting è un’altra tecnica di apprendimento ensemble che si concentra sul miglioramento dei learner deboli (modelli) addestrandoli in sequenza, uno dopo l’altro, invece che in parallelo. Il concetto fondamentale del boosting è che ogni nuovo modello impara dagli errori dei precedenti, migliorando gradualmente le prestazioni del modello complessivo.

A differenza del bagging, che riduce la varianza calcolando la media di modelli indipendenti, il boosting riduce il bias facendo sì che ogni nuovo modello presti maggiore attenzione ai casi difficili con cui i modelli precedenti hanno avuto difficoltà.

Poiché i modelli di boosting vengono addestrati in sequenza, il modo in cui le loro previsioni vengono combinate alla fine differisce leggermente da quello degli altri metodi ensemble. Ogni modello contribuisce alla previsione finale in proporzione alle proprie prestazioni durante l’addestramento, e ai modelli più accurati viene assegnato un peso maggiore.

Per le attività di regressione, il risultato finale è solitamente una somma ponderata di tutte le previsioni dei modelli. Per le attività di classificazione, l’algoritmo combina i voti ponderati dei modelli per determinare la classe finale. Questo approccio consente al boosting di creare un modello complessivo forte, assegnando maggiore peso ai modelli più accurati e continuando al contempo a imparare dagli altri.

Ecco alcuni tipi comuni di algoritmi di boosting:

• AdaBoost (Potenziamento adattivo): questo metodo inizia addestrando un modello semplice, come un piccolo albero decisionale, quindi aumenta il peso dei punti dati classificati erroneamente. Questi pesi fanno sì che il modello successivo si concentri maggiormente sugli esempi difficili. Nel corso di più iterazioni, i modelli costruiscono l’uno sull’altro e le loro previsioni combinate formano un risultato più forte e accurato. Ad esempio, AdaBoost può migliorare l’accuratezza del rilevamento dello spam o del riconoscimento facciale.
• Gradient Boosting: invece di riassegnare i pesi ai campioni, Gradient Boosting addestra ogni nuovo modello a correggere gli errori residui, cioè le differenze tra i valori effettivi e quelli previsti dai modelli precedenti. Questo approccio iterativo è efficace sia per le attività di regressione sia per quelle di classificazione, come la previsione delle vendite e la valutazione del merito creditizio.
• XGBoost (Potenziamento estremo del gradiente): questa versione avanzata del gradient boosting migliora sia la velocità sia l’accuratezza. Utilizza la regolarizzazione, che penalizza leggermente i modelli eccessivamente complessi durante l’addestramento, affinché si concentrino sugli schemi significativi invece di memorizzare i dati. Sebbene i modelli vengano ancora addestrati in sequenza, XGBoost accelera il processo utilizzando il parallelismo durante la costruzione degli alberi. Può valutare contemporaneamente molti possibili punti di suddivisione su diversi core CPU. Ciò rende l’addestramento molto più veloce, soprattutto su dataset di grandi dimensioni, mantenendo al contempo prestazioni predittive elevate.

Fig. 3. Esempio di classificatore basato su alberi decisionali (DTB) addestrato con un approccio di boosting per la previsione del rischio di diabete. (Fonte)

Stacking#

Lo stacking, chiamato anche generalizzazione a strati, fa un ulteriore passo avanti utilizzando le previsioni di diversi modelli come input per un modello finale noto come meta-learner. Puoi immaginarlo come un gruppo di esperti che condividono le proprie opinioni, mentre un decisore finale impara come ponderarle per prendere la decisione migliore possibile.

Ad esempio, un modello potrebbe essere eccellente nell’individuare le frodi, mentre un altro potrebbe essere più efficace nel prevedere l’abbandono dei clienti. Il meta-learner analizza le prestazioni di ciascuno e utilizza insieme i loro punti di forza per produrre una previsione finale più accurata.

Blending#

Il blending funziona in modo simile allo stacking, perché combina anch’esso le previsioni di diversi modelli per prendere una decisione finale, ma adotta un approccio più semplice e veloce. Invece di utilizzare la convalida incrociata (un metodo che suddivide i dati in diverse parti e le alterna tra addestramento e test per rendere il modello più affidabile), come fa lo stacking, il blending mette da parte una piccola porzione dei dati, chiamata insieme di holdout.

I modelli di base vengono addestrati sui dati rimanenti e poi producono previsioni sull’insieme di holdout, che non hanno mai visto prima. In questo modo si ottengono due informazioni fondamentali: le risposte effettive, o etichette reali, e le previsioni prodotte da ciascun modello di base.

Queste previsioni vengono quindi passate a un altro modello, chiamato modello di blending o meta-modello. Questo modello finale analizza l’accuratezza delle previsioni di ciascun modello di base e impara a combinarle nel modo migliore possibile.

Poiché il blending si basa su un’unica suddivisione tra addestramento e test invece di ripetere il processo più volte, viene eseguito più velocemente ed è più semplice da configurare. Lo svantaggio è che dispone di un numero leggermente inferiore di informazioni da cui imparare, il che può renderlo un po’ meno preciso.

Valutazione degli algoritmi ensemble#

Una parte importante dell’apprendimento ensemble consiste nel valutare le prestazioni di un modello su dati che non ha mai visto prima. Per quanto avanzata possa essere una tecnica, deve essere testata per garantire che sia in grado di generalizzare, cioè di produrre previsioni accurate su esempi nuovi e reali invece di limitarsi a memorizzare i dati di addestramento.

Ecco alcune metriche comuni delle prestazioni utilizzate per valutare i modelli di AI:

• Accuratezza: questa metrica misura la proporzione di previsioni corrette rispetto a tutte le previsioni effettuate dal modello. Fornisce una rapida panoramica delle prestazioni complessive.
• Precisione: indica quanti dei campioni previsti come positivi sono effettivamente positivi. Una precisione elevata significa che il modello commette pochi errori di falsi positivi.
• Recall: questa misura si concentra su quanti dei casi effettivamente positivi sono stati identificati correttamente dal modello. È particolarmente importante in settori come quello sanitario, in cui non rilevare un caso positivo, come una diagnosi di malattia, può avere conseguenze gravi.

Applicazioni dell’apprendimento ensemble nel mondo reale#

Finora abbiamo analizzato come funziona l’apprendimento ensemble e le tecniche alla base di questo approccio. Ora vediamo in quali ambiti sta avendo un impatto.

Ecco alcuni ambiti chiave in cui l’apprendimento ensemble viene comunemente applicato:

• Analisi dei dati e previsione: nel business e nell’analisi, i modelli ensemble aiutano le organizzazioni a fare previsioni migliori combinando gli insight di più modelli. Questo porta a previsioni di vendita più accurate, a una pianificazione della domanda più efficace e a una comprensione più chiara del comportamento dei clienti.
• Classificazione binaria: attività come il rilevamento dello spam, la prevenzione delle frodi e la diagnosi medica spesso richiedono di distinguere tra due possibili risultati. I modelli ensemble aiutano a ridurre i falsi positivi e i falsi negativi, un aspetto particolarmente importante in ambiti come la cybersicurezza e la sanità.
• Problemi di regressione: quando si prevedono valori continui come i prezzi delle case, i ricavi delle vendite o il rischio creditizio, i metodi ensemble colgono le relazioni complesse presenti nei dati. Ne risultano previsioni più precise, che supportano decisioni finanziarie e operative migliori.

Oltre i dati strutturati con l’apprendimento ensemble#

Sebbene l’apprendimento ensemble venga utilizzato più comunemente con dati strutturati o tabellari, come i fogli di calcolo contenenti informazioni numeriche o categoriche, può essere applicato anche a dati non strutturati come testo, immagini, audio e video.

Questi tipi di dati sono più complessi e più difficili da interpretare per i modelli, ma i metodi ensemble aiutano a migliorare accuratezza e affidabilità. Ad esempio, nella computer vision, gli ensemble possono migliorare attività come la classificazione delle immagini e il rilevamento degli oggetti.

Combinando le previsioni di più modelli di visione, come le reti neurali convoluzionali (CNNs), il sistema può riconoscere gli oggetti con maggiore accuratezza e gestire variazioni di illuminazione, angolazione o sfondo che potrebbero confondere un singolo modello.

Uno sguardo all’ensemble dei modelli Ultralytics YOLOv5#

Un esempio interessante dell’utilizzo dell’apprendimento ensemble nella computer vision si verifica quando un ingegnere combina più modelli di rilevamento degli oggetti per migliorare l’accuratezza. Immagina un ingegnere al lavoro su un sistema di monitoraggio della sicurezza per un cantiere, dove l’illuminazione, le angolazioni e le dimensioni degli oggetti cambiano continuamente.

Un singolo modello potrebbe non rilevare un lavoratore in ombra o confondere macchinari in movimento. Utilizzando un ensemble di modelli, ciascuno con punti di forza diversi, il sistema diventa più affidabile e meno soggetto a commettere questi errori.

In particolare, modelli come Ultralytics YOLOv5 si integrano perfettamente con l’ensemble dei modelli. Gli ingegneri possono combinare diverse varianti di YOLOv5, come YOLOv5x e YOLOv5l6, per produrre previsioni congiunte. Ogni modello analizza la stessa immagine e produce i propri rilevamenti, che vengono poi mediati per generare un risultato finale più forte e accurato.

Fig. 4. Rilevamento degli oggetti in un’immagine utilizzando YOLOv5. (Fonte)

Vantaggi e svantaggi dell’apprendimento ensemble#

Ecco alcuni vantaggi chiave dell’utilizzo dell’apprendimento ensemble:

• Resilienza ai dati rumorosi: gli ensemble sono meno influenzati dai valori anomali o dal rumore casuale nel dataset, poiché si basano su più modelli.
• Migliore generalizzazione: gli ensemble riducono l’overfitting, aiutando i modelli a funzionare bene su dati non osservati invece di limitarsi a memorizzare gli esempi di addestramento.
• Flessibilità tra gli algoritmi: puoi combinare diversi tipi di modelli, come alberi decisionali, reti neurali e modelli lineari, per sfruttare i loro punti di forza specifici.

Sebbene l’apprendimento ensemble offra diversi vantaggi, presenta anche alcune difficoltà da considerare. Ecco alcuni fattori da tenere presenti:

• Costo computazionale più elevato: addestrare e mantenere più modelli richiede più memoria, potenza di elaborazione e tempo rispetto a un singolo modello.
• Interpretabilità ridotta: poiché l’output finale deriva dalla combinazione di più modelli, può essere difficile capire perché sia stata presa una determinata decisione. Tuttavia, ciò dipende dai modelli utilizzati: quando si usano modelli interpretabili, come alberi decisionali o macchine a vettori di supporto, è solitamente più facile comprendere i risultati.
• Considerazioni sulla progettazione dell’ensemble: costruire un ensemble implica scegliere la combinazione corretta di modelli e assicurarsi che funzionino bene insieme. Tuttavia, in alcuni casi può anche essere più semplice, perché non è necessario ottimizzare gli iperparametri di ogni singolo modello.

Punti chiave#

L’apprendimento ensemble dimostra come la combinazione di più modelli possa rendere i sistemi di AI più accurati e affidabili. Aiuta a ridurre gli errori e a migliorare le prestazioni in diversi tipi di attività. Con la continua crescita del machine learning e dell’AI, tecniche come questa stanno favorendo un’adozione più ampia e soluzioni di AI più pratiche e performanti.

Unisciti alla nostra community in crescita e al nostro repository GitHub per scoprire di più sulla vision AI. Esplora le nostre pagine dedicate alle soluzioni per conoscere le applicazioni della computer vision nell’agricoltura e dell’AI nella logistica. Consulta le nostre opzioni di licenza per iniziare oggi stesso a creare il tuo modello di computer vision!