Esplorare l'ensemble learning e il suo ruolo nell'AI e nel ML

Per una panoramica visiva dei concetti trattati in questo articolo, guarda il video qui sotto.

Le innovazioni dell'IA, come i motori di raccomandazione e i sistemi di rilevamento delle frodi, si basano su algoritmi e modelli di machine learning per effettuare previsioni e decisioni basate sui dati. Questi modelli sono in grado di identificare pattern, prevedere tendenze e aiutare ad automatizzare attività complesse.

Tuttavia, un singolo modello può avere difficoltà a cogliere tutti i dettagli nei dati del mondo reale. Potrebbe funzionare bene in alcuni casi ma fallire in altri, come ad esempio un modello di rilevamento delle frodi che non riesce a individuare nuovi tipi di transazioni.

Questa limitazione è qualcosa che gli ingegneri IA affrontano spesso durante la creazione e il deployment di modelli di machine learning. Alcuni modelli soffrono di overfitting apprendendo i dati di training troppo minuziosamente, mentre altri soffrono di underfitting perdendo pattern importanti. L'ensemble learning è una tecnica di IA che aiuta ad affrontare queste sfide combinando più modelli, noti come base learner, in un unico sistema più potente.

Puoi pensarlo come un team di esperti che lavora insieme per risolvere un problema. In questo articolo, esploreremo cos'è l'ensemble learning, come funziona e dove può essere utilizzato. Iniziamo!

Link to this sectionCos'è l'ensemble learning?#

L'ensemble learning si riferisce a un insieme di tecniche che combinano più modelli per risolvere lo stesso problema e produrre un unico risultato migliorato. Può essere applicato sia nell'apprendimento supervisionato (dove i modelli imparano da dati etichettati) che nell'apprendimento non supervisionato (dove i modelli trovano pattern in dati non etichettati).

Invece di affidarsi a un solo modello per fare previsioni, un ensemble utilizza diversi modelli che analizzano i dati ciascuno a modo proprio. Quando i loro output vengono combinati, il risultato è spesso più accurato, stabile e generalizzabile di quanto qualsiasi singolo modello potrebbe ottenere da solo.

Puoi paragonarlo a un gruppo di analisti che affronta lo stesso problema. Ogni analista o singolo modello interpreta i dati in modo differente.

Uno può concentrarsi sui pattern, un altro sulle anomalie e un altro ancora sul contesto. Mettendo insieme le loro prospettive, il gruppo può prendere una decisione più equilibrata e affidabile rispetto a qualsiasi giudizio individuale.

Questo approccio aiuta anche ad affrontare due delle maggiori sfide del machine learning: bias e varianza. Un modello con bias elevato è troppo semplice e trascura pattern importanti, mentre uno con varianza elevata è eccessivamente sensibile e si adatta troppo ai dati di training. Combinando i modelli, l'ensemble learning trova un equilibrio tra i due, migliorando le prestazioni del sistema su dati nuovi e mai visti prima.

Link to this sectionComprendere come funziona l'ensemble learning#

Ogni modello in un ensemble è noto come base learner o modello base. Questi possono essere dello stesso tipo di algoritmo o un mix di algoritmi diversi, a seconda della tecnica di ensemble utilizzata.

Ecco alcuni esempi comuni dei diversi modelli utilizzati nell'ensemble learning:

• Decision trees: Questi modelli suddividono i dati in rami basati sui valori delle feature per prendere decisioni. Ad esempio, nei problemi di classificazione come prevedere se un cliente acquisterà un prodotto, considerano fattori come età, reddito e cronologia di navigazione.
• Neural networks: Ispirate al modo in cui il cervello umano elabora le informazioni, formano l'architettura di base dietro la maggior parte dei moderni modelli di IA e machine learning.
• Support vector machines (SVMs): Questi algoritmi classificano i dati trovando un confine decisionale ottimale, chiamato iperpiano, che massimizza il margine tra classi diverse. In altre parole, la SVM traccia la linea migliore possibile che separa i gruppi lasciando il divario più ampio tra loro. Ad esempio, può essere utilizzata per stabilire se un'email è spam o meno in base a pattern come frequenza delle parole e struttura.
• Logistic regression models: Stimano le probabilità e sono spesso utilizzati per attività di classificazione binaria. Un esempio tipico è prevedere se una transazione è fraudolenta o legittima.

Un model ensemble combinato è generalmente chiamato learner forte perché integra i punti di forza dei base learner (indicati anche come modelli deboli) riducendo al minimo i loro punti deboli. Lo fa combinando le previsioni di ogni modello in modo strutturato, utilizzando il voto a maggioranza per le attività di classificazione o la media ponderata per le attività di regressione per produrre un risultato finale più accurato.

Fig 1. Un esempio di ensemble learning (Fonte)

Link to this sectionQuando utilizzare l'ensemble learning#

Prima di addentrarci nelle varie tecniche di ensemble learning, facciamo un passo indietro per capire quando questo tipo di approccio dovrebbe essere utilizzato in un progetto di machine learning o IA.

L'ensemble learning è più efficace quando un singolo modello fatica a fare previsioni accurate o coerenti. Può essere utilizzato anche in situazioni in cui i dati sono complessi, rumorosi o imprevedibili.

Ecco alcuni casi comuni in cui i metodi di ensemble sono particolarmente efficaci:

• Bassa precisione del modello: Quando le previsioni di un modello non sono abbastanza affidabili, combinare più modelli può migliorare significativamente la precisione e le prestazioni. Ad esempio, nel credit scoring o nella diagnostica medica, anche piccoli miglioramenti nella precisione delle previsioni possono fare una grande differenza.
• Dati rumorosi o incoerenti: Se un dataset contiene outlier, errori o fluttuazioni casuali, l'ensemble learning aiuta a smussare tali irregolarità mediando o votando tra più modelli.
• Necessità di robustezza: I modelli ensemble sono meno sensibili a piccoli cambiamenti nei dati, rendendoli più stabili e affidabili per ambienti di produzione dove gli input del mondo reale possono variare.
• Attività di previsione complesse: In attività come il riconoscimento di immagini, il rilevamento delle frodi o la previsione di serie temporali, gli ensemble catturano una gamma più ampia di pattern e relazioni di quanto un singolo modello potrebbe fare da solo.

È anche più semplice da addestrare, più facile da interpretare e più veloce da mantenere. Prima di utilizzare un ensemble, è importante valutare il vantaggio di una maggiore precisione rispetto al tempo aggiuntivo, alla potenza di calcolo e alla complessità necessari.

Link to this sectionUna panoramica sulle tecniche di ensemble learning#

Successivamente, esaminiamo i modi principali in cui l'ensemble learning può essere applicato nei progetti di machine learning. Esistono diverse tecniche fondamentali utilizzate per combinare i modelli, ognuna delle quali migliora le prestazioni a modo suo. I metodi di ensemble più comuni sono bagging, boosting, stacking e blending.

Link to this sectionBagging#

Il bagging, abbreviazione di bootstrap aggregating, è un metodo di ensemble learning che aiuta a migliorare la stabilità e la precisione del modello addestrando più versioni dello stesso modello su parti diverse dei dati.

Ogni sottoinsieme viene creato utilizzando un processo chiamato bootstrap sampling, in cui i punti dati vengono selezionati casualmente con reinserimento. Ciò significa che dopo che un punto dati è stato scelto, viene rimesso nel pool prima che ne venga scelto un altro, quindi lo stesso punto può apparire più di una volta, mentre altri potrebbero essere esclusi. Questa casualità assicura che ogni modello venga addestrato su una versione leggermente diversa del dataset.

Durante l'inferenza, tutti i modelli addestrati vengono eseguiti in parallelo per fare previsioni su dati nuovi e mai visti. Ogni modello produce il proprio output basato su ciò che ha imparato, e queste previsioni individuali vengono poi combinate per formare il risultato finale.

Per le attività di regressione, come la previsione dei prezzi delle case o le previsioni di vendita, ciò significa solitamente fare la media degli output di tutti i modelli per ottenere una stima più fluida. Per le attività di classificazione, come l'identificazione se una transazione è fraudolenta o meno, l'ensemble prende spesso un voto a maggioranza per decidere la classe finale.

Link to this sectionIl bagging in azione: L'algoritmo Random Forest#

Un buon esempio di dove il bagging funziona bene è con gli alberi di decisione, che possono facilmente andare in overfitting quando addestrati su un singolo dataset. Addestrando molti alberi su campioni leggermente diversi e combinando i loro risultati, il bagging riduce l'overfitting e migliora l'affidabilità.

Considera l'algoritmo Random Forest. È un ensemble di alberi di decisione, dove ogni albero è addestrato su un sottoinsieme casuale del dataset di training e su un sottoinsieme casuale di feature.

Questa casualità delle feature aiuta a garantire che gli alberi siano meno correlati e che il modello complessivo sia più stabile e accurato. Un algoritmo Random Forest può essere utilizzato per classificare immagini, rilevare frodi, prevedere l'abbandono dei clienti, fare previsioni di vendita o stimare i prezzi degli immobili.

Fig 2. Uno sguardo all'algoritmo Random Forest (Fonte)

Link to this sectionBoosting#

Il boosting è un'altra tecnica di ensemble learning che si concentra sul miglioramento dei learner deboli (modelli) addestrandoli sequenzialmente, uno dopo l'altro, invece che in parallelo. Il concetto fondamentale del boosting è che ogni nuovo modello impara dagli errori dei precedenti, migliorando gradualmente le prestazioni del modello complessive.

A differenza del bagging, che riduce la varianza mediando modelli indipendenti, il boosting riduce il bias facendo sì che ogni nuovo modello presti maggiore attenzione ai casi difficili con cui i modelli precedenti hanno avuto difficoltà.

Poiché i modelli di boosting vengono addestrati sequenzialmente, il modo in cui le loro previsioni vengono combinate alla fine differisce leggermente dagli altri metodi di ensemble. Ogni modello contribuisce alla previsione finale in proporzione alle sue prestazioni durante l'addestramento, con i modelli più accurati che ricevono un peso maggiore.

Per le attività di regressione, il risultato finale è solitamente una somma ponderata di tutte le previsioni dei modelli. Per le attività di classificazione, l'algoritmo combina i voti ponderati dei modelli per decidere la classe finale. Questo approccio aiuta il boosting a creare un modello complessivo forte dando più peso ai modelli che sono più accurati pur continuando ad imparare dagli altri.

Ecco alcuni tipi comuni di algoritmi di boosting:

• AdaBoost (Adaptive Boosting): Questo metodo inizia addestrando un modello semplice, come un piccolo albero di decisione, e poi aumenta il peso dei punti dati che sono stati classificati erroneamente. Questi pesi fanno sì che il modello successivo si concentri maggiormente sugli esempi difficili. In molteplici iterazioni, i modelli si basano l'uno sull'altro e le loro previsioni combinate formano un risultato più forte e accurato. Ad esempio, AdaBoost può migliorare la precisione del rilevamento dello spam o del riconoscimento facciale.
• Gradient Boosting: Invece di riponderare i campioni, il Gradient Boosting addestra ogni nuovo modello per correggere gli errori residui, ovvero le differenze tra i valori effettivi e quelli previsti, commessi dai modelli precedenti. Questo approccio iterativo lo rende efficace sia per le attività di regressione che di classificazione, come le previsioni di vendita e il credit scoring.
• XGBoost (Extreme Gradient Boosting): Questa versione avanzata del gradient boosting migliora sia la velocità che la precisione. Utilizza la regolarizzazione, che penalizza leggermente i modelli troppo complessi durante l'addestramento in modo che si concentrino su pattern significativi invece di memorizzare i dati. Sebbene i modelli siano ancora addestrati sequenzialmente, XGBoost accelera il processo utilizzando la parallelizzazione durante la costruzione dell'albero. Può valutare molti possibili punti di suddivisione contemporaneamente attraverso diversi core della CPU. Ciò rende l'addestramento molto più veloce, specialmente su dataset di grandi dimensioni, mantenendo alte prestazioni predittive.

Fig 3. Esempio di un classificatore basato su alberi di decisione (DTB) addestrato con un approccio di boosting per la previsione del rischio di diabete. (Fonte)

Link to this sectionStacking#

Lo stacking, chiamato anche generalizzazione impilata, fa un passo avanti utilizzando le previsioni di diversi modelli come input per un modello finale noto come meta learner. Puoi pensarlo come avere un gruppo di esperti che condividono ciascuno la propria opinione, e poi un decisore finale che impara come ponderare quelle opinioni per fare la scelta migliore possibile.

Ad esempio, un modello potrebbe essere ottimo nell'individuare frodi mentre un altro è migliore nel prevedere l'abbandono dei clienti. Il meta learner studia come ciascuno si comporta e usa i loro punti di forza insieme per fare una previsione finale più accurata.

Link to this sectionBlending#

Il blending funziona in modo simile allo stacking perché combina anch'esso le previsioni di diversi modelli per prendere una decisione finale, ma adotta un approccio più semplice e veloce. Invece di utilizzare la cross-validation (un metodo che suddivide i dati in diverse parti e le ruota tra training e testing per rendere il modello più affidabile), come fa lo stacking, il blending mette da parte una piccola porzione di dati, chiamata holdout set.

I modelli base vengono addestrati sui dati rimanenti e poi fanno previsioni sull'holdout set, che non hanno visto prima. Questo produce due informazioni chiave: le risposte effettive, o etichette reali, e le previsioni fatte da ogni modello base.

Queste previsioni vengono poi passate a un altro modello chiamato modello di blending o meta modello. Questo modello finale studia quanto sono accurate le previsioni di ogni modello base e impara come combinarle nel miglior modo possibile.

Poiché il blending si basa su una sola suddivisione tra training e test invece di ripetere il processo più volte, viene eseguito più velocemente ed è più facile da configurare. Il compromesso è che ha leggermente meno informazioni da cui imparare, il che può renderlo un po' meno preciso.

Link to this sectionValutare gli algoritmi di ensemble#

Una parte importante dell'ensemble learning è valutare quanto bene un modello si comporta su dati che non ha visto prima. Non importa quanto sia avanzata una tecnica, deve essere testata per garantire che possa generalizzare, il che significa che dovrebbe fare previsioni accurate su esempi nuovi del mondo reale invece di limitarsi a memorizzare i dati di training.

Ecco alcune metriche di prestazione comuni utilizzate per valutare i modelli di IA:

• Accuracy: Questa metrica misura la proporzione di previsioni corrette rispetto a tutte le previsioni fatte dal modello. Fornisce una rapida panoramica delle prestazioni complessive.
• Precision: Indica quanti dei campioni previsti come positivi sono effettivamente positivi. Un'elevata precision significa che il modello commette pochi errori di falso positivo.
• Recall: Questa misura si concentra su quanti dei casi positivi reali sono stati correttamente identificati dal modello. È particolarmente importante in campi come l'assistenza sanitaria, dove mancare un caso positivo, come una diagnosi di malattia, può avere conseguenze gravi.

Link to this sectionApplicazioni del mondo reale dell'ensemble learning#

Finora abbiamo esplorato come funziona l'ensemble learning e le tecniche che ne sono alla base. Ora diamo un'occhiata a dove questo approccio sta avendo un impatto.

Ecco alcune aree chiave in cui l'ensemble learning viene comunemente applicato:

• Data analysis e forecasting: Nel business e nell'analytics, i modelli ensemble aiutano le organizzazioni a fare previsioni migliori combinando le intuizioni di più modelli. Ciò porta a previsioni di vendita più accurate, a una pianificazione della domanda più intelligente e a una comprensione più chiara del comportamento dei clienti.
• Classificazione binaria: Attività come il rilevamento dello spam, la prevenzione delle frodi e la diagnosi medica richiedono spesso di distinguere tra due possibili esiti. I modelli ensemble aiutano a ridurre i falsi positivi e i falsi negativi, il che è particolarmente cruciale in aree come la sicurezza informatica e l'assistenza sanitaria.
• Problemi di regressione: Quando si prevedono valori continui come i prezzi delle case, i ricavi delle vendite o il rischio di credito, i metodi ensemble catturano relazioni complesse all'interno dei dati. Ciò si traduce in previsioni più precise che supportano migliori decisioni finanziarie e operative.

Link to this sectionAndare oltre i dati strutturati con l'ensemble learning#

Sebbene l'ensemble learning sia più comunemente utilizzato con dati strutturati o tabulari, come fogli di calcolo contenenti informazioni numeriche o categoriche, può essere applicato anche a dati non strutturati come testo, immagini, audio e video.

Questi tipi di dati sono più complessi e più difficili da interpretare per i modelli, ma i metodi ensemble aiutano a migliorare la precisione e l'affidabilità. Ad esempio, nella computer vision, gli ensemble possono migliorare attività come la classificazione delle immagini e il rilevamento degli oggetti.

Combinando le previsioni di più modelli di visione, come le reti neurali convoluzionali (CNN), il sistema può riconoscere gli oggetti in modo più accurato e gestire variazioni di illuminazione, angolazione o sfondo che potrebbero confondere un singolo modello.

Link to this sectionUno sguardo all'ensembling dei modelli YOLOv5 di Ultralytics#

Un esempio interessante di utilizzo dell'ensemble learning nella computer vision è quando un ingegnere combina più modelli di rilevamento oggetti per migliorare la precisione. Immagina un ingegnere che lavora su un sistema di monitoraggio della sicurezza per un cantiere, dove illuminazione, angolazioni e dimensioni degli oggetti cambiano costantemente.

Un singolo modello potrebbe non vedere un lavoratore nell'ombra o confondere i macchinari in movimento. Utilizzando un ensemble di modelli, ciascuno con punti di forza diversi, il sistema diventa più affidabile e meno incline a commettere quegli errori.

In particolare, modelli come Ultralytics YOLOv5 vanno di pari passo con l'ensembling dei modelli. Gli ingegneri possono combinare diverse varianti di YOLOv5, come YOLOv5x e YOLOv5l6, per fare previsioni insieme. Ogni modello analizza la stessa immagine e produce le proprie rilevazioni, che vengono poi mediate per generare un risultato finale più forte e preciso.

Fig 4. Rilevamento di oggetti in un'immagine utilizzando YOLOv5. (Fonte)

Link to this sectionPro e contro dell'ensemble learning#

Ecco alcuni vantaggi chiave dell'utilizzo dell'ensemble learning:

• Resilienza ai dati rumorosi: Gli ensemble sono meno influenzati da outlier o rumore casuale nel dataset poiché si basano su più modelli.
• Migliore generalizzazione: Gli ensemble riducono l'overfitting, aiutando i modelli a comportarsi bene su dati nuovi invece di limitarsi a memorizzare gli esempi di addestramento.
• Flessibilità tra gli algoritmi: Puoi combinare diversi tipi di modelli, come alberi di decisione, reti neurali e modelli lineari, per sfruttare i loro punti di forza unici.

Sebbene l'ensemble learning porti diversi vantaggi, ci sono anche alcune sfide da considerare. Ecco alcuni fattori da tenere a mente:

• Maggiore costo computazionale: L'addestramento e la manutenzione di più modelli richiedono più memoria, potenza di elaborazione e tempo rispetto a un singolo modello.
• Minore interpretabilità: Poiché l'output finale deriva dalla combinazione di più modelli, può essere difficile capire perché è stata presa una certa decisione. Tuttavia, questo dipende dai modelli utilizzati perché quando ne usi di interpretabili, come alberi di decisione o support vector machines, di solito è più facile comprendere i risultati.
• Considerazioni sulla progettazione dell'ensemble: Costruire un ensemble comporta la scelta del giusto mix di modelli e l'assicurarsi che lavorino bene insieme. Tuttavia, può anche essere più semplice in alcuni casi perché non è necessario mettere a punto gli iperparametri di ogni singolo modello.

Link to this sectionPunti chiave#

L'ensemble learning mostra come la combinazione di più modelli possa rendere i sistemi di IA più precisi e affidabili. Aiuta a ridurre gli errori e a migliorare le prestazioni in diversi tipi di attività. Man mano che il machine learning e l'IA continuano a crescere, tecniche come questa stanno guidando una maggiore adozione e soluzioni di IA più pratiche e ad alte prestazioni.

Unisciti alla nostra crescente community e al nostro repository GitHub per saperne di più sulla visione artificiale. Esplora le nostre pagine sulle soluzioni per conoscere le applicazioni della computer vision in agricoltura e dell'IA nella logistica. Dai un'occhiata alle nostre opzioni di licenza per iniziare oggi stesso con il tuo modello di computer vision!