Alla scoperta dell’apprendimento d’insieme e del suo ruolo nell’IA e nel ML

Per una panoramica visiva dei concetti trattati in questo articolo, guarda il video qui sotto.

Le innovazioni dell'IA, come i motori di raccomandazione e i sistemi di rilevamento delle frodi, si basano su algoritmi e modelli di machine learning per formulare previsioni e prendere decisioni a partire dai dati. Questi modelli possono identificare schemi, prevedere tendenze e contribuire ad automatizzare attività complesse.

Tuttavia, un singolo modello può avere difficoltà a cogliere tutti i dettagli dei dati del mondo reale. Può funzionare bene in alcuni casi ma rivelarsi inadeguato in altri, per esempio se un modello di rilevamento delle frodi non individua nuovi tipi di transazioni.

È un limite che gli ingegneri dell'IA incontrano spesso quando sviluppano e distribuiscono modelli di machine learning. Alcuni modelli vanno in overfitting perché apprendono troppo fedelmente i dati di addestramento, mentre altri sono soggetti a underfitting perché non colgono schemi importanti. L'apprendimento d'insieme è una tecnica di IA che aiuta a superare queste difficoltà combinando più modelli, chiamati modelli base, in un unico sistema più potente.

Puoi immaginarlo come un gruppo di esperti che collabora per risolvere un problema. In questo articolo vedremo che cos’è l’apprendimento d’insieme, come funziona e dove può essere usato.

Che cos'è l'apprendimento d'insieme?#

L'apprendimento d'insieme comprende una serie di tecniche che combinano più modelli per risolvere lo stesso problema e produrre un unico risultato migliore. Può essere applicato sia all'apprendimento supervisionato, in cui i modelli apprendono da dati etichettati, sia all'apprendimento non supervisionato, in cui i modelli individuano schemi nei dati non etichettati.

Invece di affidarsi a un solo modello per formulare previsioni, un insieme ne usa diversi, ciascuno dei quali analizza i dati a modo proprio. Combinando gli output, spesso si ottiene un risultato più accurato, stabile e generalizzabile di quello che qualsiasi singolo modello potrebbe produrre da solo.

Puoi paragonarlo a un gruppo di analisti che affronta lo stesso problema. Ogni analista, o singolo modello, interpreta i dati in modo diverso.

Uno può concentrarsi sugli schemi, un altro sulle anomalie e un altro ancora sul contesto. Mettendo insieme le loro prospettive, il gruppo può prendere una decisione più equilibrata e affidabile di qualsiasi valutazione individuale.

Questo approccio aiuta anche ad affrontare due delle maggiori difficoltà del machine learning: bias e varianza. Un modello con bias elevato è troppo semplice e trascura schemi importanti, mentre un modello con varianza elevata è eccessivamente sensibile e aderisce troppo ai dati di addestramento. Combinando i modelli, l'apprendimento d'insieme trova un equilibrio tra i due fattori e migliora le prestazioni del sistema su dati nuovi e mai visti.

Capire come funziona l'apprendimento d'insieme#

Ogni modello di un insieme è noto come modello di base o apprendente di base. A seconda della tecnica d'insieme usata, i modelli possono basarsi sullo stesso tipo di algoritmo oppure su una combinazione di algoritmi diversi.

Ecco alcuni esempi comuni dei diversi modelli usati nell'apprendimento d'insieme:

• Alberi decisionali: questi modelli suddividono i dati in rami in base ai valori delle caratteristiche per prendere decisioni. Per esempio, nei problemi di classificazione, come prevedere se un cliente acquisterà un prodotto, considerano fattori quali età, reddito e cronologia di navigazione.
• Reti neurali: ispirate al modo in cui il cervello umano elabora le informazioni, costituiscono l’architettura di base della maggior parte dei moderni modelli di IA e machine learning.
• Macchine a vettori di supporto (SVMs): questi algoritmi classificano i dati individuando un confine decisionale ottimale, detto iperpiano, che massimizza il margine tra le diverse classi. In altre parole, una SVM traccia la linea migliore per separare i gruppi, lasciando la distanza più ampia possibile tra loro. Per esempio, può essere usata per determinare se un'email è spam in base a schemi come la frequenza e la struttura delle parole.
• Modelli di regressione logistica: stimano probabilità e sono spesso usati per attività di classificazione binaria. Un esempio tipico consiste nel prevedere se una transazione è fraudolenta o legittima.

Un insieme di modelli combinati è generalmente chiamato apprendente forte, perché integra i punti di forza dei modelli base, detti anche modelli deboli, minimizzandone al contempo i punti deboli. Lo fa combinando le previsioni di ciascun modello in modo strutturato e usando il voto di maggioranza per le attività di classificazione o la media ponderata per quelle di regressione, così da produrre un risultato finale più accurato.

Fig. 1. Un esempio di apprendimento d'insieme (fonte)

Quando usare l'apprendimento d'insieme#

Prima di esaminare le varie tecniche di apprendimento d'insieme, facciamo un passo indietro e capiamo quando conviene usare questo tipo di approccio in un progetto di machine learning o di IA.

L'apprendimento d'insieme è particolarmente efficace quando un singolo modello fatica a formulare previsioni accurate o coerenti. Può essere usato anche in situazioni in cui i dati sono complessi, rumorosi o imprevedibili.

Ecco alcuni casi comuni in cui i metodi d'insieme sono particolarmente efficaci:

• Bassa accuratezza del modello: quando le previsioni di un modello non sono abbastanza affidabili, combinare più modelli può migliorare notevolmente l'accuratezza e le prestazioni. Per esempio, nella valutazione del merito creditizio o nella diagnostica medica, anche piccoli miglioramenti nell'accuratezza delle previsioni possono fare una grande differenza.
• Dati rumorosi o incoerenti: se un dataset contiene valori anomali, errori o fluttuazioni casuali, l'apprendimento d'insieme aiuta a smussare queste irregolarità calcolando la media o il voto di più modelli.
• Necessità di robustezza: gli insiemi di modelli sono meno sensibili alle piccole variazioni dei dati, quindi risultano più stabili e affidabili negli ambienti di produzione, dove gli input del mondo reale possono variare.
• Attività di previsione complesse: in attività come il riconoscimento di immagini, il rilevamento delle frodi o la previsione delle serie temporali, gli insiemi colgono una gamma di schemi e relazioni più ampia di quella che un singolo modello potrebbe individuare da solo.

Detto questo, quando un singolo modello offre già buone prestazioni, spesso è la scelta migliore: è più semplice da addestrare, più facile da interpretare e più rapido da mantenere. Prima di usare un insieme di modelli, è importante valutare se il vantaggio di una maggiore precisione giustifica il tempo, la potenza di calcolo e la complessità aggiuntivi richiesti.

Panoramica sulle tecniche di apprendimento d'insieme#

Vediamo ora i principali modi in cui l'apprendimento d'insieme può essere applicato nei progetti di machine learning. Esistono diverse tecniche fondamentali per combinare i modelli, ognuna delle quali migliora le prestazioni a modo proprio. I metodi d'insieme più comuni sono bagging, boosting, stacking e blending.

Bagging#

Bagging, abbreviazione di bootstrap aggregating, è un metodo di apprendimento d'insieme che contribuisce a migliorare la stabilità e l'accuratezza del modello addestrando più versioni dello stesso modello su porzioni diverse dei dati.

Ogni sottoinsieme viene creato con un processo chiamato campionamento bootstrap, in cui i punti dati vengono selezionati casualmente con reinserimento. Ciò significa che, dopo essere stato selezionato, un punto dati viene reinserito nell'insieme prima della selezione successiva: lo stesso punto può quindi comparire più volte, mentre altri possono essere esclusi. Questa casualità fa sì che ogni modello venga addestrato su una versione leggermente diversa del dataset.

Durante l'inferenza, tutti i modelli addestrati vengono eseguiti in parallelo per formulare previsioni su dati nuovi e mai visti. Ogni modello produce il proprio output in base a ciò che ha appreso, quindi le singole previsioni vengono combinate per formare il risultato finale.

Per le attività di regressione, come la previsione dei prezzi delle abitazioni o delle vendite, di solito si calcola la media degli output di tutti i modelli per ottenere una stima più uniforme. Per le attività di classificazione, come stabilire se una transazione è fraudolenta, l'insieme ricorre spesso al voto di maggioranza per decidere la classe finale.

Il bagging in azione: l'algoritmo Random Forest#

Un buon esempio dell'efficacia del bagging è costituito dagli alberi decisionali, che possono andare facilmente in overfitting se addestrati su un singolo dataset. Addestrando molti alberi su campioni leggermente diversi e combinandone i risultati, il bagging riduce l'overfitting e migliora l'affidabilità.

Considera l'algoritmo Random Forest. È un insieme di alberi decisionali, in cui ogni albero viene addestrato su un sottoinsieme casuale del dataset di addestramento e su un sottoinsieme casuale di caratteristiche.

Questa casualità nella selezione delle caratteristiche contribuisce a ridurre la correlazione tra gli alberi e a rendere il modello complessivo più stabile e accurato. Un algoritmo Random Forest può essere usato per classificare immagini, rilevare frodi, prevedere l'abbandono dei clienti, fare previsioni di vendita o stimare i prezzi degli immobili.

Fig. 2. Panoramica sull'algoritmo Random Forest (fonte)

Boosting#

Il boosting è un'altra tecnica di apprendimento d'insieme che mira a migliorare gli apprendenti deboli (modelli) addestrandoli in sequenza, uno dopo l'altro, anziché in parallelo. Il concetto fondamentale del boosting è che ogni nuovo modello apprende dagli errori dei precedenti, migliorando gradualmente le prestazioni del modello complessive.

A differenza del bagging, che riduce la varianza calcolando la media di modelli indipendenti, il boosting riduce il bias facendo sì che ogni nuovo modello presti maggiore attenzione ai casi difficili con cui i modelli precedenti hanno avuto problemi.

Poiché i modelli di boosting vengono addestrati in sequenza, il modo in cui le loro previsioni vengono combinate alla fine è leggermente diverso rispetto ad altri metodi d'insieme. Ogni modello contribuisce alla previsione finale in proporzione alle sue prestazioni durante l'addestramento, e i modelli più accurati ricevono un peso maggiore.

Per le attività di regressione, il risultato finale è di solito una somma ponderata delle previsioni di tutti i modelli. Per quelle di classificazione, l'algoritmo combina i voti ponderati dei modelli per decidere la classe finale. Questo approccio consente al boosting di creare un modello complessivo efficace, attribuendo un peso maggiore ai modelli più accurati e continuando al contempo ad apprendere dagli altri.

Ecco alcuni tipi comuni di algoritmi di boosting:

• AdaBoost (boosting adattivo): questo metodo inizia addestrando un modello semplice, come un piccolo albero decisionale, quindi aumenta il peso dei punti dati classificati in modo errato. In questo modo il modello successivo si concentra maggiormente sugli esempi difficili. Nel corso di più iterazioni, i modelli si basano l'uno sull'altro e le loro previsioni combinate producono un risultato più efficace e accurato. Per esempio, AdaBoost può migliorare l'accuratezza del rilevamento dello spam o del riconoscimento facciale.
• Gradient Boosting: invece di riassegnare i pesi ai campioni, Gradient Boosting addestra ogni nuovo modello per correggere gli errori residui dei modelli precedenti, cioè le differenze tra i valori effettivi e quelli previsti. Questo approccio iterativo è efficace sia per le attività di regressione sia per quelle di classificazione, come le previsioni di vendita e la valutazione del merito creditizio.
• XGBoost (potenziamento estremo del gradiente): questa versione avanzata del gradient boosting migliora sia la velocità sia la precisione. Usa la regolarizzazione, che durante l’addestramento penalizza leggermente i modelli eccessivamente complessi, affinché si concentrino su schemi significativi invece di memorizzare i dati. Anche se i modelli vengono ancora addestrati in sequenza, XGBoost accelera il processo usando la parallelizzazione durante la costruzione degli alberi. Può valutare contemporaneamente molti possibili punti di suddivisione su diversi core della CPU. Questo rende l’addestramento molto più rapido, soprattutto su dataset di grandi dimensioni, mantenendo al contempo elevate prestazioni predittive.

Fig. 3. Esempio di classificatore basato su albero decisionale (DTB), addestrato con un approccio di boosting per prevedere il rischio di diabete. (Fonte)

Stacking#

Lo stacking, detto anche generalizzazione impilata, spinge il processo un passo oltre usando le previsioni di diversi modelli come input per un modello finale, chiamato meta-apprendente. Puoi immaginarlo come un gruppo di esperti che esprime ciascuno la propria opinione, mentre un decisore finale impara a ponderare tali opinioni per prendere la decisione migliore possibile.

Per esempio, un modello potrebbe essere molto efficace nell'individuare le frodi, mentre un altro potrebbe prevedere meglio l'abbandono dei clienti. Il meta-apprenditore analizza le prestazioni di ciascun modello e ne combina i punti di forza per formulare una previsione finale più accurata.

Blending#

Il blending funziona in modo simile allo stacking, perché combina anche le previsioni di diversi modelli per prendere una decisione finale, ma adotta un approccio più semplice e rapido. Anziché usare la convalida incrociata (un metodo che suddivide i dati in più parti e le alterna tra addestramento e test per rendere il modello più affidabile), come fa lo stacking, il blending mette da parte una piccola porzione dei dati, chiamata insieme di convalida.

I modelli di base vengono addestrati sui dati rimanenti e poi formulano previsioni sull'insieme di holdout, che non hanno mai visto prima. In questo modo si ottengono due informazioni fondamentali: le risposte effettive, o etichette reali, e le previsioni formulate da ciascun modello di base.

Queste previsioni vengono poi passate a un altro modello, chiamato modello di blending o meta-modello. Questo modello finale analizza l'accuratezza delle previsioni di ciascun modello di base e impara a combinarle nel modo migliore.

Poiché il blending si basa su una sola suddivisione tra addestramento e test, anziché ripetere il processo più volte, è più veloce e più facile da configurare. Il compromesso è che dispone di meno informazioni da cui apprendere, il che può renderlo leggermente meno preciso.

Valutazione degli algoritmi di ensemble#

Una parte importante dell'apprendimento ensemble consiste nel valutare le prestazioni di un modello su dati che non ha mai visto prima. Per quanto avanzata possa essere una tecnica, è necessario testarla per assicurarsi che sappia generalizzare, ossia formulare previsioni accurate su nuovi esempi del mondo reale, anziché limitarsi a memorizzare i dati di addestramento.

Ecco alcune metriche di prestazione comuni usate per valutare i modelli di IA:

• Accuratezza: questa metrica misura la proporzione di previsioni corrette rispetto al numero totale di previsioni formulate dal modello. Fornisce una rapida panoramica delle prestazioni complessive.
• Precisione: indica quanti dei campioni classificati come positivi sono effettivamente positivi. Un'elevata precisione significa che il modello commette pochi falsi positivi.
• Richiamo: questa misura si concentra sul numero di casi effettivamente positivi identificati correttamente dal modello. È particolarmente importante in settori come quello sanitario, dove non rilevare un caso positivo, ad esempio una diagnosi di malattia, può avere gravi conseguenze.

Applicazioni dell'apprendimento ensemble nel mondo reale#

Finora abbiamo visto come funziona l'apprendimento ensemble e quali tecniche utilizza. Ora scopriamo in quali ambiti questo approccio sta avendo un impatto.

Ecco alcuni ambiti chiave in cui si applica comunemente l'apprendimento ensemble:

• Analisi dei dati e previsione: nel mondo aziendale e dell'analisi, i modelli ensemble aiutano le organizzazioni a formulare previsioni migliori combinando le informazioni ricavate da più modelli. Questo permette di ottenere previsioni di vendita più accurate, pianificare meglio la domanda e comprendere più chiaramente il comportamento dei clienti.
• Classificazione binaria: attività come il rilevamento dello spam, la prevenzione delle frodi e la diagnosi medica richiedono spesso di distinguere tra due possibili esiti. I modelli ensemble aiutano a ridurre i falsi positivi e i falsi negativi, un aspetto particolarmente importante in settori come la sicurezza informatica e la sanità.
• Problemi di regressione: quando si prevedono valori continui come i prezzi delle case, i ricavi delle vendite o il rischio di credito, i metodi ensemble riescono a cogliere relazioni complesse nei dati. Ne derivano previsioni più precise, utili per prendere decisioni finanziarie e operative migliori.

Oltre i dati strutturati con l'apprendimento ensemble#

Sebbene l'apprendimento ensemble sia usato più comunemente con dati strutturati o tabellari, come i fogli di calcolo contenenti informazioni numeriche o categoriali, può essere applicato anche a dati non strutturati, come testo, immagini, audio e video.

Questi tipi di dati sono più complessi e difficili da interpretare per i modelli, ma i metodi ensemble contribuiscono a migliorare l'accuratezza e l'affidabilità. Per esempio, nella visione artificiale, gli ensemble possono potenziare attività come la classificazione delle immagini e il rilevamento degli oggetti.

Combinando le previsioni di più modelli di visione, come le reti neurali convoluzionali (CNNs), il sistema può riconoscere gli oggetti con maggiore accuratezza e gestire variazioni di illuminazione, angolazione o sfondo che potrebbero confondere un singolo modello.

Uno sguardo all'ensemble di modelli Ultralytics YOLOv5#

Un esempio interessante di apprendimento ensemble nella visione artificiale è il caso in cui un ingegnere combina più modelli di rilevamento degli oggetti per migliorare l'accuratezza. Immagina un ingegnere al lavoro su un sistema di monitoraggio della sicurezza in un cantiere, dove l'illuminazione, le angolazioni e le dimensioni degli oggetti cambiano continuamente.

Un singolo modello potrebbe non rilevare un lavoratore nell'ombra o confondere un macchinario in movimento. Usando un ensemble di modelli, ciascuno con punti di forza diversi, il sistema diventa più affidabile e meno incline a commettere questi errori.

In particolare, modelli come Ultralytics YOLOv5 si prestano bene all'ensemble di modelli. Gli ingegneri possono combinare diverse varianti di YOLOv5, come YOLOv5x e YOLOv5l6, per formulare previsioni insieme. Ogni modello analizza la stessa immagine e produce i propri rilevamenti, che vengono poi mediati per generare un risultato finale più robusto e accurato.

Fig. 4. Rilevamento di oggetti in un'immagine con YOLOv5. (Fonte)

Vantaggi e svantaggi dell'apprendimento ensemble#

Ecco alcuni vantaggi fondamentali dell'apprendimento ensemble:

• Resistenza ai dati rumorosi: gli ensemble sono meno influenzati dai valori anomali o dal rumore casuale nel dataset, poiché si basano su più modelli.
• Migliore generalizzazione: gli ensemble riducono l'overfitting e aiutano i modelli a ottenere buone prestazioni su dati mai visti, invece di limitarsi a memorizzare gli esempi di addestramento.
• Flessibilità tra algoritmi: puoi combinare diversi tipi di modelli, come alberi decisionali, reti neurali e modelli lineari, per sfruttarne i rispettivi punti di forza.

Sebbene l'apprendimento ensemble offra diversi vantaggi, presenta anche alcune sfide da considerare. Ecco alcuni fattori da tenere a mente:

• Costo computazionale più elevato: addestrare e mantenere più modelli richiede più memoria, potenza di calcolo e tempo rispetto a un singolo modello.
• Interpretabilità ridotta: poiché l'output finale deriva dalla combinazione di più modelli, può essere difficile capire perché sia stata presa una determinata decisione. Tuttavia, dipende dai modelli utilizzati: quando si usano modelli interpretabili, come gli alberi decisionali o le macchine a vettori di supporto, di solito è più facile comprendere i risultati.
• Aspetti da considerare nella progettazione di un ensemble: creare un ensemble implica scegliere la giusta combinazione di modelli e assicurarsi che funzionino bene insieme. In alcuni casi, però, il processo può essere più semplice, perché non è necessario ottimizzare gli iperparametri di ogni singolo modello.

Punti chiave#

L'apprendimento ensemble dimostra come combinare più modelli possa rendere i sistemi di IA più accurati e affidabili. Aiuta a ridurre gli errori e a migliorare le prestazioni in diversi tipi di attività. Con la continua crescita del machine learning e dell'IA, tecniche come questa favoriscono una più ampia adozione e lo sviluppo di soluzioni di IA più pratiche e performanti.

Unisciti alla nostra community in crescita e visita il nostro repository GitHub per saperne di più sull'IA per la visione. Esplora le nostre pagine dedicate alle soluzioni per scoprire le applicazioni della visione artificiale in agricoltura e dell'IA nella logistica. Dai un'occhiata alle nostre opzioni di licenza e inizia oggi stesso a creare il tuo modello di visione artificiale!