Apprendimento semi-supervisionato

L'apprendimento semi-supervisionato (SSL) è una tecnica di machine learning (ML) che colma il divario tra l'apprendimento supervisionato e l'apprendimento non supervisionato. Sfrutta una piccola quantità di dati etichettati insieme a una grande quantità di dati non etichettati per migliorare l'accuratezza dell'apprendimento. In molti scenari del mondo reale, l'acquisizione di dati non etichettati è poco costosa, ma il processo di etichettatura dei dati è costoso e richiede molto tempo. L'SSL affronta questa sfida consentendo ai modelli di apprendere dal vasto pool di esempi non etichettati, guidati dalla struttura e dalle informazioni fornite dal set etichettato più piccolo. Questo approccio è particolarmente potente nel deep learning (DL), dove i modelli richiedono enormi set di dati per ottenere prestazioni elevate.

Come funziona l'apprendimento semi-supervisionato

L'idea alla base di SSL è quella di utilizzare i dati etichettati per costruire un modello iniziale e quindi utilizzare questo modello per fare previsioni sui dati non etichettati. Le previsioni più affidabili del modello vengono quindi trattate come "pseudo-etichette" e aggiunte al set di addestramento. Il modello viene quindi riaddestrato su questa combinazione di etichette originali e pseudo-etichette ad alta affidabilità. Questo processo iterativo consente al modello di apprendere la struttura sottostante dell'intero dataset, non solo la piccola porzione etichettata.

Le tecniche SSL comuni includono:

• Regolarizzazione della Coerenza: Questo metodo impone l'idea che le previsioni del modello debbano rimanere coerenti anche quando i dati di input vengono leggermente perturbati. Ad esempio, un'immagine con una leggera data augmentation dovrebbe produrre la stessa classificazione.
• Modelli generativi: Tecniche come le Reti generative avversarie (GAN) possono imparare a generare dati che assomigliano alla vera distribuzione dei dati, contribuendo a definire meglio i confini decisionali tra le classi.
• Metodi basati su grafi: Questi metodi rappresentano i punti dati come nodi in un grafo e propagano le etichette dai nodi etichettati a quelli non etichettati in base alla loro prossimità o somiglianza. Una panoramica tecnica è disponibile in studi accademici.

Applicazioni nel mondo reale

L'SSL è altamente efficace in domini in cui l'etichettatura rappresenta un collo di bottiglia. Due esempi importanti includono:

1. Analisi di immagini mediche: L'etichettatura di scansioni mediche come risonanze magnetiche o tomografie computerizzate per il rilevamento di tumori richiede radiologi esperti ed è molto costosa. Con l'SSL, un modello può essere addestrato su poche centinaia di scansioni etichettate e quindi perfezionato utilizzando migliaia di scansioni non etichettate provenienti dagli archivi ospedalieri. Ciò consente lo sviluppo di modelli robusti di classificazione delle immagini e segmentazione con uno sforzo manuale significativamente inferiore.
2. Classificazione di contenuti web e documenti: Classificare manualmente miliardi di pagine web, articoli di notizie o recensioni dei clienti è impraticabile. SSL può utilizzare un piccolo set di documenti classificati manualmente per addestrare un classificatore di testo iniziale. Il modello classifica quindi l'enorme corpus di documenti non etichettati, utilizzando le proprie previsioni per migliorare nel tempo per attività come l'analisi del sentiment o la categorizzazione degli argomenti.

Confronto con altri paradigmi di apprendimento

È importante distinguere SSL da concetti correlati di Intelligenza Artificiale (AI):

• Apprendimento auto-supervisionato (SSL): Sebbene condivida un acronimo, l'apprendimento auto-supervisionato è diverso. È un tipo di apprendimento non supervisionato in cui le etichette vengono generate dai dati stessi attraverso attività pretestuose (ad esempio, prevedere una parola mascherata in una frase). Non utilizza alcun dato etichettato manualmente, mentre l'apprendimento semi-supervisionato richiede un piccolo set di dati esplicitamente etichettato per guidare il processo di training del modello.
• Active Learning: Questa tecnica mira anche a ridurre i costi di etichettatura. Tuttavia, invece di utilizzare tutti i dati non etichettati, un modello di active learning interroga in modo intelligente un annotatore umano per etichettare i punti dati più informativi. L'SSL, al contrario, utilizza in genere i dati non etichettati senza interazione umana diretta durante l'addestramento.
• Transfer Learning: Questo implica l'utilizzo di un modello pre-addestrato su un ampio dataset (come ImageNet) e quindi la sua messa a punto su un dataset più piccolo e specifico per il task. Mentre entrambi sfruttano la conoscenza esistente, SSL apprende dai dati non etichettati del task di destinazione stesso, mentre il transfer learning sfrutta la conoscenza da un task diverso (sebbene spesso correlato).

Strumenti e formazione

Molti framework moderni di Deep Learning (DL), tra cui PyTorch (sito ufficiale di PyTorch) e TensorFlow (sito ufficiale di TensorFlow), offrono funzionalità o possono essere adattati per implementare algoritmi SSL. Librerie come Scikit-learn forniscono alcuni metodi SSL. Piattaforme come Ultralytics HUB semplificano il processo facilitando la gestione di dataset che possono contenere combinazioni di dati etichettati e non etichettati, semplificando il training e il deployment di modelli progettati per sfruttare tali strutture di dati. La ricerca in SSL continua ad evolversi, con contributi spesso presentati alle principali conferenze sull'AI come NeurIPS e ICML.