Apprendimento auto-supervisionato

L'apprendimento auto-supervisionato (SSL) è una tecnica di apprendimento automatico che consente ai modelli di imparare da grandi quantità di dati non etichettati. Invece di affidarsi alle etichette fornite dall'uomo, l'SSL genera automaticamente le etichette dai dati stessi, creando e risolvendo un "compito pretestuoso". Questo processo costringe il modello ad apprendere gli schemi e le caratteristiche significative dei dati, come le texture e le forme delle immagini o le strutture grammaticali del testo. Queste caratteristiche apprese creano una base potente, che consente al modello di ottenere prestazioni eccezionali nei compiti a valle con una quantità di dati etichettati molto inferiore durante la fase di messa a punto. SSL colma il divario tra l'apprendimento completamente supervisionato, che è affamato di dati, e l'apprendimento puramente non supervisionato, che può essere meno diretto.

Come funziona l'apprendimento auto-supervisionato

L'idea centrale di SSL è il compito del pretesto, un problema autocreato che il modello deve risolvere. Le etichette per questo compito sono derivate direttamente dai dati di input. Risolvendo il compito di pretesto, la rete neurale apprende rappresentazioni di valore, o embeddings, che catturano le caratteristiche essenziali dei dati.

Tra i compiti pretestuosi più comuni nella visione computerizzata vi sono:

• Previsione della rotazione dell'immagine: Al modello viene mostrata un'immagine ruotata in modo casuale (ad esempio, di 0, 90, 180 o 270 gradi) e deve prevedere l'angolo di rotazione. Per farlo correttamente, deve riconoscere l'orientamento originale dell'oggetto.
• Inpainting dell'immagine: Una parte dell'immagine viene mascherata o rimossa e il modello deve prevedere la parte mancante. In questo modo il modello impara a conoscere il contesto e la struttura delle immagini.
• Apprendimento contrastivo: Al modello viene insegnato ad avvicinare le rappresentazioni di immagini simili (aumentate) e ad allontanare le rappresentazioni di immagini diverse. Framework come SimCLR sono esempi popolari di questo approccio.

Questo pre-addestramento su dati non etichettati porta a pesi del modello robusti che possono essere utilizzati come punto di partenza per compiti più specifici.

SSL contro altri paradigmi di apprendimento

È fondamentale differenziare l'SSL dai paradigmi di apprendimento automatico correlati:

• Apprendimento supervisionato: Si basa interamente su dati etichettati, in cui ogni input è abbinato a un output corretto. SSL, al contrario, genera le proprie etichette dai dati stessi, riducendo in modo significativo la necessità di etichettare manualmente i dati.
• Apprendimento non supervisionato: Mira a trovare modelli (come il clustering) o a ridurre la dimensionalità in dati non etichettati senza compiti predefiniti. Sebbene l'SSL utilizzi dati non etichettati come l'apprendimento non supervisionato, si differenzia per la creazione di segnali di supervisione espliciti attraverso compiti predefiniti per guidare l'apprendimento della rappresentazione.
• Apprendimento semi-supervisionato: Utilizza una combinazione di una piccola quantità di dati etichettati e di una grande quantità di dati non etichettati. Il pre-addestramento SSL può spesso essere un passo preliminare prima della messa a punto semi-supervisionata.
• Apprendimento attivo: Si concentra sulla selezione intelligente dei punti di dati più informativi da un pool non etichettato che deve essere etichettato da un umano. SSL apprende da tutti i dati non etichettati senza l'intervento umano. Questi due metodi possono essere complementari in un flusso di lavoro AI incentrato sui dati.

Applicazioni del mondo reale

SSL ha sviluppato in modo significativo le capacità di intelligenza artificiale (AI) in vari settori:

1. Modelli di visione computerizzata più avanzati: Il pre-training SSL consente a modelli come Ultralytics YOLO di apprendere solide caratteristiche visive da enormi set di dati di immagini non etichettate prima di essere messi a punto per compiti come il rilevamento di oggetti in veicoli autonomi o l'analisi di immagini mediche. L'uso di pesi pre-addestrati derivati da SSL spesso porta a prestazioni migliori e a una convergenza più rapida durante l'addestramento del modello.
2. Alimentazione dei modelli linguistici di grandi dimensioni (LLM): I modelli di base come GPT-4 e BERT si affidano in larga misura a compiti di pre-testualità SSL (come la modellazione linguistica mascherata) durante la fase di pre-addestramento su vasti corpora di testo. Ciò consente loro di comprendere la struttura del linguaggio, la grammatica e il contesto, alimentando applicazioni che vanno da sofisticati chatbot e traduzioni automatiche alla sintesi di testi.

L'SSL riduce significativamente la dipendenza da costosi set di dati etichettati, democratizzando lo sviluppo di potenti modelli di IA. Strumenti come PyTorch e TensorFlow, insieme a piattaforme come Ultralytics HUB, forniscono ambienti per sfruttare le tecniche SSL per costruire e distribuire soluzioni di IA all'avanguardia. È possibile trovare le ultime ricerche sull'SSL alle principali conferenze sull'IA come NeurIPS e ICML.