Self-Supervised Learning

L'apprendimento auto-supervisionato (SSL) è un paradigma di machine learning in cui un sistema impara a comprendere i dati generando i propri segnali di supervisione dai dati stessi, invece di affidarsi a etichette fornite da annotatori umani esterni. Nell'apprendimento supervisionato tradizionale, i modelli richiedono enormi quantità di dati annotati manualmente, come immagini etichettate con "gatto" o "cane", la cui produzione può essere costosa e richiedere molto tempo. SSL aggira questo ostacolo creando "compiti pretesto" in cui il modello deve prevedere parti nascoste o mancanti dei dati di input, insegnando di fatto a se stesso la struttura sottostante e le caratteristiche necessarie per attività complesse come il rilevamento degli oggetti e la classificazione.

Meccanismi fondamentali dell'apprendimento auto-supervisionato#

L'idea fondamentale alla base di SSL consiste nel mascherare o nascondere una parte dei dati e costringere la rete neurale (NN) a ricostruirla o a prevedere la relazione tra diverse visualizzazioni degli stessi dati. Questo processo crea rappresentazioni ricche e general-purpose che possono essere successivamente sottoposte a fine-tuning per applicazioni specifiche a valle.

All'interno di SSL esistono due approcci principali:

• Metodi generativi: il modello impara a generare pixel o parole per riempire gli spazi vuoti. Un esempio classico nell'elaborazione del linguaggio naturale (NLP) consiste nel prevedere la parola successiva di una frase. Nella computer vision, tecniche come i Masked Autoencoders (MAE) oscurano porzioni casuali di un'immagine e chiedono al modello di ricostruire i pixel mancanti, costringendolo a "comprendere" il contesto visivo.
• Apprendimento contrastivo: questo metodo insegna al modello a distinguere tra punti dati simili e dissimili. Applicando tecniche di aumento dei dati, come ritaglio, variazione casuale dei colori o rotazione, a un'immagine, il modello impara che queste versioni modificate rappresentano lo stesso oggetto (coppie positive), mentre considera le altre immagini come oggetti diversi (coppie negative). Framework diffusi come SimCLR si basano fortemente su questo principio.

Applicazioni nel mondo reale#

L'apprendimento auto-supervisionato è diventato un elemento fondamentale per costruire potenti modelli fondazionali in vari ambiti. La sua capacità di sfruttare enormi quantità di dati senza etichette lo rende altamente scalabile.

• Imaging medico: ottenere scansioni mediche etichettate da esperti è difficile e costoso. SSL consente ai modelli di effettuare il pre-training su migliaia di radiografie o scansioni MRI senza etichette, imparando caratteristiche anatomiche generali. Questo modello sottoposto a pre-training può quindi essere sottoposto a fine-tuning con un numero ridotto di esempi etichettati per raggiungere un'elevata accuratezza nel rilevamento dei tumori o nella diagnosi delle malattie.
• Guida autonoma: le auto a guida autonoma generano ogni giorno terabyte di dati video. SSL consente a questi sistemi di apprendere le dinamiche temporali e la comprensione spaziale da filmati video grezzi senza annotazione fotogramma per fotogramma. Ciò contribuisce a migliorare il rilevamento delle corsie e l'evitamento degli ostacoli prevedendo i fotogrammi futuri o il movimento degli oggetti.

Distinguere SSL dai termini correlati#

È importante distinguere SSL dall'apprendimento non supervisionato. Sebbene entrambi i metodi utilizzino dati senza etichette, l'apprendimento non supervisionato si concentra generalmente sull'individuazione di schemi nascosti o raggruppamenti (clustering) senza uno specifico compito predittivo. SSL, al contrario, struttura il processo di apprendimento come un'attività supervisionata in cui le etichette vengono generate automaticamente dalla struttura stessa dei dati. Inoltre, l'apprendimento semi-supervisionato combina una piccola quantità di dati etichettati con una grande quantità di dati senza etichette, mentre il puro SSL crea interamente le proprie etichette dal dataset senza etichette prima che avvenga qualsiasi fine-tuning.

Utilizzo dei pesi sottoposti a pre-training in Ultralytics#

Nell'ecosistema Ultralytics, modelli come YOLO26 traggono notevoli vantaggi da strategie di training avanzate che spesso incorporano principi simili a SSL durante la fase di pre-training su dataset di grandi dimensioni come ImageNet o COCO. Questo garantisce che, quando gli utenti implementano un modello per un'attività specifica, gli estrattori di caratteristiche siano già robusti.

Gli utenti possono sfruttare queste potenti rappresentazioni sottoposte a pre-training per eseguire il fine-tuning dei modelli sui propri dataset personalizzati utilizzando la Ultralytics Platform.

Ecco un esempio conciso di come caricare un modello Ultralytics YOLO26 sottoposto a pre-training e iniziare a eseguirne il fine-tuning su un nuovo dataset, sfruttando le caratteristiche apprese durante il training iniziale su larga scala:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

Il futuro di SSL#

Mentre i ricercatori di importanti laboratori come Meta AI e Google DeepMind continuano a perfezionare queste tecniche, SSL amplia i confini di ciò che è possibile nell'ambito dell'IA generativa e della computer vision. Riducendo la dipendenza dai dati etichettati, SSL democratizza l'accesso all'IA ad alte prestazioni, consentendo a team più piccoli di costruire modelli sofisticati per applicazioni di nicchia come la conservazione della fauna selvatica o l'ispezione industriale.