Self-Supervised Learning

L'apprendimento auto-supervisionato (SSL) è un paradigma di machine learning in cui un sistema impara a comprendere i dati generando i propri segnali di supervisione dai dati stessi, anziché affidarsi a etichette esterne fornite dall'uomo. Nel Supervised Learning tradizionale, i modelli richiedono enormi quantità di dati annotati manualmente, come immagini etichettate "gatto" o "cane", che possono essere costosi e richiedere molto tempo per la produzione. L'SSL aggira questo collo di bottiglia creando "pretext tasks" in cui il modello deve prevedere parti nascoste o mancanti dei dati in input, insegnando efficacemente a se stesso la struttura sottostante e le caratteristiche necessarie per compiti complessi come l'object detection e la classificazione.

Link to this sectionMeccanismi fondamentali dell'apprendimento auto-supervisionato#

L'idea fondamentale alla base dell'SSL consiste nel mascherare o nascondere una porzione di dati e costringere la neural network (NN) a ricostruirla o a prevedere la relazione tra diverse viste degli stessi dati. Questo processo crea rappresentazioni ricche e generiche che possono essere successivamente perfezionate (fine-tuned) per specifiche applicazioni a valle.

Esistono due approcci principali nell'SSL:

• Metodi generativi: il modello impara a generare pixel o parole per completare i vuoti. Un classico esempio nel Natural Language Processing (NLP) è la previsione della parola successiva in una frase. Nella computer vision, tecniche come i Masked Autoencoders (MAE) oscurano porzioni casuali di un'immagine e assegnano al modello il compito di ricostruire i pixel mancanti, costringendolo a "comprendere" il contesto visivo.
• Apprendimento contrastivo: questo metodo insegna al modello a distinguere tra punti dati simili e dissimili. Applicando tecniche di data augmentation, come ritaglio, variazione del colore o rotazione, a un'immagine, il modello impara che queste versioni modificate rappresentano lo stesso oggetto (coppie positive), trattando al contempo altre immagini come oggetti diversi (coppie negative). Framework popolari come SimCLR si basano fortemente su questo principio.

Link to this sectionApplicazioni nel mondo reale#

L'apprendimento auto-supervisionato è diventato una pietra miliare per la costruzione di potenti foundation models in vari ambiti. La sua capacità di sfruttare enormi quantità di dati non etichettati lo rende altamente scalabile.

• Imaging medico: ottenere scansioni mediche etichettate da esperti è difficile e costoso. L'SSL consente ai modelli di pre-addestrarsi su migliaia di radiografie o scansioni MRI non etichettate per apprendere caratteristiche anatomiche generali. Questo modello pre-addestrato può poi essere perfezionato con un piccolo numero di esempi etichettati per ottenere un'elevata precisione nella tumor detection o nella diagnosi di malattie.
• Guida autonoma: le auto a guida autonoma generano quotidianamente terabyte di dati video. L'SSL permette a questi sistemi di apprendere dinamiche temporali e comprensione spaziale da filmati grezzi senza annotazioni fotogramma per fotogramma. Questo aiuta a migliorare la lane detection e l'evitamento degli ostacoli prevedendo i fotogrammi futuri o il movimento degli oggetti.

Link to this sectionDistinguere l'SSL da termini correlati#

È importante differenziare l'SSL dall'Unsupervised Learning. Sebbene entrambi i metodi utilizzino dati non etichettati, l'apprendimento non supervisionato si concentra solitamente sulla ricerca di modelli nascosti o raggruppamenti (clustering) senza uno specifico compito predittivo. L'SSL, al contrario, inquadra il processo di apprendimento come un compito supervisionato in cui le etichette vengono generate automaticamente dalla struttura dei dati stessi. Inoltre, il Semi-Supervised Learning combina una piccola quantità di dati etichettati con una grande quantità di dati non etichettati, mentre l'SSL puro crea le proprie etichette interamente dal dataset non etichettato prima che avvenga qualsiasi fine-tuning.

Link to this sectionUtilizzo dei pesi pre-addestrati in Ultralytics#

Nell'ecosistema Ultralytics, modelli come YOLO26 beneficiano significativamente di strategie di addestramento avanzate che spesso incorporano principi simili all'SSL durante la fase di pre-addestramento su enormi dataset come ImageNet o COCO. Ciò garantisce che, quando distribuisci un modello per un compito specifico, gli estrattori di feature siano già robusti.

Puoi sfruttare queste potenti rappresentazioni pre-addestrate per perfezionare i modelli sui tuoi dataset personalizzati utilizzando la Ultralytics Platform.

Ecco un breve esempio di come caricare un modello YOLO26 pre-addestrato e iniziare a perfezionarlo su un nuovo dataset, sfruttando le caratteristiche apprese durante il suo addestramento iniziale su larga scala:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

Link to this sectionIl futuro dell'SSL#

Mentre i ricercatori presso laboratori importanti come Meta AI e Google DeepMind continuano a perfezionare queste tecniche, l'SSL sta superando i confini di ciò che è possibile fare nell'Generative AI e nella computer vision. Riducendo la dipendenza dai dati etichettati, l'SSL sta democratizzando l'accesso all'IA ad alte prestazioni, consentendo a team più piccoli di creare modelli sofisticati per applicazioni di nicchia come la wildlife conservation o l'industrial inspection.