Self-Supervised Learning

L'apprendimento auto-supervisionato (SSL) addestra un modello su un compito le cui etichette provengono dai dati stessi, come prevedere la parola successiva di una frase, completare porzioni nascoste di un'immagine o riconoscere come corrispondenze due ritagli della stessa foto, così da poter apprendere da grandi quantità di dati senza etichette. L'apprendimento supervisionato è limitato dall'etichettatura dei dati, che è lenta e costosa, mentre le immagini, i video, l'audio e i testi grezzi sono abbondanti. L'SSL li usa per preaddestrare un encoder generico, che viene poi adattato tramite fine-tuning o una piccola testa addestrata a un'attività a valle, come la classificazione delle immagini o il rilevamento degli oggetti, con molte meno etichette. Ogni moderno modello linguistico di grandi dimensioni (LLM) viene preaddestrato in questo modo, prevedendo il token successivo nel testo, come nei modelli GPT; il modello DINOv3 di Meta ha portato il preaddestramento auto-supervisionato delle immagini a un modello con 7 miliardi di parametri, addestrato su 1,7 miliardi di immagini.

Come funziona l’apprendimento auto-supervisionato#

Un metodo SSL definisce un compito pretest: nasconde o trasforma una parte di ogni input e addestra la rete a ricostruire ciò che è stato rimosso o a riconoscere ciò che è rimasto invariato. Il compito pretest in sé è raramente utile. Ciò che conta è che, per risolverlo, la rete deve apprendere la struttura dei dati, come forme degli oggetti, texture e relazioni tra le parti; queste caratteristiche si trasferiscono poi a compiti con etichette. Dopo il preaddestramento, l’encoder viene valutato o usato tramite sondaggio lineare sulle caratteristiche congelate oppure ottimizzando tutti i suoi pesi:

Principali famiglie di metodi#

• Predizione mascherata: Nasconde parte dell’input e addestra il modello a ricostruirla. BERT prevede parole mascherate casualmente e gli autoencoder mascherati nascondono il 75% delle patch di un’immagine, ricostruendone i pixel. Prevedere il token successivo di una sequenza applica la stessa idea al testo.
• Apprendimento contrastivo: Crea due viste trasformate di ogni immagine e addestra gli embedding in modo che le viste della stessa immagine corrispondano e quelle di immagini diverse no. SimCLR e MoCo sono gli esempi più noti.
• Autodistillazione: Una rete student impara a riprodurre l’output di una rete teacher, ottenuta da una media dello student aggiornata lentamente, su ritagli diversi della stessa immagine, senza coppie negative. BYOL e DINO usano questo approccio, che DINOv2 e DINOv3 estendono a dataset curati di oltre 100 milioni di immagini.
• Predizione di embedding congiunti: Predice gli embedding delle regioni nascoste a partire da quelle visibili, così il modello apprende contenuti astratti senza sprecare capacità sui dettagli dei pixel. I-JEPA e V-JEPA di Meta applicano questo metodo alle immagini e ai video.

La scelta determina le caratteristiche apprese. La ricostruzione mascherata conserva i dettagli spaziali fini e risponde bene all’ottimizzazione, mentre i metodi contrastivi e di autodistillazione producono caratteristiche che funzionano bene anche se congelate: ecco perché gli encoder della famiglia DINO sono backbone diffusi per la stima della profondità e la segmentazione semantica.

Apprendimento auto-supervisionato nella visione artificiale#

I vision transformer e l'SSL si adattano bene l'uno all'altro: mascherare intere porzioni corrisponde direttamente agli input di token di un ViT, e i ViT traggono vantaggio da una quantità di dati di addestramento superiore a quella offerta dai dataset etichettati. Molti modelli fondazionali partono da encoder auto-supervisionati. SAM 2 di Meta, disponibile nel pacchetto Ultralytics per la segmentazione di immagini e video guidata da prompt, si basa su un encoder di immagini Hiera preaddestrato come autoencoder mascherato prima di qualsiasi addestramento alla segmentazione.

Applicazioni#

• Imaging medico: Gli ospedali hanno molte più scansioni di quante i radiologi riescano ad annotarne. Il preaddestramento su radiografie, scansioni TC o RM senza etichette fornisce un encoder che può poi apprendere compiti come il rilevamento dei tumori da un piccolo insieme di etichette fornite da esperti.
• Immagini satellitari: Meta ha addestrato una variante di DINOv3 su 493 milioni di immagini satellitari, che il World Resources Institute usa per mappare l’altezza della copertura arborea. In una regione del Kenya, l’errore medio sull’altezza delle mappe precedenti basate su DINOv2 è sceso da 4,1 a 1,2 metri.
• Riconoscimento vocale: wav2vec 2.0, preaddestrato su 53.000 ore di audio senza etichette e ottimizzato con appena 10 minuti di parlato trascritto, ha raggiunto tassi di errore sulle parole del 4,8% e dell’8,2% nei set di test LibriSpeech clean e other.

Apprendimento auto-supervisionato e termini correlati#

• Apprendimento non supervisionato: Apprendimento senza etichette umane in generale, che comprende clustering e stima della densità. SSL viene solitamente considerato una forma di apprendimento non supervisionato, addestrata come l’apprendimento supervisionato, con obiettivi generati dai dati.
• Apprendimento semi-supervisionato: Addestra contemporaneamente su un piccolo insieme etichettato e uno grande senza etichette. SSL preaddestra solo sui dati senza etichette e i due approcci si combinano bene: SimCLRv2 ha ottimizzato un grande modello auto-supervisionato usando l’1% delle etichette di ImageNet, poi lo ha distillato usando le immagini senza etichette.
• Apprendimento per trasferimento: Riutilizza un modello preaddestrato per un nuovo compito. SSL è un modo per produrre quel modello preaddestrato senza etichette.
• Aumento dei dati: Ritagli casuali, variazioni di colore e ribaltamenti che ampliano un dataset etichettato. Nell’SSL contrastivo, le stesse trasformazioni definiscono quali viste vengono considerate la stessa immagine e determinano quindi ciò che l’encoder impara a ignorare.