Contrastive Learning

L'apprendimento contrastivo è un paradigma del machine learning che insegna ai modelli a comprendere i dati confrontando campioni simili e dissimili. A differenza del tradizionale apprendimento supervisionato, che si basa fortemente su dataset etichettati manualmente, l'apprendimento contrastivo viene spesso utilizzato in contesti di apprendimento autosupervisionato. L'idea di base è semplice ma potente: il modello impara ad avvicinare le rappresentazioni di elementi correlati (coppie positive) nello spazio vettoriale, allontanando al contempo quelle di elementi non correlati (coppie negative). Questo processo consente agli algoritmi di costruire feature robuste e generalizzabili a partire da grandi quantità di dati non etichettati, aspetto fondamentale per la scalabilità dei sistemi di intelligenza artificiale (AI).

Il meccanismo dell'apprendimento contrastivo#

Al centro dell'apprendimento contrastivo c'è il concetto di apprendere attraverso il confronto. Invece di memorizzare che una specifica immagine è un "gatto", il modello impara che due foto diverse di un gatto sono più simili tra loro di quanto ciascuna di esse lo sia a una foto di un cane. Questo risultato viene generalmente ottenuto attraverso l'aumento dei dati. Un'immagine di input, spesso chiamata "ancora", viene trasformata in due versioni diverse usando tecniche come il ritaglio, il ribaltamento o la variazione dei colori. Queste due versioni formano una coppia positiva. Il modello viene quindi addestrato a ridurre al minimo la distanza tra i loro embedding, massimizzando al contempo la distanza da altre immagini casuali (campioni negativi) presenti nel batch.

Questo approccio aiuta la rete neurale a concentrarsi sulle feature semantiche di alto livello anziché sui dettagli dei pixel di basso livello. Ad esempio, indipendentemente dal fatto che un'auto sia rossa o blu oppure sia rivolta a sinistra o a destra, il concetto sottostante di "auto" rimane lo stesso. Ignorando queste variazioni superficiali, il modello sviluppa una comprensione più profonda del mondo visivo, con vantaggi significativi per attività a valle come il rilevamento degli oggetti e la classificazione.

Applicazioni nel mondo reale#

L'apprendimento contrastivo è diventato un elemento fondamentale per molte applicazioni di AI all'avanguardia, soprattutto quando i dati etichettati sono scarsi o costosi da ottenere.

1. Classificazione di immagini zero-shot: modelli come CLIP (pre-addestramento contrastivo linguaggio-immagine) usano l'apprendimento contrastivo per allineare immagini e testo in uno spazio delle feature condiviso. Addestrando il modello su milioni di coppie immagine-testo, si impara ad associare i concetti visivi alle descrizioni in linguaggio naturale. Questo abilita lo zero-shot learning, in cui il modello può classificare le immagini in categorie mai viste durante l'addestramento semplicemente associando l'immagine a un prompt testuale.

2. Pre-addestramento robusto per l'imaging medico: in ambito sanitario, ottenere scansioni mediche etichettate da esperti è costoso e richiede molto tempo. I ricercatori usano l'apprendimento contrastivo per pre-addestrare i modelli su grandi database di radiografie o scansioni MRI non etichettate. Questo pre-addestramento non supervisionato crea un potente backbone, che può essere sottoposto a fine-tuning con un numero ridotto di esempi etichettati per rilevare malattie come la polmonite o i tumori con elevata accuratezza. Questa tecnica sfrutta il transfer learning per migliorare gli strumenti diagnostici nell'AI in ambito sanitario.

Distinzione tra concetti correlati#

Per comprendere il ruolo specifico dell'apprendimento contrastivo nel panorama del machine learning (ML), è utile differenziarlo da tecniche simili.

• Rispetto agli autoencoder: sebbene entrambi siano metodi non supervisionati, gli autoencoder mirano a ricostruire i dati di input pixel per pixel, comprimendoli in un livello collo di bottiglia. L'apprendimento contrastivo, invece, non tenta di ricreare l'immagine, ma si concentra esclusivamente sull'apprendimento di rappresentazioni discriminative che separano concetti diversi.
• Rispetto alle reti generative avversarie (GANs): le GANs prevedono un generatore che crea dati falsi e un discriminatore che tenta di rilevarli. L'apprendimento contrastivo si concentra sull'apprendimento delle rappresentazioni anziché sulla generazione dei dati, risultando quindi più adatto ad attività come la ricerca, il recupero e la classificazione.
• Rispetto alla triplet loss: la triplet loss tradizionale richiede esplicitamente un'ancora, un campione positivo e uno negativo. I moderni metodi contrastivi, come SimCLR o MoCo, generalizzano questo approccio confrontando simultaneamente un'ancora con molti campioni negativi all'interno di un batch, spesso usando una specifica funzione di perdita come InfoNCE.

Esempio pratico con gli embedding#

Sebbene addestrare un modello contrastivo da zero richieda molte risorse, puoi usare facilmente modelli pre-addestrati per estrarre le feature. L'esempio seguente mostra come caricare un modello ed estrarre il vettore delle feature (embedding) di un'immagine usando il pacchetto ultralytics. Questo embedding rappresenta il contenuto semantico appreso tramite tecniche simili al pre-addestramento contrastivo.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

Questa capacità di estrarre feature ricche e significative rende l'apprendimento contrastivo essenziale per la creazione di moderni sistemi di visione artificiale (CV), consentendo una ricerca di immagini efficiente e analisi avanzate. Per gestire i dataset e addestrare modelli personalizzati che traggono vantaggio da queste architetture avanzate, la piattaforma Ultralytics offre un ambiente semplificato per la distribuzione e il monitoraggio.