Contrastive Learning

L'apprendimento contrastivo è un paradigma di machine learning che insegna ai modelli a comprendere i dati confrontando campioni simili e dissimili. A differenza del tradizionale supervised learning, che si basa pesantemente su dataset etichettati manualmente, l'apprendimento contrastivo viene spesso utilizzato in contesti di self-supervised learning. L'idea di base è semplice ma potente: il modello impara ad avvicinare le rappresentazioni di elementi correlati (coppie positive) in uno spazio vettoriale, allontanando al contempo elementi non correlati (coppie negative). Questo processo consente agli algoritmi di costruire caratteristiche robuste e generalizzabili da enormi quantità di dati non etichettati, il che è fondamentale per scalare i sistemi di artificial intelligence (AI).

Link to this sectionIl meccanismo dell'apprendimento contrastivo#

Al centro dell'apprendimento contrastivo c'è il concetto di apprendimento tramite confronto. Invece di memorizzare che un'immagine specifica è un "gatto", il modello impara che due foto diverse di un gatto sono più simili tra loro di quanto lo sia ciascuna di esse rispetto alla foto di un cane. Questo si ottiene solitamente attraverso la data augmentation. Un'immagine di input, spesso chiamata "ancora", viene trasformata in due diverse versioni utilizzando tecniche come ritaglio, rotazione o variazione cromatica. Queste due versioni formano una coppia positiva. Il modello viene quindi addestrato a minimizzare la distanza tra i loro embeddings massimizzando al contempo la distanza da altre immagini casuali (campioni negativi) nel batch.

Questo approccio aiuta la neural network a concentrarsi su caratteristiche semantiche di alto livello piuttosto che sui dettagli dei pixel. Ad esempio, che un'auto sia rossa o blu, o rivolta a destra o a sinistra, il concetto sottostante di "auto" rimane lo stesso. Ignorando queste variazioni superficiali, il modello sviluppa una comprensione più profonda del mondo visivo, il che avvantaggia significativamente le attività a valle come l'object detection e la classificazione.

Link to this sectionApplicazioni nel mondo reale#

L'apprendimento contrastivo è diventato una pietra miliare per molte applicazioni AI all'avanguardia, in particolare dove i dati etichettati sono scarsi o costosi da ottenere.

1. Zero-Shot Image Classification: Modelli come CLIP (Contrastive Language-Image Pre-training) utilizzano l'apprendimento contrastivo per allineare immagini e testo in uno spazio di caratteristiche condiviso. Eseguendo l'addestramento su milioni di coppie immagine-testo, il modello impara ad associare concetti visivi a descrizioni in linguaggio naturale. Ciò abilita lo zero-shot learning, in cui il modello può classificare immagini in categorie mai viste durante l'addestramento semplicemente abbinando l'immagine a un prompt testuale.

2. Pre-addestramento robusto per l'imaging medicale: In ambito sanitario, ottenere scansioni mediche etichettate da esperti è costoso e richiede tempo. I ricercatori utilizzano l'apprendimento contrastivo per pre-addestrare modelli su grandi database di radiografie o scansioni MRI non etichettate. Questo pre-addestramento non supervisionato crea un potente backbone che può essere perfezionato con un piccolo numero di esempi etichettati per rilevare malattie come polmoniti o tumori con elevata precisione. Questa tecnica sfrutta il transfer learning per migliorare gli strumenti diagnostici nell'AI in healthcare.

Link to this sectionDistinguere concetti correlati#

È utile differenziare l'apprendimento contrastivo da tecniche simili per comprenderne il ruolo unico nel panorama del machine learning (ML).

• vs. Autoencoders: Sebbene entrambi siano metodi non supervisionati, gli autoencoders mirano a ricostruire i dati di input pixel per pixel, comprimendoli in un layer a collo di bottiglia. L'apprendimento contrastivo, d'altra parte, non tenta di ricreare l'immagine, ma si concentra esclusivamente sull'apprendimento di rappresentazioni discriminanti che separano concetti diversi.
• vs. Generative Adversarial Networks (GANs): Le GANs prevedono un generatore che crea dati falsi e un discriminatore che tenta di rilevarli. L'apprendimento contrastivo si concentra sull'apprendimento delle rappresentazioni piuttosto che sulla generazione di dati, rendendolo più adatto ad attività come ricerca, recupero e classificazione.
• vs. Triplet Loss: La tradizionale triplet loss richiede esplicitamente un'ancora, un campione positivo e uno negativo. I moderni metodi contrastivi, come SimCLR o MoCo, generalizzano questo concetto confrontando un'ancora con molti campioni negativi simultaneamente all'interno di un batch, spesso utilizzando una specifica loss function come InfoNCE.

Link to this sectionEsempio pratico con gli embeddings#

Sebbene addestrare un modello contrastivo da zero sia un'operazione che richiede molte risorse, puoi facilmente utilizzare modelli pre-addestrati per estrarre caratteristiche. Il seguente esempio mostra come caricare un modello ed estrarre il vettore di caratteristiche (embedding) per un'immagine utilizzando il pacchetto ultralytics. Questo embedding rappresenta il contenuto semantico appreso tramite tecniche simili al pre-addestramento contrastivo.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

Questa capacità di estrarre caratteristiche ricche e significative rende l'apprendimento contrastivo essenziale per la costruzione di moderni sistemi di computer vision (CV), abilitando un'efficiente image search e analisi avanzate. Per la gestione dei dataset e l'addestramento di modelli personalizzati che beneficiano di queste architetture avanzate, la Ultralytics Platform fornisce un ambiente semplificato per la distribuzione e il monitoraggio.