Contrastive Learning

L'apprendimento contrastivo è un paradigma di apprendimento automatico che insegna ai modelli a comprendere i dati confrontando campioni simili e dissimili. A differenza del tradizionale supervised learning, che si basa fortemente su set di dati etichettati manualmente, l'apprendimento contrastivo viene spesso utilizzato in contesti di self-supervised learning. L'idea di fondo è semplice ma potente: il modello impara ad avvicinare le rappresentazioni di elementi correlati (coppie positive) in uno spazio vettoriale, allontanando invece gli elementi non correlati (coppie negative). Questo processo consente agli algoritmi di costruire funzionalità robuste e generalizzabili da enormi quantità di dati non etichettati, il che è fondamentale per scalare i sistemi di artificial intelligence (AI).

Il meccanismo dell'apprendimento contrastivo#

Al centro dell'apprendimento contrastivo c'è il concetto di apprendimento per confronto. Invece di memorizzare che un'immagine specifica è un "gatto", il modello impara che due foto diverse di un gatto sono più simili tra loro rispetto a quanto lo siano rispetto alla foto di un cane. Questo viene tipicamente ottenuto tramite la data augmentation. Un'immagine di input, spesso chiamata "ancora" (anchor), viene trasformata in due versioni diverse utilizzando tecniche come il ritaglio (cropping), il capovolgimento (flipping) o la variazione dei colori (color jittering). Queste due versioni formano una coppia positiva. Il modello viene quindi addestrato a minimizzare la distanza tra i loro embeddings massimizzando al contempo la distanza rispetto ad altre immagini casuali (campioni negativi) nel batch.

Questo approccio aiuta la neural network a concentrarsi su caratteristiche semantiche di alto livello piuttosto che su dettagli di pixel di basso livello. Ad esempio, indipendentemente dal fatto che un'auto sia rossa o blu, o che sia rivolta a sinistra o a destra, il concetto sottostante di "auto" rimane lo stesso. Ignorando queste variazioni superficiali, il modello sviluppa una comprensione più profonda del mondo visivo, il che avvantaggia notevolmente le attività successive come object detection e classificazione.

Applicazioni nel mondo reale#

L'apprendimento contrastivo è diventato una pietra miliare per molte applicazioni AI all'avanguardia, in particolare dove i dati etichettati sono scarsi o costosi da ottenere.

1. Classificazione di immagini Zero-Shot: Modelli come CLIP (Contrastive Language-Image Pre-training) utilizzano l'apprendimento contrastivo per allineare immagini e testo in uno spazio di caratteristiche condiviso. Eseguendo l'addestramento su milioni di coppie immagine-testo, il modello impara ad associare concetti visivi a descrizioni in linguaggio naturale. Ciò consente il zero-shot learning, in cui il modello può classificare le immagini in categorie che non ha mai visto durante l'addestramento semplicemente abbinando l'immagine a un prompt testuale.

2. Pre-addestramento robusto per l'imaging medico: Nel settore sanitario, ottenere scansioni mediche etichettate da esperti è costoso e richiede tempo. I ricercatori utilizzano l'apprendimento contrastivo per pre-addestrare modelli su grandi database di radiografie o scansioni MRI non etichettate. Questo pre-addestramento non supervisionato crea un potente backbone che può essere perfezionato con un piccolo numero di esempi etichettati per rilevare malattie come polmonite o tumori con elevata precisione. Questa tecnica sfrutta il transfer learning per migliorare gli strumenti diagnostici nell'ambito dell'AI in healthcare.

Distinguere concetti correlati#

È utile differenziare l'apprendimento contrastivo da tecniche simili per comprenderne il ruolo unico nel panorama del machine learning (ML).

• vs. Autoencoders: Sebbene entrambi siano metodi non supervisionati, gli autoencoders mirano a ricostruire i dati di input pixel per pixel, comprimendoli in un livello a collo di bottiglia (bottleneck layer). L'apprendimento contrastivo, d'altra parte, non cerca di ricreare l'immagine, ma si concentra esclusivamente sull'apprendimento di rappresentazioni discriminatorie che separano concetti diversi.
• vs. Reti Generative Avversariali (GANs): Le GANs coinvolgono un generatore che crea dati falsi e un discriminatore che cerca di rilevarli. L'apprendimento contrastivo si concentra sull'apprendimento della rappresentazione piuttosto che sulla generazione di dati, rendendolo più adatto a compiti come ricerca, recupero e classificazione.
• vs. Triplet Loss: La tradizionale triplet loss richiede esplicitamente un campione ancora, uno positivo e uno negativo. I moderni metodi contrastivi, come SimCLR o MoCo, generalizzano questo confrontando un'ancora rispetto a molti campioni negativi contemporaneamente all'interno di un batch, spesso utilizzando una specifica loss function come InfoNCE.

Esempio pratico con gli embeddings#

Sebbene l'addestramento di un modello contrastivo da zero richieda molte risorse, puoi facilmente utilizzare modelli pre-addestrati per estrarre caratteristiche. Il seguente esempio dimostra come caricare un modello ed estrarre il vettore delle caratteristiche (embedding) per un'immagine utilizzando il pacchetto ultralytics. Questo embedding rappresenta il contenuto semantico appreso tramite tecniche simili al pre-addestramento contrastivo.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

Questa capacità di estrarre funzionalità ricche e significative rende l'apprendimento contrastivo essenziale per la costruzione di moderni sistemi di computer vision (CV), consentendo un'efficiente image search e analisi avanzate. Per la gestione di set di dati e l'addestramento di modelli personalizzati che beneficiano di queste architetture avanzate, la Ultralytics Platform fornisce un ambiente semplificato per il deployment e il monitoraggio.