Linear Probing

Il linear probing è una tecnica di valutazione e adattamento che misura l'utilità delle rappresentazioni apprese da un modello allenando un semplice predittore lineare su feature bloccate. L'encoder preaddestrato rimane invariato, mentre solo un layer lineare (spesso una regressione logistica per la classificazione) viene adattato ai dati etichettati. Forti prestazioni del probe suggeriscono che le embeddings dell'encoder organizzano già concetti rilevanti in modo che possano essere separati con semplici confini di decisione.

Nel machine learning, il termine non è correlato al linear probing nelle tabelle hash, in cui le posizioni di archiviazione vicine vengono controllate dopo una collisione. Nell'AI e nel deep learning, si riferisce specificamente al probing di una rappresentazione con un modello lineare.

Come funziona il Linear Probing#

Una tipica rete neurale contiene un encoder o un backbone che trasforma l'input grezzo in un vettore di feature, seguito da una testa di predizione specifica per il task. Il linear probing segue quattro passaggi:

1. Preaddestra o carica un encoder.
2. Blocca i suoi parametri in modo che l'addestramento non possa aggiornarli.
3. Esegui l'estrazione di feature su esempi etichettati.
4. Addestra un classificatore lineare utilizzando quelle feature fisse.

Per la classificazione multiclasse, il probe è comunemente un singolo layer denso con output softmax o un classificatore di regressione logistica scikit-learn. Sebbene la regressione logistica includa una trasformazione di probabilità non lineare, i suoi punteggi di classe e confini di decisione sono funzioni lineari delle feature di input.

Il linear probing è particolarmente comune nel self-supervised learning, in cui un encoder impara da dati non etichettati. L'esempio Keras NNCLR lo dimostra addestrando un classificatore denso sulle feature di un encoder bloccato. Poiché il probe ha una capacità limitata, non può compensare facilmente rappresentazioni deboli apprendendo complesse trasformazioni non lineari.

Cosa rivelano le prestazioni del Linear Probe#

Un linear probe testa se le informazioni sono sia presenti che prontamente accessibili in una rappresentazione. Se immagini di gatti e cani formano gruppi separabili nello spazio delle embedding, un classificatore lineare può distinguerli con pochi parametri addestrabili. Se l'informazione è codificata attraverso una disposizione più complicata, un classificatore non lineare potrebbe avere successo anche quando il linear probe offre scarse prestazioni.

L'accuratezza del probe dovrebbe quindi essere trattata come una diagnostica piuttosto che come una misura completa della qualità del modello. Può essere influenzata da:

• Il layer dell'encoder selezionato e la dimensione dell'embedding.
• Risoluzione dell'input e pre-elaborazione.
• La quantità e il bilanciamento dei dati di training etichettati.
• Regolarizzazione applicata al modello lineare.
• Data leakage tra i set di training e di valutazione.

Usa un dataset di validazione tenuto da parte, preferibilmente creato con una procedura riproducibile e stratificata come l'utilità di suddivisione train-test di scikit-learn. Oltre all'accuratezza, un report delle metriche di classificazione può evidenziare classi che la rappresentazione non separa in modo coerente.

Linear Probing vs Metodi Correlati#

Il linear probing appartiene alla più ampia famiglia di metodi di trasferimento e valutazione della rappresentazione, ma diverse distinzioni sono importanti:

• Linear probing vs fine-tuning: Un probe aggiorna solo la testa lineare. Il fine-tuning aggiorna alcuni o tutti i pesi dell'encoder, dando al modello maggiore flessibilità ma richiedendo calcoli aggiuntivi e aumentando il rischio di overfitting. La guida al transfer learning di TensorFlow descrive il blocco di un modello di base prima di sbloccarlo opzionalmente per il fine-tuning.
• Linear probing vs estrazione di feature: L'estrazione di feature produce le embedding; il linear probing addestra e valuta un predittore su tali embedding.
• Linear probing vs regressione lineare: La regressione lineare predice valori continui. I probe di classificazione generalmente predicono classi discrete con una regressione logistica o un layer softmax.
• Linear probing vs valutazione dei vicini più prossimi (nearest-neighbor): Un linear probe apprende i confini delle classi. I metodi dei vicini più prossimi classificano i campioni in base alle embedding memorizzate vicine senza apprendere tali confini. Il tutorial sul transfer learning di PyTorch definisce il flusso di lavoro correlato con encoder bloccato come un estrattore di feature fisso.

Linear Probing con Ultralytics YOLO#

Un modello di classificazione Ultralytics YOLO26 preaddestrato può generare embedding di immagini tramite l'API documentata model.embed(). Il seguente esempio blocca implicitamente l'encoder precalcolando le feature, quindi adatta un linear probe per distinguere i gatti CIFAR-10 dai cani:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

Solo il modello di regressione logistica apprende dalle etichette di gatti e cani; i pesi dell'encoder YOLO26 rimangono fissi. Questo isola l'utilità della sua rappresentazione visiva anziché misurarne la capacità di adattamento tramite l'addestramento end-to-end.

Applicazioni nel mondo reale e guida pratica#

• Valutazione del preaddestramento non supervisionato: Un team di robotica può preaddestrare un encoder su grandi volumi di video di magazzini non etichettati, quindi sondare (probed) le sue feature utilizzando un piccolo dataset etichettato di carrelli elevatori, lavoratori e pallet. Un'alta accuratezza del probe indica che la rappresentazione può supportare la classificazione di immagini o il rilevamento downstream con un'annotazione limitata.

• Confronto dell'idoneità del dominio: Un team di imaging medico può bloccare diversi encoder candidati e addestrare linear probe identici per categorie di tessuti. Se un encoder si comporta sostanzialmente meglio a parità di split e pre-elaborazione, la sua rappresentazione è un punto di partenza più solido per un successivo fine-tuning.

Per confronti equi, mantieni costanti la suddivisione del dataset, il layer delle feature, la pre-elaborazione, il classificatore e le impostazioni di ottimizzazione. Valuta sia il linear probing che il fine-tuning completo quando possibile: il probe misura le informazioni accessibili nelle feature fisse, mentre il fine-tuning misura quanto efficacemente il modello completo può adattarsi.