Linear Probing

Le sondage linéaire est une technique d’évaluation et d’adaptation qui mesure l’utilité des représentations apprises par un modèle en entraînant un prédicteur linéaire simple sur des caractéristiques figées. L’encodeur préentraîné reste inchangé, tandis que seule une couche linéaire — souvent une régression logistique pour la classification — est ajustée sur des données annotées. De bonnes performances du sondage suggèrent que les plongements de l’encodeur organisent déjà les concepts pertinents de manière à pouvoir les séparer avec de simples frontières de décision.

En apprentissage automatique, ce terme n’a aucun rapport avec le sondage linéaire dans les tables de hachage, où les emplacements de stockage voisins sont vérifiés après une collision. En IA et en apprentissage profond, il désigne spécifiquement l’évaluation d’une représentation au moyen d’un modèle linéaire.

Fonctionnement du sondage linéaire#

Un réseau neuronal classique contient un encodeur ou un backbone qui transforme l’entrée brute en vecteur de caractéristiques, suivi d’une tête de prédiction propre à la tâche. Le sondage linéaire suit quatre étapes :

1. Préentraîner ou charger un encodeur.
2. Figer ses paramètres afin que l’entraînement ne puisse pas les mettre à jour.
3. Effectuer une extraction de caractéristiques sur des exemples annotés.
4. Entraîner un classifieur linéaire à l’aide de ces caractéristiques figées.

Pour la classification multiclasse, le sondage est généralement constitué d’une seule couche dense avec une sortie softmax ou d’un classifieur de régression logistique scikit-learn. Bien que la régression logistique inclue une transformation non linéaire des probabilités, ses scores de classe et ses frontières de décision sont des fonctions linéaires des caractéristiques d’entrée.

Le sondage linéaire est particulièrement courant dans l’apprentissage auto-supervisé, où un encodeur apprend à partir de données non annotées. L’exemple NNCLR de Keras l’illustre en entraînant un classifieur dense sur les caractéristiques d’un encodeur figé. Comme le sondage dispose d’une capacité limitée, il ne peut pas facilement compenser des représentations faibles en apprenant des transformations non linéaires complexes.

Ce que révèlent les performances du sondage linéaire#

Un sondage linéaire vérifie si l’information est à la fois présente et facilement accessible dans une représentation. Si les images de chats et de chiens forment des groupes séparables dans l’espace des plongements, un classifieur linéaire peut les distinguer avec peu de paramètres entraînables. Si l’information est encodée selon une organisation plus complexe, un classifieur non linéaire peut réussir même lorsque le sondage linéaire donne de mauvais résultats.

La précision du sondage doit donc être considérée comme un indicateur diagnostique plutôt que comme une mesure complète de la qualité du modèle. Elle peut être influencée par :

• La couche d’encodeur sélectionnée et la dimension des plongements.
• La résolution d’entrée et le prétraitement.
• La quantité et l’équilibre des données d’entraînement annotées.
• La régularisation appliquée au modèle linéaire.
• La fuite de données entre les ensembles d’entraînement et d’évaluation.

Utilise un jeu de données de validation mis de côté, créé de préférence avec une procédure reproductible et stratifiée, telle que l’utilitaire de séparation entraînement-test de scikit-learn. Au-delà de la précision, un rapport des métriques de classification peut révéler les classes que la représentation ne sépare pas de manière cohérente.

Sondage linéaire et méthodes connexes#

Le sondage linéaire appartient à la famille plus large des méthodes de transfert et d’évaluation des représentations, mais plusieurs distinctions sont importantes :

• Sondage linéaire et fine-tuning : Un sondage ne met à jour que la tête linéaire. Le fine-tuning met à jour une partie ou la totalité des poids de l’encodeur, ce qui offre davantage de flexibilité au modèle, mais nécessite plus de calcul et augmente le risque de surapprentissage. Le guide de TensorFlow sur l’apprentissage par transfert décrit le gel d’un modèle de base avant son dégel facultatif pour le fine-tuning.
• Sondage linéaire et extraction de caractéristiques : L’extraction de caractéristiques produit les plongements ; le sondage linéaire entraîne et évalue un prédicteur sur ces plongements.
• Sondage linéaire et régression linéaire : La régression linéaire prédit des valeurs continues. Les sondages de classification prédisent généralement des classes discrètes avec une régression logistique ou une couche softmax.
• Sondage linéaire et évaluation par plus proches voisins : Un sondage linéaire apprend les frontières entre les classes. Les méthodes des plus proches voisins classent les échantillons en fonction de plongements stockés voisins, sans apprendre ces frontières. Le tutoriel de PyTorch sur l’apprentissage par transfert appelle le flux de travail étroitement lié avec un encodeur figé un extracteur de caractéristiques fixe.

Sondage linéaire avec Ultralytics YOLO#

Un modèle de classification Ultralytics YOLO26 préentraîné peut générer des plongements d’images via l’API model.embed() documentée. L’exemple suivant fige implicitement l’encodeur en précalculant les caractéristiques, puis ajuste un sondage linéaire pour distinguer les chats des chiens de CIFAR-10 :

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

Seul le modèle de régression logistique apprend à partir des annotations de chats et de chiens ; les poids de l’encodeur YOLO26 restent figés. Cela permet d’isoler l’utilité de sa représentation visuelle plutôt que de mesurer sa capacité à s’adapter par un entraînement de bout en bout.

Applications concrètes et conseils pratiques#

• Évaluation d’un préentraînement sur des données non annotées : Une équipe de robotique peut préentraîner un encodeur sur de grands volumes de vidéos d’entrepôts non annotées, puis évaluer ses caractéristiques à l’aide d’un petit jeu de données annoté représentant des chariots élévateurs, des employés et des palettes. Une grande précision du sondage indique que la représentation peut prendre en charge la classification d’images ou la détection en aval avec peu d’annotations.

• Comparaison de l’adéquation au domaine : Une équipe d’imagerie médicale peut figer plusieurs encodeurs candidats et entraîner des sondages linéaires identiques pour différentes catégories de tissus. Si un encodeur obtient de bien meilleurs résultats avec la même séparation et le même prétraitement, sa représentation constitue un meilleur point de départ pour un fine-tuning ultérieur.

Pour garantir des comparaisons équitables, conserve la même séparation du jeu de données, la même couche de caractéristiques, le même prétraitement, le même classifieur et les mêmes paramètres d’optimisation. Évalue si possible à la fois le sondage linéaire et le fine-tuning complet : le sondage mesure l’information accessible dans les caractéristiques figées, tandis que le fine-tuning mesure l’efficacité avec laquelle le modèle complet peut s’adapter.