Linear Probing

Linear Probing ist eine Evaluierungs- und Anpassungstechnik, die misst, wie nützlich die gelernten Repräsentationen eines Modells sind, indem ein einfacher linearer Prädiktor auf eingefrorenen Merkmalen trainiert wird. Der vortrainierte Encoder bleibt unverändert, während nur eine lineare Schicht – oft logistische Regression zur Klassifizierung – an beschriftete Daten angepasst wird. Eine starke Sondenleistung legt nahe, dass die embeddings des Encoders relevante Konzepte bereits so organisieren, dass sie mit einfachen Entscheidungsgrenzen getrennt werden können.

Im Bereich machine learning steht der Begriff in keinem Zusammenhang mit Linear Probing in Hash-Tabellen, bei denen nach einer Kollision benachbarte Speicherorte überprüft werden. In KI und Deep Learning bezieht er sich spezifisch auf das Sondieren einer Repräsentation mit einem linearen Modell.

Wie Linear Probing funktioniert#

Ein typisches neuronales Netzwerk enthält einen Encoder oder backbone, der Roheingaben in einen Merkmalsvektor umwandelt, gefolgt von einem aufgaben spezifischen Vorhersagekopf. Linear Probing folgt vier Schritten:

1. Vortrainieren oder Laden eines Encoders.
2. Einfrieren seiner Parameter, damit das Training sie nicht aktualisieren kann.
3. Durchföhren von feature extraction an beschrifteten Beispielen.
4. Trainieren eines linearen Klassifikators unter Verwendung dieser festen Merkmale.

Für die Mehrklassenklassifizierung ist die Sonde typischerweise eine einzelne dichte Schicht mit Softmax-Ausgabe oder ein scikit-learn logistic regression classifier. Obwohl die logistische Regression eine nichtlineare Wahrscheinlichkeitstransformation einschließt, sind ihre Klassenergebnisse und Entscheidungsgrenzen lineare Funktionen der Eingabemerkmale.

Linear Probing ist besonders gebräuchlich im self-supervised learning, bei dem ein Encoder von unbeschrifteten Daten lernt. Das Keras NNCLR example demonstriert dies, indem ein dichter Klassifikator über den Merkmalen eines eingefrorenen Encoders trainiert wird. Da die Sonde eine begrenzte Kapazität hat, kann sie schwache Repräsentationen nicht einfach durch das Lernen komplexer nichtlinearer Transformationen ausgleichen.

Was die Leistung von Linear Probing offenbart#

Eine lineare Sonde testet, ob Informationen in einer Repräsentation sowohl vorhanden als auch leicht zugänglich sind. Wenn Katzen- und Hundebilder in einem Einbettungsraum trennbare Gruppen bilden, kann ein linearer Klassifikator sie mit wenigen trainierbaren Parametern unterscheiden. Wenn die Information durch eine kompliziertere Anordnung codiert ist, kann ein nichtlinearer Klassifikator auch dann erfolgreich sein, wenn die lineare Sonde schlecht abschneidet.

Die Sonden genauigkeit sollte daher eher als Diagnostikum denn als vollständiges Maß für die Modellqualität betrachtet werden. Sie kann beeinflusst werden durch:

• Die ausgewählte Encoderschicht und Einbettungsdimension.
• Eingabeauflösung und Vorverarbeitung.
• Die Menge und Verteilung der beschrifteten Trainingsdaten.
• Auf das lineare Modell angewendete Regularisierung.
• Datenlecks zwischen Trainings- und Evaluierungssätzen.

Verwende einen separat gehaltenen validation dataset, vorzugsweise erstellt mit einem reproduzierbaren, geschichteten Verfahren wie dem train-test splitting utility von scikit-learn. Neben der Genauigkeit kann ein classification metrics report Klassen aufdecken, die die Repräsentation nicht konsistent trennt.

Linear Probing im Vergleich zu verwandten Methoden#

Linear Probing gehört zur breiteren Familie der Transfer- und Repräsentationsevaluierungsmethoden, aber mehrere Unterscheidungen sind wichtig:

• Linear probing vs fine-tuning: Eine Sonde aktualisiert nur den linearen Kopf. Fine-Tuning aktualisiert einige oder alle Encoder-Gewichte, was dem Modell mehr Flexibilität gibt, aber zusätzliche Rechenleistung eröffnet und das Risiko von overfitting erhöht. Der TensorFlow transfer learning guide beschreibt das Einfrieren eines Basismodells vor dem optionalen Entfrieren zum Fine-Tuning.
• Linear probing vs feature extraction: Feature Extraction erzeugt die Einbettungen; Linear Probing trainiert und evaluiert einen Prädiktor auf diesen Einbettungen.
• Linear probing vs linear regression: Lineare Regression sagt kontinuierliche Werte voraus. Klassifizierungssonden sagen im Allgemeinen diskrete Klassen mit logistischer Regression oder einer Softmax-Schicht voraus.
• Linear probing vs nearest-neighbor evaluation: Eine lineare Sonde lernt Klassengrenzen. Nächste-Nachbarn-Methoden klassifizieren Stichproben gemäß nahegelegener gespeicherter Einbettungen, ohne diese Grenzen zu lernen. Das PyTorch transfer learning tutorial bezeichnet den eng verwandten Workflow mit eingefrorenem Encoder als festen Merkmalsextraktor.

Linear Probing mit Ultralytics YOLO#

Ein vortrainiertes Ultralytics YOLO26 classification model kann Bild-Einbettungen über die dokumentierte model.embed()-API generieren. Das folgende Beispiel friert den Encoder implizit durch die Vorberechnung von Merkmalen ein und passt dann eine lineare Sonde an, um CIFAR-10-Katzen von Hunden zu unterscheiden:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

Nur das logistische Regressionsmodell lernt aus den Katzen- und Hundelabels; die Gewichte des YOLO26-Encoders bleiben fest. Dies isoliert den Nutzen seiner visuellen Repräsentation, anstatt seine Fähigkeit zur Anpassung durch End-to-End-Training zu messen.

Anwendungen in der Praxis und praktische Anleitung#

• Evaluierung unbeschrifteten Vortrainings: Ein Robotikteam kann einen Encoder mit großen Mengen unbeschrifteter Lagerhausvideos vortrainieren und dann seine Merkmale mithilfe eines kleinen beschrifteten Datensatzes von Gabelstaplern, Arbeitern und Paletten sondieren. Eine hohe Sonden genauigkeit zeigt an, dass die Repräsentation nachgelagerte image classification oder Erkennung mit begrenzter Annotation unterstützen kann.

• Vergleich der Domäneneignung: Ein Team für medizinische Bildgebung kann mehrere Kandidaten-Encoder einfrieren und identische lineare Sonden für Gewebekategorien trainieren. Wenn ein Encoder unter demselben Split und derselben Vorverarbeitung wesentlich besser abschneidet, ist seine Repräsentation ein stärkerer Ausgangspunkt für späteres Fine-Tuning.

Für faire Vergleiche sollten der Datensatz-Split, die Merkmalschicht, die Vorverarbeitung, der Klassifikator und die Optimierungseinstellungen konstant gehalten werden. Evaluiere nach Möglichkeit sowohl Linear Probing als auch volles Fine-Tuning: Die Sonde misst zugängliche Informationen in festen Merkmalen, während Fine-Tuning misst, wie effektiv sich das komplette Modell anpassen kann.