Linear Probing

Lineares Probing ist eine Evaluierungs- und Anpassungstechnik, mit der gemessen wird, wie nützlich die erlernten Repräsentationen eines Modells sind, indem ein einfacher linearer Prädiktor auf eingefrorenen Merkmalen trainiert wird. Der vortrainierte Encoder bleibt unverändert, während nur eine lineare Schicht – bei Klassifizierungsaufgaben häufig eine logistische Regression – auf beschrifteten Daten angepasst wird. Eine starke Leistung des Probes deutet darauf hin, dass die Embeddings des Encoders relevante Konzepte bereits so anordnen, dass sie mit einfachen Entscheidungsgrenzen getrennt werden können.

Beim maschinellen Lernen steht der Begriff nicht mit dem linearen Sondieren in Hashtabellen in Verbindung, bei dem nach einer Kollision benachbarte Speicherpositionen überprüft werden. In der KI und beim Deep Learning bezeichnet er speziell die Untersuchung einer Repräsentation mit einem linearen Modell.

So funktioniert lineares Probing#

Ein typisches neuronales Netzwerk enthält einen Encoder oder Backbone, der die Roheingabe in einen Merkmalsvektor umwandelt, gefolgt von einem aufgabenspezifischen Vorhersagekopf. Lineares Probing umfasst vier Schritte:

1. Einen Encoder vortrainieren oder laden.
2. Seine Parameter einfrieren, damit sie durch das Training nicht aktualisiert werden können.
3. Eine Merkmalsextraktion an beschrifteten Beispielen durchführen.
4. Einen linearen Klassifikator mit diesen unveränderten Merkmalen trainieren.

Bei der Mehrklassenklassifizierung ist der Probe üblicherweise eine einzelne dichte Schicht mit Softmax-Ausgabe oder ein logistischer Regressionsklassifikator von scikit-learn. Obwohl die logistische Regression eine nichtlineare Wahrscheinlichkeitsumwandlung umfasst, sind ihre Klassenwerte und Entscheidungsgrenzen lineare Funktionen der Eingabemerkmale.

Lineares Probing ist besonders beim selbstüberwachten Lernen verbreitet, bei dem ein Encoder aus unbeschrifteten Daten lernt. Das Keras-NNCLR-Beispiel veranschaulicht dies, indem es einen dichten Klassifikator auf den Merkmalen eines eingefrorenen Encoders trainiert. Da der Probe nur über eine begrenzte Kapazität verfügt, kann er schwache Repräsentationen nicht ohne Weiteres durch das Erlernen komplexer nichtlinearer Transformationen ausgleichen.

Was die Leistung eines linearen Probes zeigt#

Ein linearer Probe testet, ob Informationen in einer Repräsentation vorhanden und leicht zugänglich sind. Wenn Bilder von Katzen und Hunden im Embedding-Raum trennbare Gruppen bilden, kann ein linearer Klassifikator sie mit wenigen trainierbaren Parametern unterscheiden. Wenn die Informationen durch eine kompliziertere Anordnung codiert sind, kann ein nichtlinearer Klassifikator erfolgreich sein, selbst wenn der lineare Probe schlecht abschneidet.

Die Genauigkeit des Probes sollte daher eher als Diagnose denn als vollständiges Maß für die Modellqualität betrachtet werden. Sie kann beeinflusst werden durch:

• Die ausgewählte Encoderschicht und die Embedding-Dimension.
• Die Eingabeauflösung und die Vorverarbeitung.
• Die Menge und Ausgewogenheit der beschrifteten Trainingsdaten.
• Die auf das lineare Modell angewendete Regularisierung.
• Datenlecks zwischen Trainings- und Evaluierungssätzen.

Verwende einen zurückgehaltenen Validierungsdatensatz, der vorzugsweise mit einem reproduzierbaren, stratifizierten Verfahren erstellt wurde, beispielsweise mit dem Hilfsprogramm zur Aufteilung in Trainings- und Testdaten von scikit-learn. Über die Genauigkeit hinaus kann ein Bericht zu Klassifizierungsmetriken Klassen sichtbar machen, die durch die Repräsentation nicht konsistent getrennt werden.

Lineares Probing im Vergleich zu verwandten Methoden#

Lineares Probing gehört zur übergeordneten Familie der Methoden zur Transfer- und Repräsentationsbewertung, doch mehrere Unterschiede sind wichtig:

• Lineares Probing im Vergleich zu Fine-Tuning: Ein Probe aktualisiert nur den linearen Kopf. Beim Fine-Tuning werden einige oder alle Gewichte des Encoders aktualisiert, wodurch das Modell mehr Flexibilität erhält, aber zusätzliche Rechenleistung benötigt und das Risiko von Overfitting steigt. Der Leitfaden von TensorFlow zum Transfer Learning beschreibt das Einfrieren eines Basismodells, bevor es optional für das Fine-Tuning wieder aufgetaut wird.
• Lineares Probing im Vergleich zur Merkmalsextraktion: Die Merkmalsextraktion erzeugt die Embeddings; beim linearen Probing wird ein Prädiktor auf diesen Embeddings trainiert und evaluiert.
• Lineares Probing im Vergleich zur linearen Regression: Die lineare Regression sagt kontinuierliche Werte voraus. Klassifizierungsprobes sagen im Allgemeinen diskrete Klassen mithilfe einer logistischen Regression oder einer Softmax-Schicht voraus.
• Lineares Probing im Vergleich zur Evaluierung mit nächsten Nachbarn: Ein linearer Probe erlernt Klassengrenzen. Methoden mit nächsten Nachbarn klassifizieren Beispiele anhand nahegelegener gespeicherter Embeddings, ohne diese Grenzen zu erlernen. Das PyTorch-Tutorial zum Transfer Learning bezeichnet den eng verwandten Workflow mit eingefrorenem Encoder als Extraktor fester Merkmale.

Lineares Probing mit Ultralytics YOLO#

Ein vortrainiertes Ultralytics-YOLO26-Klassifizierungsmodell kann mithilfe der dokumentierten model.embed()-API Bild-Embeddings erzeugen. Das folgende Beispiel friert den Encoder implizit ein, indem es die Merkmale vorab berechnet, und passt anschließend einen linearen Probe an, um Katzen und Hunde aus CIFAR-10 zu unterscheiden:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

Nur das logistische Regressionsmodell lernt aus den Katzen- und Hundeetiketten; die Gewichte des YOLO26-Encoders bleiben unverändert. Dadurch wird die Nützlichkeit seiner visuellen Repräsentation isoliert, anstatt seine Fähigkeit zur Anpassung durch End-to-End-Training zu messen.

Anwendungen in der Praxis und praktische Hinweise#

• Bewertung des unbeschrifteten Vortrainings: Ein Robotikteam kann einen Encoder mit großen Mengen unbeschrifteter Videos aus Lagerhallen vortrainieren und anschließend seine Merkmale anhand eines kleinen beschrifteten Datensatzes mit Gabelstaplern, Arbeitskräften und Paletten untersuchen. Eine hohe Genauigkeit des Probes deutet darauf hin, dass die Repräsentation nachgelagerte Aufgaben wie Bildklassifizierung oder Erkennung mit begrenztem Beschriftungsaufwand unterstützen kann.

• Vergleich der Eignung für verschiedene Anwendungsbereiche: Ein Team für medizinische Bildgebung kann mehrere geeignete Encoder einfrieren und identische lineare Probes für Gewebekategorien trainieren. Wenn ein Encoder bei derselben Aufteilung und Vorverarbeitung deutlich besser abschneidet, ist seine Repräsentation ein stärkerer Ausgangspunkt für späteres Fine-Tuning.

Für faire Vergleiche solltest du die Aufteilung des Datensatzes, die Merkmalsebene, die Vorverarbeitung, den Klassifikator und die Optimierungseinstellungen konstant halten. Werte nach Möglichkeit sowohl lineares Probing als auch vollständiges Fine-Tuning aus: Der Probe misst zugängliche Informationen in unveränderten Merkmalen, während das Fine-Tuning misst, wie effektiv sich das vollständige Modell anpassen kann.