Semi-Supervised Learning

Halbüberwachtes Lernen trainiert ein Modell sowohl mit einer kleinen Menge beschrifteter Beispiele als auch mit einer deutlich größeren Menge unbeschrifteter Beispiele. Die unbeschrifteten Daten ermöglichen dabei eine höhere Genauigkeit, als sich allein anhand der Beschriftungen erreichen ließe. Es liegt zwischen überwachtem Lernen, bei dem jedes Trainingsbeispiel eine Beschriftung hat, und unüberwachtem Lernen, bei dem keines eine Beschriftung hat. Der Ansatz eignet sich für die Computer Vision, denn Kameras erfassen kostengünstig Bilder, während das Beschriften von Daten, etwa das Zeichnen von Rahmen oder Masken oder das Erfassen einer Diagnose, Zeit von Menschen und häufig Expertenwissen erfordert. FixMatch erreichte beim CIFAR-10-Bildbenchmark eine Genauigkeit von 88,61 % mit nur 4 beschrifteten Bildern pro Klasse. Noisy Student erhöhte die Top-1-Genauigkeit auf ImageNet auf 88,4 %, indem Pseudo-Beschriftungen für 300 Millionen unbeschriftete Bilder hinzukamen.

So funktioniert halbüberwachtes Lernen#

Unbeschriftete Daten sind hilfreich, weil sie die Form der Datenverteilung sichtbar machen. Die Verfahren gehen davon aus, dass Beispiele in einer dichten Region ähnliche Beschriftungen haben. Deshalb sollte die Entscheidungsgrenze zwischen Klassen durch dünn besiedelte Regionen verlaufen, in denen nur wenige Beispiele liegen. Drei Verfahrensfamilien setzen diese Idee um.

Beim Pseudo-Beschriften, auch Selbsttraining genannt, wird ein Modell anhand der beschrifteten Daten trainiert und anschließend auf die unbeschrifteten Daten angewandt. Vorhersagen oberhalb eines Konfidenz-Schwellenwerts werden als zusätzliche Trainingsdaten übernommen. Bei Lehrer-Schüler-Verfahren wird das trainierte Modell zum Lehrer, der den Datenbestand beschriftet. Ein Student, der oft genauso groß oder größer als der Lehrer ist, wird mit den echten Beschriftungen und Pseudo-Beschriftungen trainiert und wird zum nächsten Lehrer:

Bei der Konsistenzregularisierung muss ein Modell für unterschiedliche Veränderungen desselben unbeschrifteten Bildes dieselbe Vorhersage liefern, etwa für zwei verschiedene Datenerweiterungen. FixMatch kombiniert beide Ideen: Es erzeugt eine Pseudo-Beschriftung für eine schwach veränderte Ansicht, sofern das Modell sicher genug ist, und trainiert das Modell darauf, diese Beschriftung für eine stark veränderte Ansicht desselben Bildes vorherzusagen. Graphbasierte Verfahren verbinden ähnliche Beispiele zu einem Graphen und verbreiten bekannte Beschriftungen entlang seiner Kanten. Das größte Risiko dabei ist der Bestätigungsfehler: Falsche Pseudo-Beschriftungen werden ins Training aufgenommen und anschließend mit noch höherer Sicherheit vorhergesagt. Daher verwenden die Verfahren hohe Schwellenwerte, starke Datenerweiterung oder einen Lehrer, dessen Gewichte aus einem langsam aktualisierten Durchschnitt der Studentengewichte bestehen.

Dieses scikit-learn-Beispiel behält die Beschriftungen von nur 2 Bildern pro Ziffer bei und vergleicht einen überwachten Klassifikator, der mit diesen 20 Bildern trainiert wurde, mit Label Propagation – einem graphbasierten Verfahren, das auch die 1.237 unbeschrifteten Trainingsbilder nutzt:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.semi_supervised import LabelSpreading

X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X / 16, y, test_size=0.3, random_state=0, stratify=y)

# Keep the labels of only 2 training images per digit; -1 marks every other image as unlabeled
labeled = np.concatenate([np.flatnonzero(y_train == digit)[:2] for digit in range(10)])
y_partial = np.full_like(y_train, -1)
y_partial[labeled] = y_train[labeled]

# Supervised baseline trains on the 20 labeled images; label spreading also uses the unlabeled ones
supervised = LogisticRegression(max_iter=5000).fit(X_train[labeled], y_train[labeled])
semi_supervised = LabelSpreading(kernel="knn", n_neighbors=10).fit(X_train, y_partial)
print(f"Supervised, 20 labeled images: {supervised.score(X_test, y_test):.3f}")
print(f"Semi-supervised, 20 labeled + {(y_partial == -1).sum()} unlabeled: {semi_supervised.score(X_test, y_test):.3f}")

Bei 540 zurückgehaltenen Ziffernbildern erzielt der überwachte Klassifikator mit denselben 20 Beschriftungen einen Wert von 0,800 und Label Propagation einen Wert von 0,919. Das liegt daran, dass die unbeschrifteten Bilder jedes beschriftete Beispiel mit den vielen ähnlichen Bildern derselben Ziffer verbinden.

Halbüberwachtes Lernen in der Computer Vision#

Pseudo-Beschriftung mit Lehrermodell und Schülermodell lässt sich auf Aufgaben übertragen, deren Beschriftungen besonders aufwendig zu erstellen sind, etwa Instanzsegmentierungs-Masken und Tiefenkarten. Halbd überwachte Verfahren zur Objekterkennung wie Unbiased Teacher übernehmen sichere Pseudo-Boxen eines Lehrermodells. Depth Anything trainierte ein Modell zur monokularen Tiefenschätzung mit etwa 62 Millionen unbeschrifteten Bildern, die ein Lehrermodell automatisch beschriftet hatte. Ultralytics-YOLO26-Tiefenmodelle wurden auf dieselbe Weise vortrainiert: Für 1.281.167 ImageNet-Trainingsbilder ohne Tiefenreferenzdaten erzeugten Depth-Anything-3-Lehrermodelle Pseudo-Tiefenkarten. Sie machten etwa 58 % einer Mischung aus 2,19 Millionen Bildern aus, die auch echte Tiefendatensätze mit Referenzdaten enthält. Vision-Language-Modelle können ebenfalls als Lehrermodelle dienen und Objekte allein anhand von Klassennamen beschriften. Die VLM-Bestenliste vergleicht, wie genau sie reale Erkennungsdatensätze annotieren. Bei der Erkennung kann ein großes YOLO26-Modell als Lehrermodell dienen und seine sicheren Vorhersagen in Beschriftungsdateien im YOLO-Format speichern – eine einfache Form der automatischen Beschriftung:

from ultralytics import YOLO
from ultralytics.utils import ASSETS

# Ein großes, vortrainiertes YOLO26-Modell dient als Lehrer
teacher = YOLO("yolo26x.pt")

# Einen Ordner mit unbeschrifteten Bildern beschriften; nur Erkennungen mit einer Konfidenz über 0.5 werden zu Pseudo-Beschriftungen
# save_txt=True schreibt für jedes Bild eine .txt-Beschriftungsdatei im YOLO-Format, bereit zum Training eines Student-Modells
results = teacher.predict(source=ASSETS, conf=0.5, save_txt=True)

Halbüberwachtes Lernen im Vergleich zu verwandten Begriffen#

• Aktives Lernen: Wählt die informativsten unbeschrifteten Bilder aus und leitet sie an einen menschlichen Annotator weiter. Beim halbüberwachten Lernen wird der Datenbestand automatisch beschriftet. Viele Beschriftungsabläufe kombinieren beide Verfahren.
• Selbstüberwachtes Lernen: Trainiert zunächst ausschließlich mit unbeschrifteten Daten, wobei die Zielwerte aus den Daten selbst stammen, und verwendet Beschriftungen erst anschließend bei der Feinabstimmung. Beim halbüberwachten Lernen werden beschriftete und unbeschriftete Daten im selben Trainingslauf verwendet.
• Transferlernen: Beginnt mit einem Modell, das auf einem anderen Datensatz vortrainiert wurde. Es lässt sich mit halbüberwachtem Lernen kombinieren, da ein vortrainiertes Modell einen besseren ersten Lehrer abgibt.
• Wissensdestillation: Trainiert einen Student darauf, die Ausgaben eines Lehrers nachzubilden, üblicherweise um das Modell zu verkleinern. Beim Pseudo-Beschriften dient dieselbe Lehrer-Schüler-Struktur dazu, Trainingsdaten hinzuzufügen. Noisy Student trainierte Student-Modelle, die genauso groß oder größer als ihre Lehrer waren, und fügte während des Trainings Störungen hinzu. Damit übertraf es das bisher beste ImageNet-Modell um 2,0 %, das zuvor mit 3,5 Milliarden schwach beschrifteten Instagram-Bildern vortrainiert worden war.