Semi-Supervised Learning

Semi-supervised learning (SSL) ist ein strategisches Paradigma im machine learning (ML), das als Brücke zwischen zwei traditionellen Trainingsmethoden dient. Während supervised learning vollständig auf vollständig annotierten Datensätzen basiert und unsupervised learning versucht, Muster in Daten ohne jegliche Tags zu finden, arbeitet SSL durch die Kombination einer kleinen Menge labeled data mit einem deutlich größeren Pool an unlabeled data. Dieser Ansatz ist besonders wertvoll in realen computer vision (CV)-Szenarien, in denen das Sammeln von Rohbildmaterial – wie Videomaterial von Sicherheitskameras oder Satelliten – relativ günstig ist, aber der Prozess der data labeling durch menschliche Experten kostspielig, langsam und arbeitsintensiv ist. Durch die effektive Nutzung der in den unbeschrifteten Beispielen verborgenen Struktur kann SSL die model accuracy und Generalisierung erheblich verbessern, ohne ein erschöpfendes Annotationsbudget zu erfordern.

Kernmechanismen des halbüberwachten Lernens#

Das primäre Ziel von SSL besteht darin, die Informationen aus dem kleinen Satz beschrifteter Beispiele auf den größeren unbeschrifteten Satz zu übertragen. Dies ermöglicht es dem neural network, Entscheidungsgrenzen zu lernen, die durch Regionen geringer Dichte der Daten verlaufen, was zu einer robusteren Klassifizierung oder Erkennung führt.

Zwei beliebte Techniken treiben die meisten halbüberwachten Workflows an:

• Pseudo-Labeling: Bei dieser Methode wird ein Modell zunächst anhand der begrenzten beschrifteten Daten trainiert. Anschließend wird es verwendet, um Inferenz auf den unbeschrifteten Daten auszuführen. Vorhersagen, die einen bestimmten confidence-Schwellenwert überschreiten, werden als „Pseudo-Labels“ oder ground truth behandelt. Diese konfidenten Vorhersagen werden den training data hinzugefügt, und das Modell wird iterativ neu trainiert, wodurch seine Leistung verbessert wird.
• Konsistenzregularisierung (Consistency Regularization): Diese Technik basiert auf data augmentation. Die Idee ist, dass ein Modell ähnliche Vorhersagen für ein Bild und eine leicht modifizierte (augmentierte) Version desselben Bildes ausgeben sollte. Durch die Minimierung des Unterschieds in den Vorhersagen zwischen der Original- und der augmentierten Version lernt das Modell, sich auf die Kernmerkmale des Objekts anstelle von Rauschen zu konzentrieren, was seine Fähigkeit zur Handhabung von overfitting verbessert.

Praktische Umsetzung mit YOLO#

Das folgende Python-Beispiel demonstriert einen einfachen Pseudo-Labeling-Workflow mit dem Paket ultralytics. Hier trainieren wir ein YOLO26-Modell auf einem kleinen Datensatz und verwenden es dann, um Labels für ein Verzeichnis unbeschrifteter Bilder zu generieren.

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train initially on a small available labeled dataset
model.train(data="coco8.yaml", epochs=10)

# Run inference on unlabeled data to generate pseudo-labels
# Setting save_txt=True saves the detections as text files for future training
results = model.predict(source="./unlabeled_images", save_txt=True, conf=0.85)

Praxisanwendungen#

Halbüberwachtes Lernen transformiert Branchen, in denen Daten im Überfluss vorhanden, aber Expertenwissen knapp ist.

• Medizinische Bildgebung (Medical Imaging): In healthcare AI ist die Beschaffung von Scans (Röntgenbilder, MRTs) Standardverfahren, aber das Annotieren jedes Pixels durch einen zertifizierten Radiologen für die tumor detection ist unerschwinglich teuer. SSL ermöglicht es Forschern, Hochleistungsmodelle zu trainieren, die nur einen Bruchteil der von Experten annotierten Fälle verwenden, und tausende archivierte Scans zu nutzen, um das Verständnis biologischer Strukturen durch das Modell zu verfeinern.
• Autonomes Fahren (Autonomous Driving): Unternehmen für selbstfahrende Autos sammeln täglich Petabytes an Videodaten von Flottenfahrzeugen. Das Beschriften jedes Frames für object detection und semantic segmentation ist unmöglich. Durch SSL kann das System aus der großen Mehrheit unbeschrifteter Fahrstunden lernen, um komplexe Straßenumgebungen, Wetterbedingungen und seltene Randfälle (Edge Cases) besser zu verstehen.

Unterscheidung verwandter Konzepte#

Um KI-Lösungen effektiv bereitzustellen, ist es entscheidend zu verstehen, wie sich SSL von ähnlichen Strategien unterscheidet:

• vs. Active Learning: Obwohl sich beide mit unbeschrifteten Daten befassen, unterscheidet sich ihr Ansatz bei der Beschriftung. SSL weist automatisch Labels basierend auf Modellvorhersagen zu. Im Gegensatz dazu identifiziert Active Learning die „verwirrendsten“ oder unsichersten Datenpunkte und fordert explizit ein human-in-the-loop auf, diese zu beschriften, wodurch die Zeit des Menschen optimiert wird, anstatt ihn vollständig zu ersetzen.
• vs. Transfer Learning: Transfer Learning beinhaltet die Verwendung eines Modells, das auf einem massiven externen Datensatz (wie ImageNet) vorab trainiert wurde, und dessen Feinabstimmung auf Ihre spezifische Aufgabe. SSL hingegen konzentriert sich darauf, den unbeschrifteten Teil Ihrer spezifischen Datensatzverteilung während des eigentlichen Trainingsprozesses zu nutzen.
• vs. Self-Supervised Learning: Obwohl die Namen ähnlich sind, bezieht sich Self-Supervised Learning oft auf „Prätext-Aufgaben“ (wie das Lösen eines Puzzles von Bildausschnitten), bei denen die Daten ihre eigenen Überwachungssignale ohne externe Labels generieren. SSL bedeutet speziell die Verwendung eines kleineren Satzes verifizierter Labels, um den Prozess zu leiten.

Tools und Zukunftsausblick#

Da deep learning (DL)-Modelle an Größe zunehmen, wird die Effizienz der Datennutzung von größter Bedeutung. Moderne Frameworks wie PyTorch und TensorFlow stellen das Rechen-Backend für diese fortgeschrittenen Trainingsschleifen bereit. Darüber hinaus vereinfachen Tools wie die Ultralytics Platform den Lebenszyklus des Datensatzmanagements. Durch die Nutzung von Funktionen wie auto-annotation können Teams semi-supervidierte Workflows einfacher implementieren und Rohdaten schnell in produktionsreife model weights verwandeln. Diese Entwicklung im Bereich MLOps sorgt dafür, dass die Eintrittshürde für die Erstellung hochpräziser Visionsysteme weiter sinkt.