Semi-überwachtes Lernen

Wie Semi-Supervised Learning funktioniert

Der Kerngedanke von SSL besteht darin, anhand der gekennzeichneten Daten ein erstes Modell zu erstellen und dieses Modell dann zu verwenden, um Vorhersagen für die nicht gekennzeichneten Daten zu treffen. Die zuverlässigsten Vorhersagen des Modells werden dann als "Pseudo-Labels" behandelt und dem Trainingssatz hinzugefügt. Das Modell wird dann mit dieser Kombination aus ursprünglichen Kennzeichnungen und Pseudokennzeichnungen mit hoher Zuverlässigkeit erneut trainiert. Durch diesen iterativen Prozess lernt das Modell die zugrundeliegende Struktur des gesamten Datensatzes und nicht nur den kleinen markierten Teil.

Zu den gängigen SSL-Techniken gehören:

• Regularisierung der Konsistenz: Mit dieser Methode wird die Idee durchgesetzt, dass die Vorhersagen des Modells konsistent bleiben sollten, auch wenn die Eingabedaten geringfügig verändert werden. So sollte beispielsweise ein Bild mit geringfügiger Datenerweiterung die gleiche Klassifizierung ergeben.
• Generative Modelle: Techniken wie Generative Adversarial Networks (GANs) können lernen, Daten zu generieren, die der wahren Datenverteilung ähneln, und so helfen, die Entscheidungsgrenzen zwischen Klassen besser zu definieren.
• Graph-basierte Methoden: Diese Verfahren stellen Datenpunkte als Knoten in einem Graphen dar und übertragen Kennzeichnungen von gekennzeichneten Knoten auf nicht gekennzeichnete Knoten auf der Grundlage ihrer Nähe oder Ähnlichkeit. Ein technischer Überblick ist in akademischen Studien zu finden.

Anwendungen in der realen Welt

SSL ist in Bereichen, in denen die Etikettierung einen Engpass darstellt, äußerst effektiv. Zwei prominente Beispiele hierfür sind:

1. Medizinische Bildanalyse: Die Kennzeichnung medizinischer Scans wie MRTs oder CTs zur Tumorerkennung erfordert erfahrene Radiologen und ist sehr teuer. Mit SSL kann ein Modell auf einigen hundert beschrifteten Scans trainiert und dann mit Tausenden von unbeschrifteten Scans aus Krankenhausarchiven verfeinert werden. Dies ermöglicht die Entwicklung von robusten Bildklassifizierungs- und Segmentierungsmodellen mit deutlich weniger manuellem Aufwand.
2. Klassifizierung von Webinhalten und Dokumenten: Die manuelle Klassifizierung von Milliarden von Webseiten, Nachrichtenartikeln oder Kundenrezensionen ist unpraktisch. SSL kann einen kleinen, manuell kategorisierten Satz von Dokumenten verwenden, um einen ersten Textklassifikator zu trainieren. Das Modell klassifiziert dann den riesigen Korpus der nicht kategorisierten Dokumente und verwendet seine eigenen Vorhersagen, um sich im Laufe der Zeit für Aufgaben wie Stimmungsanalyse oder Themenkategorisierung zu verbessern.

Vergleich mit anderen Lernparadigmen

Es ist wichtig, SSL von verwandten Konzepten der Künstlichen Intelligenz (KI) zu unterscheiden:

• Selbstüberwachtes Lernen (SSL): Obwohl es ein gemeinsames Akronym hat, ist selbstüberwachtes Lernen etwas anderes. Es handelt sich um eine Art des unüberwachten Lernens, bei dem die Beschriftungen aus den Daten selbst generiert werden, und zwar durch Vorgabe von Aufgaben (z. B. Vorhersage eines maskierten Wortes in einem Satz). Es werden keine manuell beschrifteten Daten verwendet, während beim halbüberwachten Lernen ein kleiner, explizit beschrifteter Datensatz erforderlich ist, um den Modelllernprozess zu steuern.
• Aktives Lernen: Diese Technik zielt ebenfalls darauf ab, die Kosten für die Kennzeichnung zu senken. Anstatt jedoch alle nicht beschrifteten Daten zu verwenden, fragt ein aktives Lernmodell auf intelligente Weise einen menschlichen Annotator ab, um die informativsten Datenpunkte zu beschriften. Im Gegensatz dazu verwendet SSL normalerweise die nicht beschrifteten Daten ohne direkte menschliche Interaktion während des Trainings.
• Transfer-Lernen: Hierbei wird ein Modell verwendet, das zuvor auf einem großen Datensatz (wie ImageNet) trainiert wurde, und dann auf einem kleineren, aufgabenspezifischen Datensatz feinabgestimmt. Beide nutzen zwar vorhandenes Wissen, aber SSL lernt aus den unbeschrifteten Daten der Zielaufgabe selbst, während Transfer Learning Wissen aus einer anderen (wenn auch oft verwandten) Aufgabe nutzt.

Tools und Schulungen

Viele moderne Deep Learning (DL) -Frameworks, darunter PyTorch(PyTorch official site) und TensorFlow(TensorFlow official site), bieten Funktionen oder können angepasst werden, um SSL-Algorithmen zu implementieren. Bibliotheken wie Scikit-learn bieten einige SSL-Methoden. Plattformen wie Ultralytics HUB rationalisieren den Prozess, indem sie die Verwaltung von Datensätzen erleichtern, die eine Mischung aus beschrifteten und unbeschrifteten Daten enthalten können, und so das Training und den Einsatz von Modellen vereinfachen, die auf die Nutzung solcher Datenstrukturen ausgelegt sind. Die Forschung auf dem Gebiet der SSL entwickelt sich ständig weiter, und Beiträge werden häufig auf großen KI-Konferenzen wie NeurIPS und ICML präsentiert.