Self-Supervised Learning

Selbstüberwachtes Lernen (SSL) ist ein Paradigma des maschinellen Lernens, bei dem ein System lernt, Daten zu verstehen, indem es eigene Trainingssignale aus den Daten selbst erzeugt, anstatt auf von Menschen bereitgestellte externe Markierungen angewiesen zu sein. Beim traditionellen überwachten Lernen benötigen Modelle große Mengen manuell annotierter Daten – beispielsweise Bilder mit der Kennzeichnung „Katze“ oder „Hund“ –, deren Erstellung teuer und zeitaufwendig sein kann. SSL umgeht diesen Engpass, indem es „Prätextaufgaben“ erstellt, bei denen das Modell verborgene oder fehlende Teile der Eingabedaten vorhersagen muss und sich so effektiv die zugrunde liegende Struktur und die Merkmale beibringt, die für komplexe Aufgaben wie Objekterkennung und Klassifizierung erforderlich sind.

Grundlegende Mechanismen des selbstüberwachten Lernens#

Die grundlegende Idee hinter SSL besteht darin, einen Teil der Daten zu maskieren oder zu verbergen und das neuronale Netzwerk (NN) dazu zu zwingen, diesen Teil zu rekonstruieren oder die Beziehung zwischen verschiedenen Ansichten derselben Daten vorherzusagen. Dieser Prozess erzeugt umfangreiche, universell einsetzbare Repräsentationen, die später für bestimmte nachgelagerte Anwendungen feinabgestimmt werden können.

Innerhalb von SSL gibt es zwei grundlegende Ansätze:

• Generative Methoden: Das Modell lernt, Pixel oder Wörter zu erzeugen, um Lücken zu füllen. Ein klassisches Beispiel in der Verarbeitung natürlicher Sprache (NLP) ist die Vorhersage des nächsten Worts in einem Satz. Im Bereich Computer Vision verdecken Techniken wie maskierte Autoencoder (MAE) zufällige Bildbereiche und beauftragen das Modell damit, die fehlenden Pixel zu rekonstruieren, wodurch es gezwungen wird, den visuellen Kontext zu „verstehen“.
• Kontrastives Lernen: Diese Methode bringt dem Modell bei, zwischen ähnlichen und unähnlichen Datenpunkten zu unterscheiden. Durch den Einsatz von Techniken zur Datenerweiterung – beispielsweise Zuschneiden, Farbveränderungen oder Drehungen – auf ein Bild lernt das Modell, dass diese bearbeiteten Versionen dasselbe Objekt darstellen (positive Paare), während es andere Bilder als unterschiedliche Objekte behandelt (negative Paare). Beliebte Frameworks wie SimCLR stützen sich maßgeblich auf dieses Prinzip.

Anwendungen in der Praxis#

Selbstüberwachtes Lernen ist zu einem Grundpfeiler für die Entwicklung leistungsfähiger Basismodelle in verschiedensten Bereichen geworden. Durch die Nutzung riesiger Mengen unmarkierter Daten lässt es sich besonders gut skalieren.

• Medizinische Bildgebung: Die Beschaffung von medizinischen Aufnahmen mit Expertenannotation ist schwierig und kostspielig. SSL ermöglicht es Modellen, auf Tausenden unmarkierter Röntgen- oder MRT-Aufnahmen vorzutrainieren, um allgemeine anatomische Merkmale zu erlernen. Dieses vortrainierte Modell kann anschließend mit einer kleinen Anzahl markierter Beispiele feinabgestimmt werden, um eine hohe Genauigkeit bei der Tumorerkennung oder Krankheitsdiagnose zu erreichen.
• Autonomes Fahren: Selbstfahrende Autos erzeugen täglich Terabytes an Videodaten. SSL ermöglicht es diesen Systemen, zeitliche Dynamiken und räumliches Verständnis aus unbearbeitetem Videomaterial zu erlernen, ohne jedes Einzelbild annotieren zu müssen. Dies trägt durch die Vorhersage zukünftiger Einzelbilder oder Objektbewegungen zur Verbesserung der Fahrspurerkennung und Hindernisvermeidung bei.

Abgrenzung von SSL gegenüber verwandten Begriffen#

Es ist wichtig, SSL vom unüberwachten Lernen zu unterscheiden. Zwar nutzen beide Methoden unmarkierte Daten, doch konzentriert sich unüberwachtes Lernen typischerweise darauf, verborgene Muster oder Gruppierungen (Cluster) ohne eine bestimmte Vorhersageaufgabe zu finden. SSL formuliert den Lernprozess dagegen als überwachte Aufgabe, bei der die Markierungen automatisch aus der Datenstruktur selbst erzeugt werden. Darüber hinaus kombiniert teilüberwachtes Lernen eine kleine Menge markierter Daten mit einer großen Menge unmarkierter Daten, während reines SSL seine Markierungen vollständig aus dem unmarkierten Datensatz erzeugt, bevor überhaupt eine Feinabstimmung erfolgt.

Verwendung vortrainierter Gewichte in Ultralytics#

Im Ultralytics-Ökosystem profitieren Modelle wie YOLO26 erheblich von fortschrittlichen Trainingsstrategien, die während der Vortrainingsphase auf umfangreichen Datensätzen wie ImageNet oder COCO häufig Prinzipien verwenden, die SSL ähneln. Dadurch sind die Merkmalsextraktoren bereits robust, wenn Nutzer ein Modell für eine bestimmte Aufgabe einsetzen.

Nutzer können diese leistungsfähigen vortrainierten Repräsentationen nutzen, um Modelle mit der Ultralytics Platform auf ihren eigenen benutzerdefinierten Datensätzen feinabzustimmen.

Hier ist ein kurzes Beispiel dafür, wie du ein vortrainiertes Ultralytics-YOLO26-Modell lädst und mit der Feinabstimmung auf einem neuen Datensatz beginnst, wobei du die während des anfänglichen Trainings mit umfangreichen Daten erlernten Merkmale nutzt:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

Die Zukunft von SSL#

Während Forschende in großen Laboren wie Meta AI und Google DeepMind diese Techniken weiter verfeinern, verschiebt SSL die Grenzen des Machbaren in der generativen KI und Computer Vision. Durch die Verringerung der Abhängigkeit von markierten Daten erleichtert SSL den Zugang zu leistungsfähiger KI und ermöglicht es kleineren Teams, anspruchsvolle Modelle für Nischenanwendungen wie den Schutz wild lebender Tiere oder die industrielle Inspektion zu entwickeln.