Self-Supervised Learning

Selbstüberwachtes Lernen (SSL) trainiert ein Modell mit einer Aufgabe, deren Zielwerte aus den Daten selbst stammen, etwa dem Vorhersagen des nächsten Worts in einem Satz, dem Ergänzen verdeckter Bildbereiche oder dem Erkennen zweier Ausschnitte desselben Fotos als zusammengehörig. So kann das Modell aus großen Mengen unbeschrifteter Daten lernen. Überwachtes Lernen ist durch das Beschriften von Daten begrenzt, das langsam und teuer ist, während Rohbilder, Videos, Audiodaten und Texte reichlich vorhanden sind. SSL nutzt diese Daten, um einen vielseitig einsetzbaren Encoder vorzutrainieren. Anschließend passen Feinabstimmung oder ein kleiner trainierter Kopf ihn mit deutlich weniger Beschriftungen an eine nachgelagerte Aufgabe wie Bildklassifizierung oder Objekterkennung an. Jedes moderne große Sprachmodell (LLM) wird auf diese Weise vortrainiert, indem es wie bei GPT-Modellen das nächste Token im Text vorhersagt. Metas DINOv3 skalierte das selbstüberwachte Vortraining von Bildern auf ein Modell mit 7 Milliarden Parametern, das mit 1,7 Milliarden Bildern trainiert wurde.

So funktioniert selbstüberwachtes Lernen#

Eine SSL-Methode legt eine Vorbereitungsaufgabe fest: Sie verbirgt oder verändert einen Teil jeder Eingabe und trainiert das Netz darauf, den entfernten Teil wiederherzustellen oder zu erkennen, was gleich geblieben ist. Die Vorbereitungsaufgabe selbst ist selten nützlich. Entscheidend ist, dass das Netz beim Lösen die Datenstruktur erlernen muss, etwa Objektformen, Texturen und Beziehungen zwischen Teilen. Diese Merkmale lassen sich auf Aufgaben mit Beschriftungen übertragen. Nach dem Vortraining wird der Encoder entweder anhand eingefrorener Merkmale ausgewertet oder mithilfe von linearem Sondieren genutzt, oder alle seine Gewichte werden feinabgestimmt:

Wichtigste Verfahrensgruppen#

• Maskierte Vorhersage: Verbirgt einen Teil der Eingabe und trainiert das Modell darauf, ihn zu rekonstruieren. BERT sagt zufällig maskierte Wörter voraus, und maskierte Autoencoder verbergen 75 % der Bildausschnitte und rekonstruieren ihre Pixel. Die Vorhersage des nächsten Tokens einer Sequenz überträgt dieselbe Idee auf Text.
• Kontrastives Lernen: Erstellt zwei veränderte Ansichten jedes Bildes und trainiert Einbettungen darauf, Ansichten desselben Bildes einander zuzuordnen und Ansichten verschiedener Bilder voneinander zu unterscheiden. SimCLR und MoCo sind die bekanntesten Beispiele.
• Selbstdestillation: Ein Studentennetz lernt, bei verschiedenen Ausschnitten desselben Bildes die Ausgabe eines Lehrernetzes nachzubilden. Das Lehrernetz ist ein langsam aktualisierter Durchschnitt des Studentennetzes; negative Paare werden nicht verwendet. BYOL und DINO nutzen diesen Ansatz, und DINOv2 sowie DINOv3 skalieren ihn auf kuratierte Datensätze mit über 100 Millionen Bildern.
• Vorhersage gemeinsamer Einbettungen: Sagt anhand sichtbarer Bereiche die Einbettungen verborgener Bereiche voraus, sodass das Modell abstrakte Inhalte lernt, ohne Kapazität für Pixeldetails aufzuwenden. Metas I-JEPA und V-JEPA wenden den Ansatz auf Bilder und Videos an.

Die Wahl beeinflusst die Merkmale. Maskierte Rekonstruktion bewahrt feine räumliche Details und lässt sich gut feinabstimmen, während kontrastive Verfahren und Selbstdestillation Merkmale erzeugen, die sich gut im eingefrorenen Zustand einsetzen lassen. Deshalb sind Encoder der DINO-Familie beliebte Grundmodelle für Tiefenschätzung und semantische Segmentierung.

Selbstüberwachtes Lernen in der Computer Vision#

Vision-Transformer und SSL ergänzen sich gut: Das Maskieren ganzer Bildausschnitte passt direkt zu den Token-Eingaben eines ViT, und ViTs profitieren von mehr Trainingsdaten, als beschriftete Datensätze bereitstellen. Viele Basismodelle beginnen mit selbstüberwachten Encodern. Metas SAM 2, das im Ultralytics-Paket für die Segmentierung von Bildern und Videos anhand von Prompts ausgeführt werden kann, basiert auf einem Hiera-Bildencoder, der vor jeglichem Segmentierungstraining als maskierter Autoencoder vortrainiert wurde.

Anwendungen#

• Medizinische Bildgebung: Krankenhäuser verfügen über weit mehr Aufnahmen, als Radiologen beschriften können. Das Vortraining mit unbeschrifteten Röntgen-, CT- oder MRT-Aufnahmen ergibt einen Encoder, der anschließend anhand einer kleinen Zahl von Expertenbeschriftungen Aufgaben wie die Tumorerkennung erlernt.
• Satellitenbilder: Meta trainierte eine DINOv3-Variante mit 493 Millionen Satellitenbildern. Das World Resources Institute verwendet sie, um die Höhe von Baumkronen zu kartieren. In einer Region Kenias verringerte sich damit der durchschnittliche Höhenfehler früherer Karten auf Basis von DINOv2 von 4,1 auf 1,2 Meter.
• Spracherkennung: wav2vec 2.0 wurde mit 53.000 Stunden unbeschrifteter Audiodaten vortrainiert und erreichte nach der Feinabstimmung mit nur 10 Minuten transkribierter Sprache eine Wortfehlerrate von 4,8 % und 8,2 % auf den sauberen beziehungsweise sonstigen LibriSpeech-Testsätzen.

Selbstüberwachtes Lernen im Vergleich zu verwandten Begriffen#

• Unüberwachtes Lernen: Allgemeines Lernen ohne menschliche Beschriftungen, einschließlich Clustering und Dichteschätzung. SSL wird üblicherweise als eine Form des unüberwachten Lernens betrachtet, die wie überwachtes Lernen trainiert wird, wobei die Zielwerte aus den Daten stammen.
• Halbüberwachtes Lernen: Trainiert gleichzeitig mit einer kleinen beschrifteten und einer großen unbeschrifteten Datenmenge. SSL nutzt beim Vortraining ausschließlich unbeschriftete Daten. Die beiden Verfahren lassen sich gut kombinieren: SimCLRv2 stimmte ein großes selbstüberwachtes Modell anhand von 1 % der ImageNet-Beschriftungen fein ab und destillierte es anschließend mithilfe der unbeschrifteten Bilder.
• Transferlernen: Verwendet ein vortrainiertes Modell erneut für eine neue Aufgabe. SSL ist eine Möglichkeit, dieses vortrainierte Modell ohne Beschriftungen zu erzeugen.
• Datenerweiterung: Zufällige Ausschnitte, Farbänderungen und Spiegelungen vergrößern einen beschrifteten Datensatz. Beim kontrastiven SSL legen dieselben Transformationen fest, welche Ansichten als dasselbe Bild gelten. Dadurch bestimmen sie, was der Encoder zu ignorieren lernt.