Lernen übertragen

Transferlernen ist eine Technik des maschinellen Lernens (ML), bei der ein für eine bestimmte Aufgabe entwickeltes Modell als Ausgangspunkt für ein Modell für eine zweite, verwandte Aufgabe wiederverwendet wird. Anstatt ein Modell von Grund auf neu zu erstellen, was erhebliche Daten- und Rechenressourcen erfordert, nutzt das Transferlernen das Wissen (Merkmale, Muster und Gewichte), das aus einer Ausgangsaufgabe gelernt wurde, um das Lernen für eine Zielaufgabe zu verbessern. Dieser Ansatz ist besonders vorteilhaft, wenn die Zielaufgabe nur über begrenzte beschriftete Daten verfügt. Er beschleunigt den Trainingsprozess erheblich und führt oft zu einer besseren Leistung als das Training nur mit dem Zieldatensatz.

Wie Transferlernen funktioniert

Der Kerngedanke hinter dem Transfer-Lernen ist, dass ein Modell, das auf einem großen und allgemeinen Datensatz trainiert wurde, wie z. B. ImageNet für Bildaufgaben oder ein riesiger Textkorpus für die natürliche Sprachverarbeitung (NLP), allgemeine Merkmale lernt, die für viele andere verwandte Aufgaben nützlich sind. In der Computer Vision (CV) beispielsweise können die ersten Schichten eines Convolutional Neural Network (CNN) lernen, Kanten, Texturen und einfache Formen zu erkennen, also grundlegende visuelle Elemente, die für verschiedene Bilderkennungsaufgaben geeignet sind.

Wenn du Transfer Learning anwendest, beginnst du in der Regel mit einem vortrainierten Modell. Je nach Ähnlichkeit der Ausgangs- und der Zielaufgabe und der Größe des Zieldatensatzes kannst du das Modell trainieren:

1. Verwende das vortrainierte Modell als Feature Extractor: Friere die Gewichte der ersten Schichten (das Rückgrat) ein und trainiere nur die endgültigen Klassifizierungs- oder Erkennungsschichten auf dem neuen Datensatz. Das ist üblich, wenn der Zieldatensatz klein ist. Ein Beispiel ist die Verwendung von YOLOv5 durch Einfrieren der Schichten.
2. Feinabstimmung des vortrainierten Modells: Hebe einige oder alle vortrainierten Schichten auf und trainiere sie mit dem neuen Datensatz weiter, in der Regel mit einer niedrigeren Lernrate. So kann das Modell die gelernten Merkmale spezifischer an die Feinheiten der Zielaufgabe anpassen. Dies ist eine gängige Strategie, wenn der Zieldatensatz größer ist. Die Feinabstimmung wird oft als eine besondere Form des Transferlernens betrachtet.

Transfer Learning vs. Verwandte Konzepte

• Feinabstimmung: Obwohl eng verwandt und in manchen Kontexten oft synonym verwendet, bezieht sich die Feinabstimmung speziell auf den Prozess des Einfrierens und des weiteren Trainings der Gewichte eines zuvor trainierten Modells für eine neue Aufgabe. Es ist eine gängige Methode, die im Rahmen der breiteren Strategie des Transferlernens eingesetzt wird.
• Training von Grund auf: Dabei werden die Modellgewichte zufällig initialisiert und das gesamte Modell ausschließlich auf dem Zieldatensatz trainiert. Dies erfordert eine große Menge an Daten und Rechenleistung, die durch Transfer Learning reduziert werden soll.
• Zero-Shot Learning & Few-Shot Learning: Diese Techniken zielen darauf ab, Modelle in die Lage zu versetzen, Aufgaben mit sehr wenigen oder gar keinen Beispielen aus den Zielklassen zu erfüllen. Dabei wird das beim Vortraining gelernte Wissen oft auf komplexere Weise genutzt als beim Standard-Transfer-Lernen oder beim Fine-Tuning. Modelle wie CLIP sind Beispiele, die in solchen Szenarien eingesetzt werden.

Anwendungen in der realen Welt

Transferlernen wird in vielen verschiedenen Bereichen eingesetzt:

• Computer Vision:
  • Objekterkennung: Die Verwendung eines Modells, das zuvor auf einem großen Datensatz wie COCO trainiert wurde, und die Feinabstimmung, um bestimmte Objekte zu erkennen, die im ursprünglichen Datensatz nicht vorhanden oder gut repräsentiert sind, wie z. B. bestimmte Arten von Defekten in der KI in der Fertigung oder bestimmte Arten in der KI im Naturschutz.
  • Medizinische Bildanalyse: Anpassung von Modellen, die auf allgemeinen Bildern trainiert wurden, um Anomalien wie Hirntumore oder andere Zustände in Röntgenbildern, CT-Scans oder MRTs zu erkennen, für die es nur wenige beschriftete medizinische Daten gibt. Zum Beispiel die Verwendung von Ultralytics YOLO für die Tumorerkennung.
  • Bildsegmentierung: Feinabstimmung von Modellen zur Segmentierung bestimmter Objekte wie Pflanzen oder Unkraut in der KI in der Landwirtschaft.
• Natürliche Sprachverarbeitung (NLP):
  • Stimmungsanalyse: Die Feinabstimmung großer Sprachmodelle wie BERT oder GPT, die auf riesigen Mengen von Textdaten trainiert wurden, um die Stimmung bestimmter Textarten zu klassifizieren (z. B. Produktrezensionen, Beiträge in sozialen Medien). Hugging Face Transformers bietet viele solcher vortrainierten Modelle.
  • Erkennung benannter Entitäten (Named Entity Recognition, NER): Anpassung von vorab trainierten Sprachmodellen, um bestimmte Entitäten (z. B. Namen, Orte, Organisationen) in domänenspezifischen Texten (z. B. juristische Dokumente, medizinische Unterlagen) zu identifizieren.
  • Chatbots: Die Verwendung von vortrainierten Sprachmodellen als Grundlage für den Aufbau von Chatbots, die in der Lage sind, Benutzeranfragen in bestimmten Bereichen zu verstehen und zu beantworten.

Tools und Rahmenwerke

Plattformen wie Ultralytics HUB vereinfachen den Prozess der Anwendung von Transfer Learning durch die Bereitstellung von vortrainierten Modellen (wie Ultralytics YOLOv8 und YOLO11) und Tools für einfaches benutzerdefiniertes Training auf benutzerspezifischen Datensätzen. Frameworks wie PyTorch und TensorFlow bieten ebenfalls umfangreiche Unterstützung und Tutorials für die Implementierung von Transfer Learning Workflows. Für ein tieferes theoretisches Verständnis bieten Ressourcen wie der Stanford CS231n Überblick über Transfer Learning oder akademische Umfragen wie"A Survey on Deep Transfer Learning" wertvolle Einblicke.