Transfer Learning

Transferlernen ist eine Technik des maschinellen Lernens, bei der ein für eine Aufgabe entwickeltes Modell als Ausgangspunkt für ein Modell für eine zweite, verwandte Aufgabe wiederverwendet wird. Anstatt ein Modell von Grund auf zu trainieren, was große Mengen an Trainingsdaten und Rechenressourcen erfordert, nutzt das Transfer Lernen das Wissen - z. B. Merkmalskarten, Gewichte und Muster -, das aus einer Ausgangsaufgabe gelernt wurde. Dieser Ansatz ist ein Eckpfeiler des modernen Deep Learning, insbesondere in der Computer Vision (CV), und ermöglicht Entwickler eine hohe Genauigkeit mit deutlich weniger Daten und weniger Daten und kürzeren Trainingszeiten zu erreichen.

Wie Transfer Learning funktioniert

Das Verfahren beruht auf der Fähigkeit von neuronaler Netze, hierarchische Merkmalsdarstellungen zu Repräsentationen zu lernen. In den ersten Schichten eines Modells, die oft als Backbone genannt, lernt das Netz universelle visuelle Merkmale wie Kanten, Texturen und Formen. Diese Merkmale sind für fast jede visuelle Aufgabe anwendbar.

Transferlernen umfasst in der Regel zwei Hauptphasen:

1. Vor-Training: Ein Modell wird auf einem umfangreichen Benchmark-Datensatz wie ImageNet (für Klassifizierung) oder COCO (für die Erkennung). Das resultierende vortrainierte Modell verfügt über ein robustes Verständnis allgemeiner visueller Strukturen.
2. Feinabstimmung: Das vortrainierte Modell wird an eine neue, spezifische Aufgabe angepasst. Während der Feinabstimmung wird das Modell auf einem kleineren, aufgabenspezifischen aufgabenspezifischen Datensatz trainiert. Oft werden die Gewichte der ersten Schichten "eingefroren" (statisch gehalten), um die gelernten Merkmale zu erhalten, während nur die letzten Schichten (der Erkennungskopf oder Klassifikator) aktualisiert werden.

Für einen tieferen theoretischen Einblick bieten die Stanford CS231n Notizen über Transfer Learning eine ausgezeichnete Quelle.

Nutzen und Relevanz

Das Transfer-Lernen ist eine Lösung für das häufige Problem der Datenknappheit. Indem sie mit vorgelernten Merkmalen beginnen, vermeiden Modelle Modelle eine Überanpassung bei kleinen Datensätzen und konvergieren viel schneller als Modelle, die mit zufälligen Gewichten initialisiert werden.

• Effizient: Reduziert die Ausbildungszeit von Tagen oder Wochen auf Stunden.
• Leistung: Häufig höhere Erträge Präzision und Recall, weil das Modell von einem "gesunden gesunden Menschenverstand" von Bildern ausgeht.
• Zugänglichkeit: Ermöglicht Benutzern die Entwicklung leistungsstarker KI-Anwendungen, ohne dass sie die riesigen Rechencluster, die von Tech-Giganten verwendet werden.

Anwendungsfälle in der Praxis

Transfer Learning ist die Grundlage für weit verbreitete KI-Lösungen in verschiedenen Branchen:

• Medizinische Bildanalyse: Modelle, die auf allgemeinen Bildern (wie Katzen und Hunden) trainiert wurden, werden fein abgestimmt, um Anomalien in Röntgenbildern oder MRI Scans. Zum Beispiel verwenden die Forscher YOLO11 um Hirntumoredetect mit hoher Genauigkeit zu erkennen, obwohl sie nur über begrenzte medizinische Daten verfügen.
• AI in der Landwirtschaft: Ein allgemeines Objekterkennungsmodell kann angepasst werden, um bestimmte Pflanzenkrankheiten zu erkennen oder die Pflanzengesundheit zu überwachen. Dies ermöglicht Werkzeuge für die Präzisionslandwirtschaft, die reife Früchtedetect oder Unkraut in Echtzeit erkennen.

Transfer Learning vs. verwandte Konzepte

Es ist hilfreich, Transferlernen von ähnlichen Begriffen zu unterscheiden:

• vs. Zero-Shot-Lernen: Beim Transfer-Lernen werden für die Feinabstimmung des Modells einige markierte Daten für die neue Aufgabe benötigt. Im Gegensatz dazu, Zero-Shot-Lernen versucht, Objekte classify , die das Modell noch nie gesehen hat, und stützt sich dabei ausschließlich auf semantische Beschreibungen oder Attributen ohne Trainingsbeispiele.
• vs. Wissensdestillation: Bei der Wissensdestillation liegt der Schwerpunkt auf der Modellkomprimierung, d. h. der Übertragung von Wissen aus einem großen "Lehrer"-Modell Modell auf ein kleineres "Schüler"-Modell übertragen wird, um die Effizienz zu verbessern. Transfer-Lernen konzentriert sich auf die Anpassung an die Domäne, die Übertragung von Wissen von einer allgemeinen Aufgabe auf eine spezifische Aufgabe.

Praktisches Beispiel

Die folgenden Python Beispiel demonstriert die Anwendung des Transfer-Lernens anhand der ultralytics Bibliothek. Wir laden ein YOLO11 , das zuvor mit COCO trainiert wurde, und stimmen es anhand eines Beispieldatensatzes ab.

from ultralytics import YOLO

# Load a pre-trained model (weights derived from the COCO dataset)
# This acts as our starting point for transfer learning
model = YOLO("yolo11n.pt")

# Fine-tune the model on a new dataset (e.g., COCO8)
# The model adapts its pre-learned features to the specific data
model.train(data="coco8.yaml", epochs=5)

# The updated model can now be used for inference on the new task
model.predict("path/to/image.jpg")

Weitere Einzelheiten zur Implementierung finden Sie im offiziellen PyTorch Transfer Learning Tutorial oder den TensorFlow Transfer Learning Guide.