Transfer Learning

Transfer Learning ist eine Technik des maschinellen Lernens, bei der ein für eine Aufgabe trainiertes Modell als Ausgangspunkt für eine verwandte Aufgabe wiederverwendet wird. Das Training eines neuronalen Netzes mit zufälligen Gewichten erfordert große annotierte Datensätze und erhebliche Rechenleistung, während ein auf Millionen von Bildern vortrainiertes Modell bereits visuelle Merkmale gelernt hat, die die meisten neuen Aufgaben benötigen. Ausgehend von diesen gelernten Modellgewichten erreicht ein neues Modell mit deutlich weniger annotierten Bildern und einem Bruchteil der Trainingszeit eine hohe Genauigkeit. Deshalb ist Transfer Learning der Standardansatz für den Aufbau von Computer-Vision-Modellen für benutzerdefinierte Aufgaben.

So funktioniert Transfer Learning#

Transfer Learning funktioniert, weil tiefe Netze Merkmale hierarchisch lernen. Die ersten Schichten eines Backbones reagieren auf Kanten, Farben und Texturen, die in fast jedem Bild vorkommen, während tiefere Schichten diese zu Objektteilen und aufgabenspezifischen Konzepten kombinieren. Eine Studie von Yosinski et al. untersuchte diesen Fortschritt in Faltungsnetzen und stellte fest, dass Merkmale der ersten Schicht allgemein einsetzbar sind, die Übertragbarkeit in höheren Schichten mit der Spezialisierung auf die ursprüngliche Aufgabe abnimmt und übertragene Merkmale die Generalisierungsfähigkeit auch nach dem Fine-Tuning auf dem neuen Datensatz verbessern.

Der Prozess umfasst zwei Phasen:

1. Vortraining: Ein Modell lernt allgemeine Repräsentationen anhand eines großen Benchmark-Datensatzes wie ImageNet, COCO oder Objects365 und erzeugt so einen Satz vortrainierter Gewichte.
2. Anpassung: Die Ausgabeschichten, etwa ein Klassifikator oder ein Erkennungskopf, werden für die neuen Klassen ersetzt oder in ihrer Größe angepasst und auf dem Zieldatensatz trainiert. Bei der Merkmalsextraktion bleiben die vortrainierten Schichten eingefroren und nur die neuen Schichten lernen. Beim Fine-Tuning werden auch einige oder alle vortrainierten Schichten aktualisiert, in der Regel mit einer niedrigeren Lernrate.

Wie viele Teile des Netzes erneut trainiert werden, hängt von zwei Fragen ab: Wie viele annotierte Daten für die neue Aufgabe vorliegen und wie ähnlich sie den Vortrainingsdaten ist. Die CS231n-Unterlagen der Stanford University beschreiben die vier daraus entstehenden Fälle:

Transfer Learning für die Objekterkennung#

Erkennungsmodelle werden fast immer per Transferlernen trainiert: Die offiziellen YOLO26-Checkpoints wurden vor dem Feintuning auf COCO 150 Epochen lang auf Objects365 vortrainiert, wie das YOLO26-Trainingsrezept dokumentiert. Wird train() mit einem geladenen Checkpoint und einem neuen Datensatz aufgerufen, werden alle kompatiblen Gewichte übertragen. Ändert sich die Klassenanzahl, werden klassenspezifische Ausgabezeilen zurückgesetzt, während Zeilen mit übereinstimmenden Klassennamen erhalten bleiben. Außerdem kann ein freeze-Argument angegeben werden, das frühe Schichten einfriert und sich vor allem für kleine Datensätze eignet.

from ultralytics import YOLO

# YOLO26n-Gewichte laden, die auf den 80 COCO-Klassen vortrainiert wurden
model = YOLO("yolo26n.pt")

# An einen neuen Datensatz mit einer Klasse anpassen; freeze=10 lässt die ersten 10 Schichten unverändert
results = model.train(data="medical-pills.yaml", epochs=20, freeze=10)

Das vortrainierte Backbone erkennt bereits Formen, Kanten und Texturen. Beim Training muss daher nur noch anhand der 92 annotierten Trainingsbilder aus dem Datensatz Medical Pills gelernt werden, wie eine Pille aussieht.

Transfer Learning und verwandte Begriffe#

• Fine-Tuning: Eine Möglichkeit, Transfer Learning durchzuführen, bei der vortrainierte Gewichte anhand der neuen Daten weiter aktualisiert werden. Die Merkmalsextraktion mit einem eingefrorenen Backbone ist die andere gängige Methode.
• Domänenanpassung: Eine Form des Transfer Learning, bei der die Aufgabe gleich bleibt, sich aber die Datenverteilung verschiebt, etwa von Tages- zu Nachtbildern, oft mit wenigen oder gar keinen annotierten Zieldaten.
• Zero-Shot-Lernen und Few-Shot-Lernen: Neue Klassen werden ohne annotierte Beispiele oder mit nur wenigen Beispielen verarbeitet. Dabei stützt man sich auf das allgemeine Wissen eines vortrainierten Modells statt auf eine vollständige Anpassungsphase.
• Parametereffizientes Fine-Tuning (PEFT): Passt sehr große vortrainierte Modelle an, indem eine kleine Zahl hinzugefügter oder ausgewählter Parameter trainiert wird, etwa LoRA-Matrizen, während die ursprünglichen Gewichte eingefroren bleiben.
• Katastrophales Vergessen: Der Verlust der Fähigkeiten für die ursprüngliche Aufgabe, wenn ein Modell mit neuen Daten feinabgestimmt wird. Einige Bilder der ursprünglichen Klassen in den neuen Trainingsdatensatz aufzunehmen oder mehr Schichten einzufrieren, begrenzt diesen Effekt.