Transfer Learning

Transferlernen ist eine leistungsstarke Technik im Bereich des maschinellen Lernens (ML), bei der ein für eine bestimmte Aufgabe entwickeltes Modell als Ausgangspunkt für ein Modell einer zweiten, verwandten Aufgabe wiederverwendet wird. Anstatt ein neuronales Netzwerk von Grund auf zu trainieren – was riesige Datensätze und erhebliche Rechenleistung erfordert –, nutzen Entwickler das Wissen, das eine KI bereits erworben hat. Dieser Ansatz ähnelt der menschlichen Lernweise: Wer beispielsweise Klavier spielen kann, lernt viel leichter Orgel, weil das grundlegende Verständnis von Musiktheorie und Fingerfertigkeit übertragen werden kann. Im Kontext des Deep Learning bedeutet dies, dass ein Modell mit deutlich weniger Daten und Zeit eine hohe Genauigkeit bei einem neuen Problem erreichen kann.

So funktioniert Transferlernen#

Die Wirksamkeit des Transferlernens beruht auf der hierarchischen Natur der Merkmalsextraktion. Deep-Learning-Modelle, insbesondere solche für die Computer Vision, lernen, Muster in mehreren Schichten zu erkennen. Die ersten Schichten des Backbones erkennen einfache, allgemeingültige Merkmale wie Kanten, Kurven und Texturen. Diese Merkmale auf niedriger Ebene sind auf nahezu jede visuelle Aufgabe anwendbar.

Der Prozess umfasst typischerweise zwei Hauptphasen:

1. Vortraining: Ein Modell wird auf einem groß angelegten Benchmark-Datensatz, beispielsweise ImageNet, trainiert, um allgemeine visuelle Repräsentationen zu erlernen. Dadurch entsteht ein Satz von Modellgewichten, die bereits die visuelle Struktur verstehen.

2. Anpassung: Das vortrainierte Modell wird anschließend an eine spezifische Nischenaufgabe angepasst. Dazu werden häufig die frühen Schichten „eingefroren“ (ihre Gewichte bleiben unverändert) und nur die letzten Schichten oder der Detektionskopf mit einem kleineren, benutzerdefinierten Datensatz erneut trainiert.

Anwendungen in der Praxis#

Transferlernen hat KI demokratisiert, da sich damit spezialisierte Lösungen ohne die Ressourcen großer Technologiekonzerne entwickeln lassen.

• KI im Gesundheitswesen: Es ist schwierig, für jede einzelne Krankheit Millionen annotierter medizinischer Bilder zu sammeln. Forschende können jedoch ein auf alltäglichen Objekten vortrainiertes Modell übernehmen und auf die Analyse medizinischer Bilder anwenden. Das Modell überträgt seine Fähigkeit, Formen und Auffälligkeiten zu erkennen, auf die Identifizierung von Tumoren in Röntgen- oder MRT-Aufnahmen mit hoher Präzision.
• KI in der Fertigung: In industriellen Umgebungen müssen Systeme zur visuellen Inspektion schnell an neue Produktlinien angepasst werden. Ein allgemeines Modell zur Fehlererkennung kann rasch aktualisiert werden, um Fehler in einem bestimmten neuen Bauteil, beispielsweise einem Mikrochip, zu erkennen. Dabei kommen Workflows der intelligenten Fertigung zum Einsatz, um Ausfallzeiten zu minimieren.

Beziehung zu anderen Konzepten#

Es ist hilfreich, Transferlernen von eng verwandten Begriffen abzugrenzen:

• vs. Feinabstimmung: Feinabstimmung ist eine spezifische Methode zur Umsetzung von Transferlernen. Während Transferlernen das übergeordnete Konzept der Wiederverwendung von Wissen bezeichnet, beschreibt Feinabstimmung den technischen Prozess, Teile des Modells wieder freizugeben und sie mit einer niedrigeren Lernrate auf neuen Daten zu trainieren.
• vs. Zero-Shot-Lernen: Transferlernen erfordert eine Trainingsphase mit einigen annotierten Daten für die neue Aufgabe. Im Gegensatz dazu versucht Zero-Shot-Lernen, Objekte zu klassifizieren, die das Modell zuvor noch nie gesehen hat, und stützt sich dabei häufig eher auf semantische Beschreibungen als auf visuelle Beispiele.

Praktisches Beispiel#

Das folgende Python-Snippet veranschaulicht Transferlernen mit der Bibliothek ultralytics. Wir laden das YOLO26-Modell, das mit vortrainierten, aus dem COCO-Datensatz abgeleiteten Gewichten bereitgestellt wird. Wenn wir das Training auf einem neuen Datensatz starten, überträgt das Modell seine zuvor erlernten Merkmale automatisch auf die neue Aufgabe.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (transferring weights from COCO)
model = YOLO("yolo26n.pt")

# Train the model on a new, smaller dataset to adapt its knowledge
# This leverages the pre-learned backbone for faster convergence
results = model.train(data="coco8.yaml", epochs=5)

Für die Verwaltung von Datensätzen und die Ausführung dieser Trainingsläufe in der Cloud vereinfachen Tools wie die Ultralytics Platform den Prozess. So können Teams gemeinsam Daten annotieren und durch Transferlernen angepasste Modelle effizient bereitstellen.

Für einen tieferen Einblick in die akademische Theorie bieten die Stanford-CS231n-Unterlagen einen hervorragenden Überblick, während das PyTorch-Tutorial zu Transferlernen ausführliche technische Details zur Implementierung enthält.