Transfer Learning

Transfer Learning ist eine Technik des maschinellen Lernens (ML), bei der ein für eine Aufgabe entwickeltes Modell als Ausgangspunkt für ein Modell für eine zweite, verwandte Aufgabe wiederverwendet wird. Anstatt ein Modell von Grund auf neu zu entwickeln, was eine riesige Menge an Daten und Rechenressourcen erfordert, nutzt Transfer Learning das Wissen – wie z. B. Merkmale, Gewichtungen und Muster –, das aus einer Quellaufgabe gewonnen wurde. Dieser Ansatz ist hocheffizient und hat sich zu einem Eckpfeiler des modernen Deep Learning entwickelt, insbesondere im Bereich Computer Vision (CV). Durch die Verwendung eines vortrainierten Modells können Entwickler mit deutlich weniger Daten und kürzeren Trainingszeiten eine höhere Leistung erzielen.

Wie Transfer Learning funktioniert

Die Grundidee hinter Transfer Learning ist, dass ein Modell, das auf einem großen und allgemeinen Datensatz trainiert wurde, wie z. B. ImageNet für die Bildklassifizierung, bereits gelernt hat, universelle Merkmale wie Kanten, Texturen und Formen zu erkennen. Dieses grundlegende Wissen wird in den anfänglichen Schichten des Modells gespeichert, die oft als Backbone bezeichnet werden.

Der Prozess umfasst typischerweise zwei Hauptschritte:

1. Beginnen Sie mit einem vortrainierten Modell: Ein Modell, das zuvor auf einem großen Benchmark-Datensatz trainiert wurde, wird ausgewählt. Zum Beispiel werden die meisten Ultralytics YOLO-Modelle mit Gewichten geliefert, die auf dem COCO-Datensatz vortrainiert wurden. Diese Modelle verfügen bereits über ein robustes Verständnis allgemeiner Objektmerkmale.
2. Fine-Tuning: Das vortrainierte Modell wird dann an eine neue, spezifische Aufgabe angepasst. Diese Anpassung, bekannt als Fine-Tuning, beinhaltet das weitere Training des Modells mit einem kleineren, aufgabenspezifischen Datensatz. Während dieser Phase wird die Lernrate typischerweise niedrig gehalten, um geringfügige Anpassungen an den Gewichten des Modells vorzunehmen, ohne die wertvollen, zuvor gelernten Merkmale zu verlieren. Eine detaillierte Anleitung finden Sie im PyTorch-Tutorial zum Transferlernen.

Anwendungsfälle in der Praxis

Transfer Learning ist nicht nur ein theoretisches Konzept, sondern hat praktische Anwendungen in vielen Branchen.

• Medizinische Bildanalyse: Ein Modell kann auf dem allgemeinen ImageNet-Datensatz vortrainiert und dann feinabgestimmt werden, um spezifische Anomalien wie Hirntumore in MRT-Scans zu erkennen. Da beschriftete medizinische Daten oft rar und teuer zu beschaffen sind, ermöglicht Transfer Learning die Erstellung präziser Diagnostikwerkzeuge, ohne dass Millionen von medizinischen Bildern benötigt werden. Weitere Informationen hierzu finden Sie unter Wie KI eine neue Ära der Präzision in der Radiologie schafft.
• Autonome Fahrzeuge: Ein Objekterkennungsmodell kann auf einem riesigen Datensatz von Straßenbildern vortrainiert und dann von einem bestimmten Autohersteller feinabgestimmt werden, um bestimmte Fahrzeugmodelle zu erkennen oder unter bestimmten Wetterbedingungen zu arbeiten. Dies nutzt vorhandenes Wissen über Autos, Fußgänger und Schilder, beschleunigt die Entwicklung und verbessert die Sicherheit.

Transfer Learning vs. verwandte Konzepte

Es ist wichtig, Transferlernen von anderen ML-Techniken zu unterscheiden:

• Foundation Models (Basismodelle): Dies sind groß angelegte Modelle, die auf riesigen Datenmengen vortrainiert wurden und speziell dafür entwickelt wurden, für verschiedene nachgelagerte Aufgaben angepasst zu werden. Transfer Learning ist der Prozess der Anpassung dieser Foundation Models.
• Zero-Shot Learning: Diese Technik ermöglicht es einem Modell, Klassen zu erkennen, die es während des Trainings nicht gesehen hat. Während Transfer Learning ein Modell mit einigen neuen Daten an eine neue Aufgabe anpasst, zielt Zero-Shot Learning auf eine Verallgemeinerung ohne Beispiele für die neuen Klassen ab. Unser Leitfaden zu Few-Shot, Zero-Shot und Transfer Learning erklärt diese Unterschiede detaillierter.
• Knowledge Distillation: Dies beinhaltet das Trainieren eines kleineren „Studenten“-Modells, um das Verhalten eines größeren „Lehrer“-Modells nachzuahmen, um Effizienz zu erzielen. Transfer Learning konzentriert sich auf die Anpassung von Wissen von einer Aufgabe auf eine andere, während sich Distillation auf die Komprimierung von Wissen innerhalb derselben Aufgabe konzentriert.

Tools und Frameworks

Die Anwendung von Transfer Learning wird durch verschiedene Tools und Plattformen zugänglich gemacht. Frameworks wie PyTorch und TensorFlow bieten umfangreiche Dokumentationen und vortrainierte Modelle. Plattformen wie Ultralytics HUB optimieren den gesamten Workflow und ermöglichen es Benutzern, auf einfache Weise vortrainierte Modelle wie YOLOv8 und YOLO11 zu laden, benutzerdefiniertes Training auf neuen Datensätzen durchzuführen und die Modellbereitstellung zu verwalten. Für ein tieferes theoretisches Verständnis sind Ressourcen wie die Stanford CS231n Übersicht zum Thema Transfer Learning von unschätzbarem Wert.