Parameter-Efficient Fine-Tuning (PEFT)

Parametersparendes Fein-Tuning (PEFT) ist eine fortschrittliche Optimierungsstrategie im maschinellen Lernen (ML), die die Anpassung großer, vortrainierter Modelle an spezifische Aufgaben bei gleichzeitiger Minimierung des Rechenaufwands ermöglicht. Da moderne Basismodelle inzwischen Milliarden von Parametern umfassen, sind herkömmliche Trainingsmethoden, bei denen jedes Gewicht im Netzwerk aktualisiert wird, in Bezug auf Hardware- und Energiebedarf unerschwinglich teuer geworden. PEFT begegnet dieser Herausforderung, indem die große Mehrheit der Modellgewichte des vortrainierten Modells eingefroren und nur eine kleine Teilmenge der Parameter aktualisiert oder um leichte Adapterschichten ergänzt wird. Dieser Ansatz senkt die Einstiegshürden und ermöglicht es Entwicklern, mit handelsüblichen GPUs Ergebnisse auf dem neuesten Stand der Technik zu erzielen, ohne Rechenzentren im industriellen Maßstab zu benötigen.

Die Funktionsweise der Effizienz#

Das Kernprinzip von PEFT beruht auf Transferlernen, bei dem ein Modell Merkmalsrepräsentationen nutzt, die anhand umfangreicher öffentlicher Datensätze wie ImageNet gelernt wurden, um neue Probleme zu lösen. In einem standardmäßigen Arbeitsablauf kann die Anpassung eines Modells ein sogenanntes „vollständiges Fein-Tuning“ umfassen, bei dem die Rückpropagierung jeden Parameter im neuronalen Netzwerk anpasst.

PEFT-Techniken wie LoRA (Anpassung mit niedrigem Rang) verfolgen einen anderen Ansatz. Sie lassen das umfangreiche „Backbone“ des Modells unverändert – und bewahren damit sein Allgemeinwissen – und fügen kleine, trainierbare Matrizen in bestimmte Schichten ein. Dadurch wird das katastrophale Vergessen verhindert, bei dem ein Modell seine ursprünglichen Fähigkeiten verliert, während es neue Informationen lernt. Indem die Anzahl der trainierbaren Parameter um bis zu 99 % reduziert wird, senkt PEFT den Speicherbedarf erheblich und ermöglicht es, während der Echtzeitinferenz mehrere aufgabenspezifische Adapter in ein einzelnes Basismodell einzusetzen oder daraus zu entfernen.

Anwendungen in der Praxis#

PEFT ist besonders wertvoll in Branchen, in denen Edge Computing und Datenschutz von zentraler Bedeutung sind.

• KI in der Landwirtschaft: Start-ups aus dem Agrartechnikbereich setzen häufig Modelle auf Drohnen mit begrenzter Akkulaufzeit und Rechenleistung ein. Mit PEFT können Ingenieure ein hocheffizientes Modell wie YOLO26 nehmen und es mithilfe eines kleinen benutzerdefinierten Datensatzes auf die Erkennung bestimmter regionaler Schädlinge wie des Herbst-Heerwurms feinabstimmen. Durch das Einfrieren des Backbones kann das Training schnell auf einem Laptop durchgeführt werden, und das resultierende Modell bleibt leicht genug für die Verarbeitung an Bord.
• KI im Gesundheitswesen: In der medizinischen Bildanalyse sind annotierte Daten oft knapp und teuer zu beschaffen. Krankenhäuser setzen PEFT ein, um universell einsetzbare Bildverarbeitungsmodelle für die Erkennung von Anomalien in MRT-Aufnahmen anzupassen. Da die Basisparameter eingefroren sind, neigt das Modell bei dem kleinen Datensatz weniger zur Überanpassung. Dadurch wird eine robuste diagnostische Leistung sichergestellt und gleichzeitig der Datenschutz der Patienten gewahrt.

Eingefrorene Schichten mit Ultralytics implementieren#

Im Ultralytics-Ökosystem wird Parametereffizienz häufig dadurch erreicht, dass die anfänglichen Schichten eines Netzwerks „eingefroren“ werden. So bleiben die robusten Merkmalsextraktoren unverändert, während nur der Kopf oder die späteren Schichten an neue Klassen angepasst werden. Dies ist eine praktische Umsetzung der PEFT-Prinzipien für die Objekterkennung.

Das folgende Beispiel zeigt, wie du ein Ultralytics YOLO26-Modell trainierst und dabei die ersten 10 Schichten des Backbones einfrierst, um Rechenressourcen zu sparen:

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

Für Teams, die diesen Prozess skalieren möchten, bietet die Ultralytics Platform eine einheitliche Oberfläche, mit der du Datensätze verwalten, die Annotation automatisieren und diese effizienten Trainingsläufe aus der Cloud überwachen kannst.

PEFT von verwandten Konzepten unterscheiden#

Um die richtige Strategie zur Modellanpassung auszuwählen, ist es hilfreich, PEFT von ähnlichen Begriffen zu unterscheiden:

• Fein-Tuning: Dieser Prozess, der häufig als „vollständiges Fein-Tuning“ bezeichnet wird, aktualisiert alle Parameter im Modell. Obwohl er maximale Anpassungsfähigkeit bietet, ist er rechenintensiv und erfordert das Speichern einer vollständigen Modellkopie für jede Aufgabe. PEFT ist eine auf Effizienz ausgerichtete Unterkategorie des Fein-Tunings.
• Prompt Engineering: Dabei werden Texteingaben formuliert, um die Ausgabe eines Modells zu steuern, ohne interne Gewichte zu verändern. PEFT verändert dagegen mathematisch eine Teilmenge der Gewichte oder Adapter, um dauerhaft zu ändern, wie das Modell Daten verarbeitet.
• Wissensdestillation: Bei dieser Technik wird ein kleines Schülermodell darauf trainiert, ein großes Lehrermodell nachzuahmen. Das Ergebnis ist zwar ein effizientes Modell, aber es handelt sich um eine Komprimierungsmethode, während PEFT eine Anpassungsmethode ist, mit der einem bestehenden Modell neue Fähigkeiten beigebracht werden.

Indem PEFT den Zugang zu leistungsstarker KI demokratisiert, ermöglicht es Entwicklern, spezialisierte Werkzeuge für autonome Fahrzeuge und die intelligente Fertigung zu entwickeln, ohne eine Supercomputer-Infrastruktur zu benötigen.