Parameter-Efficient Fine-Tuning (PEFT)

Die parameter-effiziente Feinabstimmung (PEFT) passt ein vortrainiertes Modell an eine neue Aufgabe an, indem nur ein kleiner Teil seiner Parameter trainiert wird: entweder wenige neu hinzugefügte Parameter oder eine ausgewählte Teilmenge der bestehenden Parameter. Die übrigen Modellgewichte bleiben unverändert. Bei einer vollständigen Feinabstimmung wird jedes Gewicht aktualisiert. Bei einem großen Sprachmodell (LLM) mit 7 Milliarden Parametern müssen dafür Gradienten und Optimiererzustand für alle 7 Milliarden Werte gespeichert sowie für jede Aufgabe eine vollständige Modellkopie gesichert werden. PEFT-Verfahren trainieren oft weniger als 1 % der Parameter. So lässt sich ein Basismodell auf einer einzelnen GPU anpassen, und für jede neue Aufgabe kommt eine kleine Datei mit trainierten Parametern statt eines weiteren vollständigen Checkpoints hinzu. Die PEFT-Bibliothek von Hugging Face implementiert die gängigsten Verfahren für Transformer-Modelle.

So funktioniert PEFT#

PEFT baut auf Transferlernen auf: Ein mit umfangreichen Daten vortrainiertes Modell enthält bereits allgemeine Merkmale. Daher ist für die Anpassung an eine verwandte Aufgabe deutlich weniger nötig als für das ursprüngliche Training. Je nachdem, welche Parameter trainiert werden, lassen sich die Verfahren in drei Gruppen einteilen.

Additive Verfahren fügen dem eingefrorenen Netzwerk neue trainierbare Module oder Eingaben hinzu. Adapter fügen kleine Engpassschichten in jeden Transformer-Block ein. Beim Sprachbenchmark GLUE lagen sie innerhalb von 0,4 % der vollständigen Feinabstimmung und fügten pro Aufgabe 3,6 % zusätzliche Parameter hinzu. Beim Prompt-Tuning und beim Prefix-Tuning werden einige kontinuierliche Vektoren gelernt, die der Eingabe oder den Aktivierungen jeder Schicht vorangestellt werden.

Selektive Verfahren trainieren eine ausgewählte Teilmenge der vorhandenen Gewichte. Das Einfrieren des Backbones und das Training nur der späteren Schichten ist die einfachste Form. Bei BitFit werden ausschließlich die Bias-Terme trainiert.

Reparametrisierungsverfahren lernen eine kompakte Aktualisierung für eingefrorene Gewichtsmatrizen. LoRA stellt jede Aktualisierung als Produkt zweier Matrizen mit niedrigem Rang dar. Im Vergleich zur vollständigen Feinabstimmung von GPT-3 175B verringerte das die Anzahl trainierbarer Parameter um den Faktor 10.000 und den GPU-Speicherbedarf um den Faktor 3. QLoRA trainiert LoRA-Adapter auf einem quantisierten Basismodell mit 4 Bit. DoRA zerlegt jedes Gewicht in Betrag und Richtung und passt die Richtung mit LoRA an.

Da sich zwischen Aufgaben nur die wenigen trainierten Parameter unterscheiden, kann eine Kopie des Basismodells viele Aufgaben gleichzeitig übernehmen. Ein Server hält das eingefrorene Basismodell im Speicher und wendet den zur jeweiligen Anfrage passenden Adapter an. Systeme wie S-LoRA bedienen auf diese Weise Tausende LoRA-Adapter:

Vorteile und Nachteile#

Gradienten und Optimiererzustand werden nur für die trainierten Parameter benötigt, sodass der Speicherbedarf deutlich sinkt. Die eingefrorenen Gewichte und Aktivierungen müssen jedoch weiterhin auf die GPU passen. Die vortrainierten Gewichte unverändert zu lassen, begrenzt außerdem das Overfitting bei kleinen Datensätzen und das katastrophale Vergessen der ursprünglichen Fähigkeiten des Modells. Der Nachteil ist die begrenzte Kapazität: In einer Studie mit dem Titel LoRA lernt weniger und vergisst weniger schnitt LoRA bei Programmier- und Mathematikaufgaben schlechter ab als die vollständige Feinabstimmung, bewahrte aber mehr der Leistung des Basismodells bei Aufgaben außerhalb dieser Bereiche.

PEFT in der Computer Vision#

Vision Transformer lassen sich mit denselben Verfahren anpassen. Visual Prompt Tuning lernt zusätzliche Eingabetoken für einen eingefrorenen ViT. Dabei wird weniger als 1 % der Parameter trainiert, und in vielen Tests übertraf das Verfahren die vollständige Feinabstimmung. LoRA-Adapter passen Stable Diffusion an einen neuen Stil oder ein neues Motiv an. Bei faltungsbasierten Modellen zur Objekterkennung ist das Einfrieren der Standardansatz für selektives Training. Beim Training von Ultralytics YOLO26 verhindert das Argument freeze die Aktualisierung der Gradienten für die ersten N Schichten und fixiert außerdem deren Statistiken bei der Batch-Normalisierung. freeze=11 umfasst die Schichten 0 bis 10, also das gesamte YOLO26-Backbone, sodass nur der Neck und der Erkennungs-Head trainiert werden:

from ultralytics import YOLO

# YOLO26n-Gewichte laden, die mit COCO vortrainiert wurden
model = YOLO("yolo26n.pt")

# Die Schichten 0–10 (das Backbone) einfrieren und nur den Neck und Erkennungs-Head trainieren
results = model.train(data="coco8.yaml", epochs=5, freeze=11)

Das Trainingsprotokoll führt jeden eingefrorenen Parameter in einer Zeile mit Freezing layer auf, bevor die erste Epoche beginnt.

PEFT im Vergleich zu verwandten Begriffen#

• Vollständige Feinabstimmung: Aktualisiert jedes Gewicht und bietet dadurch die größte Anpassungsfähigkeit, benötigt aber am meisten Speicher und eine vollständige Modellkopie pro Aufgabe. PEFT ist eine Form der Feinabstimmung, die einschränkt, welche Parameter sich ändern.
• Lineares Sondieren: Trainiert nur einen linearen Klassifizierer auf eingefrorenen Merkmalen. Es ist das restriktivste selektive Verfahren und dient hauptsächlich dazu, zu messen, wie viele Informationen bereits in einer vortrainierten Repräsentation stecken.
• Prompt-Engineering: Ändert das Verhalten eines Modells durch von Hand verfassten Text in der Eingabe und trainiert nichts. Beim Prompt-Tuning werden kontinuierliche Prompt-Vektoren mithilfe von Gradientenabstieg gelernt.
• Wissensdestillation: Trainiert ein kleineres Schülermodell darauf, ein größeres Lehrermodell nachzuahmen, und komprimiert so ein Modell. PEFT passt dagegen ein bestehendes Modell an eine neue Aufgabe an.
• Modellzusammenführung: Kombiniert trainierte Gewichte oder Adapter zu einem Modell. Eine trainierte LoRA-Aktualisierung kann in die eingefrorene Gewichtsmatrix übernommen werden, die sie anpasst, sodass das zusammengeführte Modell ohne zusätzliche Inferenzkosten ausgeführt wird.