Prompt Tuning

Promptes Tuning ist eine Strategie zur Anpassung von vortrainierten Grundlagenmodelle an spezifische nachgelagerte Aufgaben ohne dass das gesamte Netz neu trainiert werden muss. Als eine Form der Parameter-Efficient Fine-Tuning (PEFT) friert diese Technik die massiven Parameter des ursprünglichen Modells ein und optimiert nur einen kleinen Satz erlernbarer Vektoren, die als "Soft Prompts" bekannt sind. Im Gegensatz zu dem für Menschen lesbaren Text, der in Prompt Engineering verwendet wird, sind Soft Prompts numerische Einbettungen, die den Eingabedaten vorangestellt werden. Diese gelernten Vektoren leiten das eingefrorene Modell an, die gewünschte Ausgabe zu erzeugen, was den Speicherbedarf im Vergleich zum Speicherbedarf im Vergleich zum vollständigen Modelltraining. Dieser Ansatz macht es möglich, viele verschiedene spezialisierte Aufgaben mit einem einzigen, gemeinsam genutzten Kernmodell zu erfüllen.

So funktioniert Prompt Tuning

Der Mechanismus, der der prompten Abstimmung zugrunde liegt, beruht auf dem Konzept der Änderung der Eingabe und nicht der Modellarchitektur. Unter einem typischen Arbeitsablauf des maschinellen Lernens (ML) mit Large Language Models (LLMs) oder Vision Language Models wird der Eingabetext oder das Bild in eine Folge von numerischen Vektoren umgewandelt. Beim Prompt-Tuning werden zusätzliche trainierbare Vektoren (der Soft Prompt) am Anfang dieser Sequenz eingefügt.

Während der Backpropagation-Phase des Trainings aktualisiert der Gradientenabstiegsalgorithmus nur diese neuen Vektoren und lässt die Milliarden von Modellgewichten in der Backbone unangetastet. Diese Methode wurde in der Forschung von Google AI hervorgehoben, wobei gezeigt wurde dass bei größeren Modellen eine schnelle Abstimmung die Leistung einer vollständigen Feinabstimmung erreichen kann.

Anwendungsfälle in der Praxis

Promptes Tuning verändert die Industrie, indem es fortschrittliche Künstliche Intelligenz (KI) leichter zugänglicher und skalierbarer macht.

• Personalisierte Kundenbetreuung: Große Unternehmen müssen oft Chatbots Chatbots für verschiedene Abteilungen (z. B. Rechnungsstellung, technischer Support, Vertrieb). Anstatt separate große Modelle für jede Funktion zu hosten, können sie ein eingefrorenes GPT-4-Modell verwenden und zwischen leichtgewichtigen Soft Soft-Prompts wechseln, die auf abteilungsspezifischen Wissensdatenbanken trainiert sind. Dies reduziert Inferenzlatenz und Infrastrukturkosten.
• Spezialisierte medizinische Analyse: Unter KI im Gesundheitswesen sind Datenschutz und Datenknappheit Herausforderungen. Krankenhäuser können ein allgemein einsetzbares medizinisches Bildanalysemodell nehmen und für spezifische Bedingungen wie seltene Tumore trainieren. So wird sichergestellt, dass die allgemeinen Diagnosefähigkeiten des Kernmodells Diagnosefähigkeiten des Kernmodells erhalten bleiben, während es sich an Nischenaufgaben anpasst und Transfer-Learning-Prinzipien effizient nutzen.

Unterscheidung zwischen Prompt-Tuning und verwandten Begriffen

Es ist wichtig, die prompte Abstimmung von ähnlichen Anpassungstechniken zu unterscheiden:

• Schnelles Engineering: Hier geht es um die manuelle Erstellung von Texteingaben (Hard Prompts) zur Steuerung eines Modells. Es erfordert kein Training oder Parameter Aktualisierungen. Im Gegensatz dazu ist das Prompt-Tuning ein automatisierter Prozess, bei dem die optimale numerische Einbettung durch überwachtes Lernen.
• Feinabstimmung: Bei der traditionellen Feinabstimmung werden alle oder die meisten Parameter des Modells aktualisiert, was eine Kopie des Modells für jede Aufgabe. Promptes Tuning hält das Backbone eingefroren und spart Speicherplatz.
• LoRA (Low-Rank Adaptation): Während es sich bei beiden um PEFT-Methoden handelt, injiziert LoRA trainierbare Low-Rank-Matrizen in die internen Schichten des Modells (oft den Aufmerksamkeitsmechanismus), während die prompte Abstimmung sich ausschließlich auf die Eingabeeinbettungsschicht konzentriert.

Umsetzungskonzept

Das Prompt-Tuning ist vor allem bekannt in der Verarbeitung natürlicher Sprache (NLP), tensordas zugrundeliegende mechanische Konzept - das Einfrieren eines großen Backbones und die Optimierung eines kleinen tensoruniversell im Deep Learning (DL). Das Folgende PyTorch Schnipsel demonstriert die grundlegende Logik des Einfrieren von Modellparametern und Erstellen eines lernfähigen Prompt-Parameters.

import torch
import torch.nn as nn

# Initialize a hypothetical pre-trained layer (the frozen backbone)
backbone = nn.Linear(768, 10)

# Freeze the backbone parameters so they don't update during training
for param in backbone.parameters():
    param.requires_grad = False

# Create a 'soft prompt' embedding that IS trainable
# This represents the learnable vectors prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 768), requires_grad=True)

# Setup an optimizer that only targets the soft prompt
optimizer = torch.optim.Adam([soft_prompt], lr=0.001)

Dieser Code veranschaulicht, wie Entwickler steuern können, welche Teile eines Systems lernen, ein wichtiger Aspekt bei der Optimierung von neuronaler Netze. Für Standard-Computer-Vision Aufgaben, effiziente Modelle wie Ultralytics YOLO11 sind typischerweise mit Hilfe von Standard-Feinabstimmungen auf benutzerdefinierten Datensätzen trainiert, aber die Prinzipien der Effizienz treiben die Entwicklung zukünftiger Architekturen wie YOLO26.

Relevanz für Computer Vision

Promptes Tuning wird immer wichtiger in der Computer Vision (CV) mit dem Aufkommen von multimodalen Modellen wie CLIP. Die Forscher Forscher erforschen das "Visual Prompt Tuning", bei dem lernfähige Pixelfelder oder Token zu Eingabebildern hinzugefügt werden, um die Bildwandler an neue Aufgaben der Objekterkennung anzupassen ohne die schweren Merkmalsextraktoren neu zu trainieren. Dies spiegelt die Effizienzgewinne wider, die bei Sprachmodellen zu beobachten sind, und steht im Einklang mit dem Branchentrend zu Grüne KI durch durch Minimierung des Energieverbrauchs während des Trainings.