Task Vectors

Task Vectors repräsentieren die spezifischen Änderungen, die an den Gewichten eines neuronalen Netzwerks während des Fine-Tunings vorgenommen werden, um eine neue Fähigkeit zu erreichen. Durch Subtraktion der Parameter eines grundlegenden Basismodells von denen eines feinabgestimmten Modells können Forscher einen Richtungsvektor im Gewichtsraum isolieren, der das erlernte Verhalten für diese spezifische Aufgabe kapselt. Dieser Ansatz ermöglicht es Entwicklern, einfache arithmetische Operationen auf Modellparameter anzuwenden, um Modellverhalten zu steuern, zu modifizieren oder zusammenzuführen, ohne dass zusätzliche Rechenleistung für das Training erforderlich ist.

Link to this sectionWie sich Task Vectors von Transfer Learning unterscheiden#

Während das Konzept des Transfer Learning beinhaltet, ein Modell sequenziell auf einem neuen Datensatz zu trainieren, um sein bestehendes Wissen anzupassen, arbeiten Task Vectors nach dem Training direkt auf den strukturellen Gewichten des Modells. Anstatt Gradienten zur Erlernung einer neuen Domäne neu zu trainieren, ermöglicht die Gewichtsraum-Interpolation mittels Task Vectors Praktikern, die Gewichtsunterschiede aus mehreren unabhängig trainierten Modellen linear zu kombinieren. Dies ermöglicht Zero-Shot Modellzusammenführung, wodurch ein einzelnes Modell mehrere Fähigkeiten gleichzeitig erben kann, ohne den typischen Rechenaufwand während des Trainings.

Link to this sectionPraxisanwendungen#

Die Fähigkeit, Deep Learning Modelle algebraisch zu manipulieren, hat zu mehreren wirkungsvollen Anwendungen in modernen KI-Pipelines geführt:

• Multi-Task Model Merging: Ingenieure können einen Task Vector, der für Objekterkennung optimiert ist, mit einem anderen kombinieren, der für Bildsegmentierung trainiert wurde. Bei Anwendung auf ein Ultralytics YOLO26 Basismodell entsteht eine Mehrzweckarchitektur, die beide Aufgaben gleichzeitig hervorragend beherrscht und dabei die Stärken jedes ursprünglichen Fine-Tunings bewahrt.
• Machine Unlearning und KI-Sicherheit: Wenn ein Modell voreingenommene oder gefährliche Ausgaben liefert, können Forscher einen Task Vector berechnen, der dieses spezifische unerwünschte Verhalten repräsentiert. Durch Subtraktion dieses Vektors von den Gewichten des Modells können sie das Verhalten effektiv „löschen“, was erheblich zu verbesserten Standards für KI-Sicherheit und verantwortungsvolle KI-Ethik beiträgt.
• Domänenanpassung in Computer Vision: Bei der Anpassung von Modellen an spezifische Umgebungen – wie etwa den Wechsel von Echtzeit-Inferenz bei Tag zu Nacht – erlauben Task Vectors den Benutzern, das Ausmaß der Anpassung zu skalieren. Das Anwenden eines Teils des Vektors (z. B. ein Skalierungsfaktor von 0,5) kann ein ausbalanciertes Modell ergeben, das in beiden Domänen gute Leistung zeigt.

Link to this sectionArbeiten mit Task Vectors in PyTorch#

Das Erstellen und Anwenden eines Task Vectors erfordert den Zugriff auf und die Manipulation des PyTorch State Dictionary. Das folgende Beispiel zeigt, wie man einen Task Vector aus einem feinabgestimmten YOLO26 Modell extrahiert und ihn mit einem spezifischen Skalierungsfaktor wieder auf das Basismodell anwendet.

from ultralytics import YOLO

# Load the state dictionaries for the base and fine-tuned models
base_weights = YOLO("yolo26n.pt").model.state_dict()
tuned_weights = YOLO("yolo26n-custom.pt").model.state_dict()

# Calculate the task vector (tuned weights minus base weights)
task_vector = {k: tuned_weights[k] - base_weights[k] for k in base_weights.keys()}

# Apply the task vector to the base model using a 0.5 scaling factor
for k in base_weights.keys():
    base_weights[k] += 0.5 * task_vector[k]

Link to this sectionDie Zukunft der Gewichtsmanipulation#

Da Architekturen wie Large Language Models und massive Vision Transformer in ihrer Parameteranzahl wachsen, wird ein erneutes Training für jede kleine Anpassung wirtschaftlich unpraktikabel. Task Vectors bieten eine mathematisch elegante Alternative für die Modelloptimierung nach dem Training. Durch das Teilen leichtgewichtiger Task Vectors anstelle ganzer Multi-Gigabyte-Modelle kann die KI-Community die Open-Source-Zusammenarbeit in der KI beschleunigen. Sobald deine benutzerdefinierten Task Vectors verfeinert sind, vereinfacht die Nutzung der Ultralytics Platform die anschließenden Prozesse für Modell-Deployment und Monitoring, wodurch sichergestellt wird, dass deine optimierten Gewichte direkt in produktionsreife Endpunkte überführt werden.