Task Vectors

Les vecteurs de tâche représentent les changements spécifiques apportés aux poids d'un réseau de neurones lors du réglage fin pour atteindre une nouvelle capacité. En soustrayant les paramètres d'un modèle de base fondamental de ceux d'un modèle ajusté, les chercheurs peuvent isoler un vecteur directionnel dans l'espace des poids qui encapsule le comportement appris pour cette tâche spécifique. Cette approche permet aux développeurs d'appliquer de simples opérations arithmétiques sur les paramètres du modèle pour orienter, modifier ou fusionner les comportements des modèles sans nécessiter de ressources de calcul d'entraînement supplémentaires.

Link to this sectionEn quoi les vecteurs de tâche diffèrent de l'apprentissage par transfert#

Alors que le concept d'apprentissage par transfert implique l'entraînement séquentiel d'un modèle sur un nouveau jeu de données pour adapter ses connaissances existantes, les vecteurs de tâche opèrent directement sur les poids structurels du modèle après l'entraînement. Au lieu de réentraîner les gradients pour apprendre un nouveau domaine, l'interpolation dans l'espace des poids utilisant des vecteurs de tâche permet aux praticiens de combiner linéairement les différences de poids provenant de plusieurs modèles entraînés indépendamment. Cela permet une fusion de modèles de type zero-shot, permettant à un seul modèle d'hériter simultanément de plusieurs capacités sans la charge de calcul habituelle lors de l'entraînement.

Link to this sectionApplications concrètes#

La capacité de manipuler algébriquement les modèles de deep learning a conduit à plusieurs applications percutantes dans les pipelines d'IA modernes :

• Fusion de modèles multi-tâches : Les ingénieurs peuvent combiner un vecteur de tâche optimisé pour la détection d'objets avec un autre entraîné pour la segmentation d'image. Lorsqu'il est appliqué à un modèle de base Ultralytics YOLO26, cela crée une architecture à double usage qui excelle simultanément dans les deux tâches, préservant les forces de chaque réglage fin original.
• Désapprentissage machine et sécurité de l'IA : Si un modèle présente des résultats biaisés ou dangereux, les chercheurs peuvent calculer un vecteur de tâche représentant ce comportement indésirable spécifique. En soustrayant ce vecteur des poids du modèle, ils peuvent efficacement « effacer » le comportement, contribuant fortement à l'amélioration de la sécurité de l'IA et aux normes robustes d'éthique de l'IA.
• Adaptation au domaine en vision par ordinateur : Lors de l'adaptation de modèles pour des environnements spécifiques — comme le passage de l'inférence en temps réel de jour à de nuit — les vecteurs de tâche permettent aux utilisateurs de moduler l'ampleur de l'adaptation. Appliquer une fraction du vecteur (par exemple, un facteur d'échelle de 0,5) peut donner un modèle équilibré qui fonctionne bien dans les deux domaines.

Link to this sectionTravailler avec les vecteurs de tâche dans PyTorch#

Créer et appliquer un vecteur de tâche nécessite d'accéder et de manipuler le dictionnaire d'état PyTorch. L'exemple suivant démontre comment extraire un vecteur de tâche d'un modèle YOLO26 ajusté et l'appliquer au modèle de base avec un facteur d'échelle spécifique.

from ultralytics import YOLO

# Load the state dictionaries for the base and fine-tuned models
base_weights = YOLO("yolo26n.pt").model.state_dict()
tuned_weights = YOLO("yolo26n-custom.pt").model.state_dict()

# Calculate the task vector (tuned weights minus base weights)
task_vector = {k: tuned_weights[k] - base_weights[k] for k in base_weights.keys()}

# Apply the task vector to the base model using a 0.5 scaling factor
for k in base_weights.keys():
    base_weights[k] += 0.5 * task_vector[k]

Link to this sectionL'avenir de la manipulation des poids#

À mesure que les architectures comme les grands modèles de langage et les énormes transformers de vision augmentent en nombre de paramètres, les réentraîner pour chaque ajustement mineur devient économiquement irréalisable. Les vecteurs de tâche fournissent une alternative mathématiquement élégante pour l'optimisation de modèle post-entraînement. En partageant des vecteurs de tâche légers au lieu de modèles entiers de plusieurs gigaoctets, la communauté de l'IA peut accélérer la collaboration open-source en IA. Une fois que tes vecteurs de tâche personnalisés sont affinés, l'utilisation de l'Ultralytics Platform simplifie les processus ultérieurs de déploiement de modèle et de surveillance, garantissant que tes poids optimisés se traduisent directement en points de terminaison prêts pour la production.