Parameter-Efficient Fine-Tuning (PEFT)

L’affinage efficace en paramètres (PEFT) adapte un modèle préentraîné à une nouvelle tâche en n’entraînant qu’une petite fraction de ses paramètres : soit quelques nouveaux paramètres ajoutés au réseau, soit un sous-ensemble sélectionné des paramètres existants. Le reste des poids du modèle reste figé. L’affinage complet met à jour tous les poids. Pour un grand modèle de langage (LLM) de 7 milliards de paramètres, il faut donc conserver les gradients et l’état de l’optimiseur pour les 7 milliards de valeurs et enregistrer une copie complète du modèle pour chaque tâche. Les méthodes PEFT entraînent souvent moins de 1 % des paramètres ; un modèle de fondation peut ainsi être adapté sur un seul GPU, et chaque nouvelle tâche ajoute un petit fichier de paramètres entraînés plutôt qu’un autre point de contrôle complet. La bibliothèque PEFT de Hugging Face implémente les méthodes les plus courantes pour les modèles Transformer.

Fonctionnement de PEFT#

PEFT s’appuie sur l’apprentissage par transfert : un modèle préentraîné sur de vastes ensembles de données encode déjà des caractéristiques générales. Son adaptation à une tâche connexe nécessite donc beaucoup moins de changements que son entraînement initial. Les méthodes se répartissent en trois familles, selon les paramètres qu’elles entraînent.

Les méthodes additives insèrent de nouveaux modules ou entrées entraînables dans le réseau figé. Les adaptateurs ajoutent de petites couches goulot d’étranglement dans chaque bloc Transformer. Sur le benchmark de langage GLUE, ils ont obtenu des résultats à 0,4 % de ceux de l’affinage complet, tout en ajoutant 3,6 % de paramètres par tâche. Le prompt tuning et le réglage de préfixe apprennent quelques vecteurs continus ajoutés au début de l’entrée ou des activations de chaque couche.

Les méthodes sélectives entraînent un sous-ensemble choisi des poids existants. Le gel du backbone et l’entraînement des seules couches ultérieures constituent la forme la plus simple de cette approche. BitFit n’entraîne que les termes de biais.

Les méthodes de reparamétrisation apprennent une mise à jour compacte des matrices de poids figées. LoRA représente chaque mise à jour comme le produit de deux matrices de faible rang. Par rapport à l’affinage complet de GPT-3 175B, cette méthode a réduit le nombre de paramètres entraînables d’un facteur 10 000 et la mémoire GPU d’un facteur 3. QLoRA entraîne des adaptateurs LoRA sur un modèle de base quantifié sur 4 bits. DoRA sépare chaque poids en une magnitude et une direction, puis adapte la direction avec LoRA.

Comme seuls les petits paramètres entraînés diffèrent d’une tâche à l’autre, une seule copie du modèle de base peut servir à plusieurs tâches simultanément. Un serveur conserve le modèle de base figé en mémoire et applique l’adaptateur correspondant à chaque requête. Des systèmes comme S-LoRA peuvent ainsi servir des milliers d’adaptateurs LoRA :

Avantages et compromis#

Les gradients et l’état de l’optimiseur ne sont nécessaires que pour les paramètres entraînés, ce qui réduit fortement l’utilisation de la mémoire, même si les poids figés et les activations doivent toujours tenir sur le GPU. Le maintien des poids préentraînés limite aussi le surapprentissage sur les petits jeux de données et l’oubli catastrophique des compétences initiales du modèle. Le compromis porte sur la capacité : dans une étude intitulée LoRA Learns Less and Forgets Less, LoRA a obtenu des résultats inférieurs à l’affinage complet en programmation et en mathématiques, tout en préservant davantage les performances du modèle de base sur des tâches hors de ces domaines.

PEFT en vision par ordinateur#

Les Transformers de vision s’adaptent avec les mêmes méthodes. Le Visual Prompt Tuning apprend des jetons d’entrée supplémentaires pour un ViT figé, entraîne moins de 1 % des paramètres et a surpassé l’affinage complet dans nombre de ses tests. Les adaptateurs LoRA adaptent Stable Diffusion à un nouveau style ou sujet. Pour les modèles de détection d’objets convolutifs, le gel des couches est l’approche sélective standard. Lors de l’entraînement d’Ultralytics YOLO26, l’argument freeze arrête les mises à jour du gradient pour les N premières couches et fige également leurs statistiques de normalisation par lots. freeze=11 couvre les couches 0 à 10, c’est-à-dire tout le backbone de YOLO26 : seul le neck et la tête de détection sont donc entraînés :

from ultralytics import YOLO

# Charge les poids YOLO26n préentraînés sur COCO
model = YOLO("yolo26n.pt")

# Gèle les couches 0 à 10 (le backbone) et entraîne uniquement le neck et la tête de détection
results = model.train(data="coco8.yaml", epochs=5, freeze=11)

Le journal d’entraînement répertorie chaque paramètre figé sur une ligne Freezing layer avant le début de la première époque.

PEFT et termes associés#

• Affinage complet : met à jour tous les poids, ce qui offre la plus grande capacité d’adaptation, mais demande le plus de mémoire et une copie complète du modèle par tâche. PEFT est une forme d’affinage qui limite les paramètres modifiés.
• Sondage linéaire : entraîne uniquement un classificateur linéaire sur des caractéristiques figées. C’est la méthode sélective la plus restrictive, principalement utilisée pour mesurer ce qu’une représentation préentraînée capture déjà.
• Ingénierie de prompt : modifie le comportement d’un modèle à l’aide de texte rédigé manuellement dans son entrée, sans rien entraîner. Le prompt tuning apprend des vecteurs de prompt continus par descente de gradient.
• Distillation des connaissances : entraîne un modèle étudiant plus petit à imiter un modèle enseignant plus grand, ce qui compresse le modèle. PEFT, en revanche, adapte un modèle existant à une nouvelle tâche.
• Fusion de modèles : combine des poids ou des adaptateurs entraînés dans un seul modèle. Une mise à jour LoRA entraînée peut être ajoutée à la matrice de poids figée qu’elle adapte ; le modèle fusionné s’exécute alors sans coût d’inférence supplémentaire.