Fine-tuning

Le fine-tuning consiste à poursuivre l'entraînement d'un modèle déjà entraîné sur un grand jeu de données, en mettant à jour une partie ou la totalité de ses poids sur un jeu de données plus petit et propre à la tâche. Les poids préentraînés encodent déjà des connaissances générales, comme les contours, les textures et les formes dans les modèles de vision, ou la grammaire et les faits dans les grands modèles de langage (LLMs) ; le fine-tuning permet donc d'obtenir une grande précision avec beaucoup moins de données annotées et de calcul qu'un entraînement à partir de poids aléatoires. C'est la méthode la plus courante d'apprentissage par transfert et la façon dont sont créés la plupart des modèles personnalisés de détection d'objets et la plupart des assistants conversationnels à partir de modèles de base préentraînés.

Fonctionnement du fine-tuning#

Une session de fine-tuning charge des poids préentraînés, remplace ou redimensionne les couches liées à la tâche d'origine, comme un classificateur ou une tête de détection, puis entraîne le modèle sur les nouvelles données avec la fonction de perte et l'optimiseur habituels. Trois choix déterminent la part du modèle d'origine qui est conservée :

• Taux d'apprentissage : Le fine-tuning utilise un taux d'apprentissage inférieur à celui du préentraînement, généralement après une courte phase de montée en régime, afin que les mises à jour affinent les caractéristiques préentraînées au lieu de les écraser. ULMFiT est allé plus loin avec des taux d'apprentissage discriminants, en divisant le taux par 2,6 pour chaque couche située sous la couche supérieure.
• Couches entraînées : Geler les premières couches du backbone maintient les caractéristiques générales fixes, réduit l'utilisation de la mémoire et limite le risque de surapprentissage sur de petits jeux de données. Le dégel progressif entraîne d'abord la nouvelle tête, puis libère les couches plus profondes.
• Durée de l'entraînement : Plus un modèle est entraîné longtemps uniquement sur de nouvelles données, plus il perd ses compétences d'origine à cause de l'oubli catastrophique.

Le bon réglage dépend de la mémoire disponible, de la quantité de données annotées et de l'importance des compétences d'origine :

Fine-tuning complet ou efficace en paramètres#

Le fine-tuning complet met à jour chaque poids ; pour un LLM de 7 milliards de paramètres, cela signifie conserver les gradients et l'état de l'optimiseur pour 7 milliards de valeurs et enregistrer une copie complète du modèle pour chaque tâche. Le fine-tuning efficace en paramètres (PEFT) gèle les poids préentraînés et entraîne plutôt un petit ensemble de paramètres ajoutés ou sélectionnés ; la bibliothèque PEFT de Hugging Face met en œuvre les méthodes courantes. LoRA ajoute des matrices entraînables de faible rang à côté des matrices de poids gelées et, comparé au fine-tuning complet de GPT-3 175B avec Adam, a réduit le nombre de paramètres entraînables d'un facteur 10 000 et la mémoire GPU d'un facteur 3. QLoRA entraîne des adaptateurs LoRA sur un modèle de base quantifié sur 4 bits, ce qui a rendu possible le fine-tuning d'un modèle de 65 milliards de paramètres sur un seul GPU de 48 Go.

Après le préentraînement, les LLM passent par plusieurs étapes de fine-tuning. Le réglage par instructions les entraîne sur des paires de requêtes et de réponses, puis les méthodes fondées sur les préférences, telles que l'apprentissage par renforcement à partir de retours humains (RLHF) et l'optimisation directe des préférences (DPO), alignent les réponses sur les préférences humaines.

Fine-tuning et termes associés#

• Apprentissage par transfert : L'idée générale de réutiliser pour une tâche un modèle entraîné sur une autre. Le fine-tuning met à jour les poids préentraînés, tandis que l'extraction de caractéristiques les garde gelés et n'entraîne qu'une nouvelle tête.
• Entraînement à partir de zéro : Démarre à partir de poids aléatoires et nécessite beaucoup plus de données annotées et de calcul. Cette approche convient aux nouvelles architectures et aux domaines qui ont peu de points communs avec les données de préentraînement disponibles.
• Sondage linéaire : Entraîne uniquement un classificateur linéaire sur des caractéristiques gelées, généralement pour mesurer ce qu'une représentation préentraînée capture déjà.
• Ingénierie des prompts et génération augmentée par récupération (RAG) : Modifient le comportement d'un LLM par son entrée, sans toucher aux poids.

Effectuer le fine-tuning d'un détecteur d'objets#

Appeler train() sur un checkpoint YOLO26 préentraîné avec un nouveau jeu de données effectue son fine-tuning : tous les poids compatibles sont transférés, et cls_remap=True, le comportement par défaut, copie les lignes du classificateur correspondant aux noms de classes identiques. Ainsi, sur le jeu de données African Wildlife, les sorties pour l'éléphant et le zèbre sont initialisées à partir des lignes préentraînées sur COCO, tandis que celles du buffle et du rhinocéros, absents de COCO, sont initialisées à neuf.

from ultralytics import YOLO

# Charger les poids YOLO26n préentraînés sur COCO ; YOLO("yolo26n.yaml") entraînerait plutôt le modèle à partir de zéro
model = YOLO("yolo26n.pt")

# Effectuer le fine-tuning sur 1 052 images d'entraînement représentant des buffles, des éléphants, des rhinocéros et des zèbres
results = model.train(data="african-wildlife.yaml", epochs=30, imgsz=640)

Pour cette session de 30 époques, optimizer="auto", le comportement par défaut, sélectionne AdamW avec lr0=0.00125, un taux qu'il calcule à partir des 4 classes du jeu de données, car la session reste sous les 10 000 itérations.