Hyperparameter Tuning

Le réglage des hyperparamètres consiste à rechercher les paramètres d’entraînement qui donnent à un modèle de machine learning les meilleures performances sur des données mises de côté. Les hyperparamètres sont fixés avant le début de l’entraînement, contrairement aux poids du modèle, que l’entraînement apprend à partir des données. Chaque configuration candidate doit être évaluée en entraînant un modèle et en le testant sur des données de validation ; le réglage est donc l’une des étapes les plus coûteuses en calcul de la création d’un modèle, et choisir une bonne stratégie de recherche compte autant que choisir les valeurs à explorer.

Hyperparamètres courants#

En apprentissage profond appliqué à la vision, les paramètres qui nécessitent le plus souvent un réglage se répartissent en quelques catégories :

• Optimisation : le taux d’apprentissage et son calendrier, le momentum, la décroissance des poids et le choix de l’optimiseur, comme SGD ou l’optimiseur Adam. Le taux d’apprentissage a généralement le plus grand effet et est exploré sur une échelle logarithmique.
• Durée d’entraînement et lots : le nombre d’époques, la durée de la phase de chauffe et la taille du lot.
• Augmentation de données : la probabilité et l’intensité de chaque transformation, comme les retournements, le changement d’échelle, les variations de couleur et la mosaïque.
• Coefficients de pondération des pertes : les coefficients qui équilibrent les termes d’une fonction de perte composite, comme les pertes de boîte et de classification d’un détecteur.

Méthodes de recherche#

Les praticiens explorent l’espace des configurations possibles à l’aide de quelques stratégies :

• Recherche par grille : entraîne toutes les combinaisons d’une liste de valeurs fixée. Simple et exhaustive, cette méthode voit toutefois son coût se multiplier à chaque hyperparamètre ajouté.
• Recherche aléatoire : échantillonne des configurations au hasard dans les plages autorisées. Bergstra et Bengio ont montré qu’elle trouve des modèles aussi bons, voire meilleurs, que la recherche par grille en mobilisant une fraction du calcul, car seuls quelques hyperparamètres comptent vraiment pour un problème donné et l’échantillonnage aléatoire essaie davantage de valeurs distinctes pour chacun.
• Optimisation bayésienne : ajuste un modèle de substitution pour estimer la dépendance du score aux hyperparamètres, puis choisit chaque nouvel essai là où une amélioration semble la plus probable. Des bibliothèques comme Optuna utilisent cette approche par défaut.
• Méthodes d’arrêt anticipé : Hyperband et l’élagage successif lancent de nombreuses configurations avec un petit budget, puis accordent davantage d’époques aux plus prometteuses.
• Algorithmes évolutionnaires : traitent chaque configuration comme un génome et améliorent une population de configurations par sélection et mutation.

Recherche évolutionnaire#

La recherche évolutionnaire convient aux entraînements comportant de nombreux hyperparamètres interdépendants, car elle n’a besoin d’aucun modèle de l’espace de recherche, mais seulement d’un score de qualité pour chaque essai. À chaque cycle, elle choisit l’une des meilleures configurations trouvées jusque-là, en fait muter certaines valeurs, entraîne le modèle avec le résultat et conserve la nouvelle configuration dans la population si son score est bon.

Le tuner Ultralytics exécute cette boucle pour l’entraînement YOLO : à chaque itération, il choisit un parent parmi les neuf résultats ayant la meilleure qualité, mute environ la moitié d’un maximum de 26 hyperparamètres liés au taux d’apprentissage, aux coefficients de perte et à l’augmentation, puis évalue la qualité avec mAP_50-95 pour la détection. Les hyperparamètres de l’étape COCO des points de contrôle officiels YOLO26 ont été déterminés par cette recherche évolutionnaire.

from ultralytics import YOLO

# Charger un modèle YOLO26n préentraîné
model = YOLO("yolo26n.pt")

# Espace de recherche : bornes (min, max) pour chaque hyperparamètre à régler
search_space = {"lr0": (1e-5, 1e-2), "degrees": (0.0, 45.0)}

# Chacune des 30 itérations effectue un entraînement de 10 époques avec de nouvelles valeurs mutées
model.tune(data="coco8.yaml", epochs=10, iterations=30, space=search_space, plots=False, save=False, val=False)

L’exécution écrit best_hyperparameters.yaml, un graphique de la qualité par itération et les poids de la meilleure itération dans un répertoire tune. model.tune() utilise AdamW pour l’entraînement, sauf si l’optimiseur est spécifié, car la valeur par défaut optimizer="auto" remplacerait le lr0 réglé.

Réglage des hyperparamètres et notions associées#

• Entraînement du modèle : l’entraînement apprend les poids pour un ensemble fixe d’hyperparamètres par rétropropagation. Le réglage est la boucle externe qui lance plusieurs entraînements et compare les résultats.
• Ajustement fin : malgré la similarité des termes, l’ajustement fin poursuit l’entraînement des poids d’un modèle préentraîné sur de nouvelles données. Il comporte ses propres hyperparamètres à régler, comme un taux d’apprentissage plus faible et le nombre de couches gelées.
• Recherche d’architecture neuronale (NAS) : explore la structure du réseau, comme les types et les largeurs de couche, au lieu des paramètres d’entraînement.
• Apprentissage automatique automatisé (AutoML) : automatise l’ensemble du pipeline, notamment la sélection du modèle et le prétraitement des données, le réglage des hyperparamètres étant l’un de ses composants.
• Surapprentissage à l’ensemble de validation : des centaines d’essais de réglage évalués sur la même partition de validation peuvent sélectionner par hasard des paramètres adaptés à cette partition ; les résultats finaux doivent donc être mesurés sur un ensemble de test que le réglage n’a jamais utilisé.