Hyperparameter Tuning

L’optimisation des hyperparamètres est le processus itératif visant à optimiser les variables de configuration externes qui régissent le processus d’entraînement d’un modèle de machine learning (ML). Contrairement aux paramètres internes, tels que les poids et les biais appris à partir des données pendant l’entraînement, les hyperparamètres sont définis par le data scientist ou l’ingénieur avant le début du processus d’apprentissage. Ces paramètres contrôlent la structure du modèle et le comportement de l’algorithme, agissant comme des « boutons et curseurs » permettant d’affiner les performances. Trouver la combinaison idéale de ces valeurs est essentiel pour maximiser des métriques telles que l’exactitude et l’efficacité, et fait souvent la différence entre un modèle médiocre et une solution de pointe.

Concepts et techniques fondamentaux#

L’ensemble de toutes les combinaisons d’hyperparamètres possibles crée un espace de recherche de grande dimension. Les praticiens utilisent différentes stratégies pour parcourir cet espace et trouver la configuration optimale qui minimise la fonction de perte.

• Recherche par grille : Cette méthode exhaustive évalue le modèle pour chaque combinaison de paramètres spécifiée dans une grille. Bien qu’elle soit complète, elle est coûteuse en calcul et souffre de la malédiction de la dimension lorsqu’un grand nombre de variables est utilisé.
• Recherche aléatoire : Au lieu de tester chaque combinaison, cette technique sélectionne des combinaisons d’hyperparamètres aléatoires. Les recherches suggèrent qu’elle est souvent plus efficace que la recherche par grille, car elle explore plus efficacement l’espace de recherche pour les paramètres les plus déterminants.
• Optimisation bayésienne : Cette approche probabiliste construit un modèle de substitution pour prédire quels hyperparamètres produiront les meilleurs résultats en fonction des évaluations précédentes, en concentrant la recherche sur les zones les plus prometteuses.
• Algorithmes évolutionnaires : Inspirée de l’évolution biologique, cette méthode utilise des mécanismes tels que la mutation et le croisement pour faire évoluer une population de configurations au fil des générations. Il s’agit de la principale méthode utilisée par la bibliothèque ultralytics pour optimiser des architectures modernes comme YOLO26.

Optimisation des hyperparamètres et entraînement du modèle#

Il est essentiel de distinguer l’optimisation de l’entraînement, car ils représentent des phases distinctes du cycle de vie MLOps :

• Entraînement du modèle : Processus au cours duquel l’algorithme parcourt les données d’entraînement pour apprendre les paramètres internes par rétropropagation. L’objectif est de minimiser l’erreur sur l’ensemble d’entraînement.
• Optimisation des hyperparamètres : Méta-processus consistant à sélectionner les paramètres opérationnels, tels que le taux d’apprentissage, la taille du lot et le momentum, avant le début de l’entraînement. L’objectif est de maximiser les performances sur les données de validation afin d’éviter le surapprentissage.

Applications concrètes#

Des modèles correctement optimisés sont essentiels pour déployer des solutions robustes dans des environnements complexes.

Agriculture de précision#

Dans le cadre de l’IA dans l’agriculture, des drones autonomes utilisent la vision par ordinateur pour identifier les mauvaises herbes et les maladies des cultures. Ces modèles s’exécutent souvent sur des appareils edge dont l’autonomie est limitée. Les ingénieurs utilisent l’optimisation des hyperparamètres pour optimiser le pipeline d’augmentation des données et la résolution d’entrée, afin de garantir que le modèle équilibre des vitesses d’inférence élevées avec la précision nécessaire pour ne pulvériser que les mauvaises herbes et réduire ainsi l’utilisation de produits chimiques.

Diagnostic médical#

Pour l’IA dans le domaine de la santé, notamment dans l’analyse d’images médicales, un faux négatif peut avoir de graves conséquences. Lorsqu’ils entraînent des modèles à détecter des anomalies dans des examens IRM, les praticiens ajustent rigoureusement les hyperparamètres liés à la pondération des classes et à la focal loss. Cette optimisation maximise le rappel, garantissant que même les signes subtils d’une pathologie sont signalés pour être examinés par un professionnel, ce qui contribue fortement à un diagnostic précoce.

Optimisation automatisée avec Ultralytics#

La bibliothèque ultralytics simplifie l’optimisation en intégrant un optimiseur qui utilise des algorithmes génétiques. Les utilisateurs peuvent ainsi rechercher automatiquement les meilleurs hyperparamètres pour leurs jeux de données personnalisés, sans essais manuels successifs. Pour les opérations à grande échelle, les équipes peuvent utiliser la plateforme Ultralytics pour gérer les jeux de données et visualiser ces expériences d’optimisation dans le cloud.

L’exemple suivant montre comment lancer l’optimisation des hyperparamètres pour un modèle YOLO26. L’optimiseur fera muter les hyperparamètres au cours de plusieurs itérations afin de maximiser la précision moyenne (mAP).

from ultralytics import YOLO

# Initialize a YOLO26 model (using the 'nano' weight for speed)
model = YOLO("yolo26n.pt")

# Start tuning hyperparameters on the COCO8 dataset
# The tuner runs for 30 epochs per iteration, evolving parameters like lr0 and momentum
model.tune(data="coco8.yaml", epochs=30, iterations=100, optimizer="AdamW", plots=False)

En automatisant ce processus, les développeurs peuvent se rapprocher du concept d’apprentissage automatique automatisé (AutoML), dans lequel le système s’optimise automatiquement pour obtenir les meilleures performances possibles pour une tâche spécifique.