Le réglage des hyperparamètres, également connu sous le nom d'optimisation des hyperparamètres, est un processus fondamental de l'apprentissage automatique (ML) visant à trouver la meilleure combinaison d'hyperparamètres pour maximiser les performances d'un modèle. Les hyperparamètres sont des paramètres de configuration définis avant le début du processus de formation, contrairement aux paramètres du modèle (comme les weights and biases dans un réseau neuronal) qui sont appris pendant la formation via des techniques comme la rétropropagation. Le réglage de ces paramètres externes est crucial car ils contrôlent le processus d'apprentissage lui-même, influençant l'efficacité avec laquelle un modèle apprend à partir des données et se généralise à de nouveaux exemples non vus.
Comprendre les hyperparamètres
Les hyperparamètres définissent des propriétés de plus haut niveau du modèle, telles que sa complexité ou la vitesse à laquelle il doit apprendre. Parmi les exemples courants, on peut citer le taux d'apprentissage utilisé dans les algorithmes d'optimisation, la taille du lot qui détermine le nombre d'échantillons traités avant la mise à jour des paramètres du modèle, le nombre de couches dans un réseau neuronal ou la force des techniques de régularisation telles que l'utilisation de couches d'exclusion. Le choix des hyperparamètres a un impact significatif sur les résultats du modèle. De mauvais choix peuvent conduire à un sous-ajustement, lorsque le modèle est trop simple pour capturer les modèles de données, ou à un surajustement, lorsque le modèle apprend trop bien les données d'apprentissage, y compris le bruit, et ne parvient pas à se généraliser aux données de test.
Pourquoi le réglage des hyperparamètres est-il important ?
Un réglage efficace des hyperparamètres est essentiel pour construire des modèles ML performants. Un modèle bien réglé atteint une meilleure précision, une convergence plus rapide pendant la formation et une généralisation améliorée sur des données inédites. Pour les tâches complexes telles que la détection d'objets, l'utilisation de modèles tels que Ultralytics YOLOla recherche d'hyperparamètres optimaux peut améliorer considérablement les mesures de performance telles que la précision moyenne (mAP) et la vitesse d'inférence, qui sont essentielles pour les applications exigeant une inférence en temps réel. L'objectif est de naviguer dans les compromis, comme le compromis biais-variance, afin de trouver le point idéal pour un problème et un ensemble de données donnés, souvent évalués à l'aide de données de validation.
Techniques de réglage des hyperparamètres
Plusieurs stratégies existent pour rechercher les meilleures valeurs d'hyperparamètres :
- Recherche de grille: Essaie de manière exhaustive toutes les combinaisons possibles des valeurs d'hyperparamètres spécifiées. Simple mais coûteux en termes de calcul.
- Recherche aléatoire: Échantillonne les combinaisons d'hyperparamètres de façon aléatoire à partir de distributions spécifiées. Souvent plus efficace que la recherche par grille.
- Optimisation bayésienne: Construit un modèle probabiliste de la fonction objective (par exemple, la précision du modèle) et l'utilise pour sélectionner des hyperparamètres prometteurs à évaluer ensuite. Des outils comme Optuna mettent cela en œuvre.
- Algorithmes évolutionnaires: Utilise des concepts inspirés de l'évolution biologique, comme la mutation et le croisement, pour affiner de façon itérative les populations d'ensembles d'hyperparamètres. Les modèlesYOLO 'Ultralytics s'en servent pour l'évolution des hyperparamètres.
Des outils comme Weights & Biases Sweeps, ClearML, Cometet KerasTuner permettent d'automatiser et de gérer ces processus de réglage, en s'intégrant souvent à des frameworks tels que PyTorch et TensorFlow.
Réglage des hyperparamètres et concepts connexes
Il est important de distinguer le réglage des hyperparamètres des concepts de ML apparentés :
- Entraînement du modèle: Le réglage des hyperparamètres définit les conditions de la formation (par exemple, le taux d'apprentissage, la taille du lot). La formation du modèle est le processus d'apprentissage des paramètres du modèleweights and biases) en fonction des données, à l'aide des hyperparamètres choisis et d'un algorithme d'optimisation.
- Algorithmes d'optimisation (Adam, SGD) : Ces algorithmes mettent à jour les paramètres du modèle pendant l'apprentissage en se basant sur la fonction de perte. Les hyperparamètres contrôlent ces algorithmes (par exemple, le taux d'apprentissage), mais le processus de réglage lui-même est séparé du fonctionnement de l'algorithme.
- Régularisation: Des techniques telles que la régularisation L1/L2 ou le dropout permettent d'éviter le surajustement. La force ou le taux de ces techniques sont eux-mêmes des hyperparamètres qui doivent être réglés.
- Apprentissage automatique (AutoML): Un domaine plus large visant à automatiser l'ensemble du pipeline ML, y compris l'ingénierie des caractéristiques, la sélection des modèles et le réglage des hyperparamètres. HPT est souvent un composant clé des systèmes AutoML.
Applications dans le monde réel
Le réglage des hyperparamètres est appliqué dans divers domaines :
Optimisation des hyperparamètres avec Ultralytics
Ultralytics fournit des outils pour simplifier le réglage des hyperparamètres pour les modèles YOLO . L'outil Ultralytics Tuner classedocumenté dans le Guide de réglage des hyperparamètresautomatise le processus à l'aide d'algorithmes évolutifs. Intégration avec des plateformes telles que Ray Tune offre des capacités supplémentaires pour les stratégies de recherche distribuées et avancées, aidant les utilisateurs à optimiser leurs modèles de manière efficace pour des ensembles de données spécifiques (comme COCO) et les tâches utilisant des ressources comme Ultralytics HUB pour le suivi et la gestion des expériences. Suivant conseils pour l'entraînement des mannequins implique souvent un réglage efficace des hyperparamètres.
