Réglage des hyperparamètres

Le réglage des hyperparamètres est le processus qui consiste à trouver les paramètres de configuration optimaux pour un modèle d'apprentissage automatique (ML). Ces paramètres, appelés hyperparamètres, sont externes au modèle et ne peuvent pas être appris directement à partir des données pendant le processus de formation. Au contraire, ils sont définis avant le début de la formation et contrôlent le comportement du processus de formation lui-même. Le réglage efficace de ces hyperparamètres est une étape essentielle pour maximiser les performances du modèle et s'assurer qu'il se généralise bien à de nouvelles données inédites. Sans un réglage approprié, même l'architecture de modèle la plus avancée peut ne pas être performante.

Optimisation des hyperparamètres et concepts connexes

Il est important de différencier le réglage des hyperparamètres d'autres concepts clés de la ML :

• Algorithme d'optimisation: Un algorithme d'optimisation, comme Adam ou la descente stochastique de gradient (SGD), est le moteur qui ajuste les paramètres internes du modèle (poids et biais) pendant l'apprentissage afin de minimiser la fonction de perte. Le réglage des hyperparamètres, en revanche, implique la sélection des meilleurs paramètres externes, qui peuvent même inclure le choix de l'algorithme d'optimisation lui-même.
• Recherche d'architecture neuronale (NAS): Alors que le réglage des hyperparamètres optimise les paramètres d'une structure de modèle donnée, la recherche d'architecture neuronale automatise la conception de l'architecture du modèle elle-même, par exemple en déterminant le nombre et le type de couches. Il s'agit de deux formes d'apprentissage automatique de la machine (AutoML) qui sont souvent utilisées conjointement pour construire le meilleur modèle possible.
• Paramètres du modèle : Il s'agit des variables internes d'un modèle, telles que les poids et les biais d'un réseau neuronal, qui sont apprises à partir des données d'apprentissage par rétropropagation. Les hyperparamètres sont les paramètres de niveau supérieur qui régissent la manière dont ces paramètres sont appris.

Méthodes de réglage et hyperparamètres courants

Les praticiens utilisent plusieurs stratégies pour trouver les meilleures valeurs d'hyperparamètres. Parmi les méthodes courantes, on peut citer la recherche par grille, qui essaie de manière exhaustive toutes les combinaisons de valeurs spécifiées, la recherche aléatoire, qui échantillonne les combinaisons de manière aléatoire, et des méthodes plus avancées telles que l'optimisation bayésienne et les algorithmes évolutifs.

Les hyperparamètres les plus fréquemment utilisés sont les suivants :

• Taux d'apprentissage: Contrôle le degré d'ajustement des poids du modèle par rapport au gradient de perte.
• Taille du lot: Le nombre d'exemples de formation utilisés dans une itération.
• Nombre d'époques: le nombre de fois que l'ensemble des données d'apprentissage est passé par le modèle.
• Intensité de l'augmentation des données: Le degré de transformation appliqué aux données d'apprentissage, tel que la rotation, la mise à l'échelle ou les changements de couleur. La bibliothèque Albumentations est un outil très utilisé à cet effet.

Applications dans le monde réel

Le réglage des hyperparamètres est appliqué dans divers domaines pour atteindre des performances maximales :

• Analyse d'images médicales: Lors de l'entraînement d'un modèle de détection de tumeurs, le réglage des hyperparamètres tels que le taux d'apprentissage, les paramètres d'augmentation des données et les poids de la fonction de perte est crucial pour obtenir une grande précision de détection sur des ensembles de données médicales spécifiques. Ceci est vital pour des solutions fiables d'IA dans le domaine de la santé et fait l'objet d'une recherche continue.
• Véhicules autonomes: Les modèles de détection d'objets dans les voitures autonomes nécessitent un réglage minutieux. L'optimisation des hyperparamètres tels que la résolution de l'image d'entrée, les seuils de suppression non maximale (NMS) et les configurations des boîtes d'ancrage garantit que le système peut détecter de manière fiable les piétons et les obstacles avec une faible latence pour une navigation sûre. Ce réglage est essentiel pour des entreprises comme Waymo et contribue à la robustesse des solutions d'IA dans l'automobile.

Optimisation des hyperparamètres avec Ultralytics

Ultralytics fournit des outils pour simplifier l'ajustement des hyperparamètres pour les Ultralytiques YOLO modèles. Les modèles Ultralytiques Tuner classe, documenté dans le Guide de réglage des hyperparamètresautomatise le processus à l'aide d'algorithmes évolutifs. Intégration avec des plateformes telles que Ray Tune offre des capacités supplémentaires pour les stratégies de recherche distribuées et avancées, aidant les utilisateurs à optimiser leurs modèles de manière efficace pour des ensembles de données spécifiques (comme le COCO) et des tâches. Les utilisateurs peuvent s'appuyer sur des plateformes telles que HUB Ultralytics pour rationaliser le suivi et la gestion des expériences, ce qui est souvent un élément clé du respect des meilleures pratiques en matière de formation au modèle. Des bibliothèques populaires à code source ouvert telles que Optuna et Hyperopt sont également largement utilisés dans la communauté ML à cette fin.