Réglage des hyperparamètres

Le réglage des hyperparamètres, également connu sous le nom d'optimisation des hyperparamètres, est un processus fondamental de l'apprentissage machine (ML) visant à trouver la meilleure combinaison d'hyperparamètres pour maximiser les performances d'un modèle. Les hyperparamètres sont des paramètres de configuration définis avant le début du processus de formation, contrairement aux paramètres du modèle (tels que les poids et les biais dans un réseau neuronal) qui sont appris au cours de la formation via des techniques telles que la rétropropagation. Le réglage de ces paramètres externes est crucial car ils contrôlent le processus d'apprentissage lui-même, influençant l'efficacité avec laquelle un modèle apprend à partir des données et se généralise à de nouveaux exemples non vus.

Comprendre les hyperparamètres

Les hyperparamètres définissent des propriétés de niveau supérieur du modèle, telles que sa complexité ou sa vitesse d'apprentissage. Parmi les exemples courants, on peut citer le taux d'apprentissage utilisé dans les algorithmes d'optimisation, la taille du lot qui détermine le nombre d'échantillons traités avant la mise à jour des paramètres du modèle, le nombre de couches dans un réseau neuronal ou la force des techniques de régularisation telles que l'utilisation de couches d'exclusion. Le choix des hyperparamètres a un impact significatif sur les résultats du modèle. De mauvais choix peuvent conduire à un sous-ajustement, lorsque le modèle est trop simple pour capturer les modèles de données, ou à un surajustement, lorsque le modèle apprend trop bien les données d'apprentissage, y compris le bruit, et ne parvient pas à se généraliser aux données de test.

L'importance de l'ajustement des hyperparamètres

Le réglage efficace des hyperparamètres est essentiel pour construire des modèles ML performants. Un modèle bien réglé permet d'obtenir une meilleure précision, une convergence plus rapide pendant la formation et une généralisation améliorée sur des données inédites. Pour des tâches complexes telles que la détection d'objets à l'aide de modèles comme Ultralytics YOLO, la recherche d'hyperparamètres optimaux peut améliorer considérablement les mesures de performance telles que la précision moyenne (mAP) et la vitesse d'inférence, qui sont essentielles pour les applications exigeant une inférence en temps réel. L'objectif est de naviguer dans les compromis, comme le compromis biais-variance, afin de trouver le point idéal pour un problème et un ensemble de données donnés, souvent évalués à l'aide de données de validation.

Techniques de réglage des hyperparamètres

Il existe plusieurs stratégies pour rechercher les meilleures valeurs d'hyperparamètres :

• Recherche en grille: Essaie de manière exhaustive toutes les combinaisons possibles de valeurs d'hyperparamètres spécifiées. Simple mais coûteux en termes de calcul.
• Recherche aléatoire: Échantillonne les combinaisons d'hyperparamètres de manière aléatoire à partir de distributions spécifiées. Souvent plus efficace que la recherche par grille.
• Optimisation bayésienne: Construit un modèle probabiliste de la fonction objective (par exemple, la précision du modèle) et l'utilise pour sélectionner des hyperparamètres prometteurs à évaluer ensuite. Des outils comme Optuna mettent cela en œuvre.
• Algorithmes évolutionnaires: Utilise des concepts inspirés de l'évolution biologique, comme la mutation et le croisement, pour affiner de manière itérative les populations d'ensembles d'hyperparamètres. Les modèles YOLO d'Ultralytics s'en servent pour l'évolution des hyperparamètres.

Des outils tels que Weights & Biases Sweeps, ClearML, Comet et KerasTuner permettent d'automatiser et de gérer ces processus de réglage, en s'intégrant souvent à des frameworks tels que PyTorch et TensorFlow.

Optimisation des hyperparamètres et concepts connexes

Il est important de distinguer le réglage des hyperparamètres des concepts ML connexes :

• Formation du modèle: Le réglage des hyperparamètres définit les conditions de l'apprentissage (par exemple, le taux d'apprentissage, la taille du lot). L'apprentissage du modèle est le processus d'apprentissage des paramètres du modèle (poids et biais) sur la base des données, en utilisant les hyperparamètres choisis et un algorithme d'optimisation.
• Algorithmes d'optimisation (Adam, SGD) : Ces algorithmes mettent à jour les paramètres du modèle pendant l'apprentissage sur la base de la fonction de perte. Des hyperparamètres contrôlent ces algorithmes (par exemple, le taux d'apprentissage), mais le processus de réglage lui-même est distinct du fonctionnement de l'algorithme.
• Régularisation: Des techniques telles que la régularisation L1/L2 ou l'abandon permettent d'éviter l'ajustement excessif. La force ou le taux de ces techniques sont eux-mêmes des hyperparamètres qui doivent être réglés.
• Apprentissage automatique (AutoML) : Un domaine plus large visant à automatiser l'ensemble du pipeline d'apprentissage automatique, y compris l'ingénierie des caractéristiques, la sélection des modèles et le réglage des hyperparamètres. HPT est souvent un composant clé des systèmes AutoML.

Applications dans le monde réel

Le réglage des hyperparamètres est appliqué dans différents domaines :

• Analyse d'images médicales: Lors de l'entraînement d'un modèle de détection de tumeurs, le réglage des hyperparamètres tels que le calendrier du taux d'apprentissage, l'intensité de l'augmentation des données(par exemple, à l'aide d'Albumentations) et les poids de la fonction de perte est crucial pour atteindre une précision de détection élevée (mesurée par des métriques telles que l'AUC) sur des ensembles de données médicales spécifiques. Ceci est vital pour des solutions fiables d'IA dans le domaine de la santé.
• Véhicules autonomes: Les modèles de détection d'objets dans les voitures autonomes nécessitent un réglage minutieux. L'optimisation des hyperparamètres tels que la résolution de l'image d'entrée, les seuils de suppression non maximale (NMS) et les configurations des boîtes d'ancrage (pour les détecteurs basés sur l'ancrage) garantit que le système peut détecter de manière fiable les piétons, les véhicules et les obstacles avec une faible latence pour une navigation sûre. Ce réglage est essentiel pour des entreprises comme Waymo et contribue à des solutions robustes d'IA dans l'automobile.

Optimisation des hyperparamètres avec Ultralytics

Ultralytics fournit des outils pour simplifier le réglage des hyperparamètres pour les modèles YOLO. L'outil Ultralytiques Tuner classe, documenté dans le Guide de réglage des hyperparamètresautomatise le processus à l'aide d'algorithmes évolutifs. Intégration avec des plateformes telles que Ray Tune offre des capacités supplémentaires pour les stratégies de recherche distribuées et avancées, aidant les utilisateurs à optimiser leurs modèles de manière efficace pour des ensembles de données spécifiques (comme le COCO) et les tâches utilisant des ressources telles que HUB Ultralytics pour le suivi et la gestion des expériences. Suivant conseils pour l'entraînement des mannequins implique souvent un réglage efficace des hyperparamètres.