Optimisation des hyperparamètres

Le réglage des hyperparamètres est le processus de recherche des paramètres de configuration optimaux pour un modèle d'apprentissage automatique (ML). Ces paramètres, appelés hyperparamètres, sont externes au modèle et ne peuvent pas être appris directement à partir des données pendant le processus d'entraînement. Au lieu de cela, ils sont définis avant le début de l'entraînement et contrôlent la façon dont le processus d'entraînement lui-même se comporte. Le réglage efficace de ces hyperparamètres est une étape essentielle pour maximiser les performances du modèle et garantir qu'il se généralise bien aux nouvelles données non vues. Sans un réglage approprié, même l'architecture de modèle la plus avancée peut sous-performer.

Ajustement des hyperparamètres vs. Concepts connexes

Il est important de différencier le réglage des hyperparamètres des autres concepts clés de l'apprentissage automatique :

• Algorithme d'optimisation : Un algorithme d'optimisation, tel que Adam ou la descente de gradient stochastique (SGD), est le moteur qui ajuste les paramètres internes du modèle (poids et biais) pendant l'entraînement afin de minimiser la fonction de perte. Le réglage des hyperparamètres, en revanche, implique la sélection des meilleurs paramètres externes, ce qui peut même inclure le choix de l'algorithme d'optimisation lui-même.
• Recherche d'architecture neuronale (NAS): Alors que le réglage des hyperparamètres optimise les paramètres pour une structure de modèle donnée, la NAS automatise la conception de l'architecture du modèle elle-même, par exemple en déterminant le nombre et le type de couches. Les deux sont des formes d'apprentissage automatique automatisé (AutoML) et sont souvent utilisés ensemble pour construire le meilleur modèle possible.
• Paramètres du modèle : Ce sont les variables internes d'un modèle, telles que les poids et les biais dans un réseau neuronal, qui sont apprises à partir des données d'entraînement par rétropropagation. Les hyperparamètres sont les paramètres de niveau supérieur qui régissent la façon dont ces paramètres sont appris.

Méthodes de réglage et hyperparamètres courants

Les praticiens utilisent plusieurs stratégies pour trouver les meilleures valeurs d'hyperparamètres. Les méthodes courantes incluent la recherche sur grille (Grid Search), qui essaie exhaustivement chaque combinaison de valeurs spécifiées, la recherche aléatoire (Random Search), qui échantillonne les combinaisons de manière aléatoire, et des méthodes plus avancées comme l'optimisation bayésienne et les algorithmes évolutionnaires.

Voici quelques-uns des hyperparamètres les plus fréquemment ajustés :

• Taux d'apprentissage: Contrôle la quantité d'ajustement des poids du modèle par rapport au gradient de perte.
• Taille de lot : Le nombre d'exemples d'entraînement utilisés dans une itération.
• Nombre d'Epochs: Le nombre de fois où l'ensemble du jeu de données d'entraînement est transmis au modèle.
• Intensité de l'augmentation de données: Le degré de transformations appliquées aux données d'entraînement, telles que la rotation, la mise à l'échelle ou les décalages de couleur. La bibliothèque Albumentations est un outil populaire pour cela.

Applications concrètes

Le réglage des hyperparamètres est appliqué dans divers domaines pour atteindre des performances optimales :

• Analyse d'images médicales: Lors de l'entraînement d'un modèle pour la détection de tumeurs, l'ajustement des hyperparamètres tels que le calendrier du taux d'apprentissage, les paramètres d'augmentation des données et les pondérations de la fonction de perte est crucial pour obtenir une précision de détection élevée sur des jeux de données médicaux spécifiques. Ceci est essentiel pour des solutions d'IA fiables dans le domaine de la santé et fait l'objet de recherches continues.
• Véhicules autonomes : Les modèles de détection d'objets dans les voitures autonomes nécessitent un réglage minutieux. L'optimisation des hyperparamètres tels que la résolution de l'image d'entrée, les seuils de suppression non maximale (NMS) et les configurations de boîtes d'ancrage garantit que le système peut détecter de manière fiable les piétons et les obstacles avec une faible latence pour une navigation sûre. Ce réglage est essentiel pour des entreprises comme Waymo et contribue à des solutions d'IA dans l'automobile robustes.

Ajustement des hyperparamètres avec Ultralytics

Ultralytics fournit des outils pour simplifier le réglage des hyperparamètres pour Ultralytics YOLO modèles. Le Ultralytics Tuner classe, documenté dans le Guide de réglage des hyperparamètres, automatise le processus à l'aide d'algorithmes évolutionnaires. L'intégration avec des plateformes comme Ray Tune offre d'autres capacités pour les stratégies de recherche distribuées et avancées, aidant les utilisateurs à optimiser efficacement leurs modèles pour des ensembles de données spécifiques (comme COCO) et les tâches. Les utilisateurs peuvent exploiter des plateformes telles que Ultralytics HUB pour un suivi et une gestion simplifiés des expériences, ce qui est souvent un élément clé du respect des meilleures pratiques pour entraînement du modèle. Les bibliothèques open source populaires comme Optuna et Hyperopt sont également largement utilisés à cette fin dans la communauté du ML.