Données de validation

Le rôle des données de validation

Au cours du processus d'apprentissage du modèle, un modèle ML apprend des modèles à partir des données d'apprentissage. Toutefois, l'évaluation du modèle uniquement sur la base de ces données peut être trompeuse, car le modèle peut simplement mémoriser les exemples d'apprentissage, un phénomène connu sous le nom d'adaptation excessive (overfitting). Les données de validation servent de point de contrôle. En évaluant périodiquement les performances du modèle sur cet ensemble distinct au cours de la formation, les développeurs peuvent :

1. Ajuster les hyperparamètres : Ajustez les paramètres tels que le taux d'apprentissage, la taille du lot ou la complexité du modèle en fonction des mesures de performance(précision, mAP, etc.) calculées sur l'ensemble de validation. Cette opération est souvent réalisée à l'aide de techniques décrites dans les guides de réglage des hyperparamètres.
2. Sélectionner des modèles : Comparer différentes architectures ou versions de modèles (par exemple, comparer Ultralytics YOLOv8 et YOLOv10) sur la base de leur performance de validation.
3. Prévenir le surajustement : Surveillez les mesures de validation pour détecter si le modèle commence à se dégrader sur l'ensemble de validation alors même que les performances de formation s'améliorent, ce qui indique un surajustement. Les techniques telles que l'arrêt anticipé reposent sur les performances de validation.

Données de validation vs. données de formation et de test

La compréhension de la distinction entre les ensembles de données d'entraînement, de validation et de test est fondamentale pour le développement de modèles robustes :

• Données de formation: La plus grande partie de l'ensemble de données, utilisée directement par l'algorithme d'apprentissage pour apprendre des modèles et ajuster les poids du modèle. Le modèle "voit" ces données fréquemment au cours des boucles d'apprentissage(époques).
• Données de validation : Une partie plus petite utilisée indirectement pendant la formation. Le modèle n'apprend pas directement à partir de ces données, mais les performances sur cet ensemble guident les décisions concernant les hyperparamètres et la structure du modèle. Elles fournissent un retour d'information sur la manière dont le modèle peut se généraliser à de nouvelles données au cours de la phase de développement.
• Données de test: Une portion de données complètement séparée que le modèle n'a jamais vue pendant la formation ou la validation. Elle n'est utilisée qu'une seule fois, une fois la formation et la mise au point terminées, pour fournir une estimation finale et impartiale de la capacité de généralisation du modèle sur des données réelles inédites.

Une séparation adéquate, souvent gérée à l'aide d'outils comme Ultralytics HUB pour la gestion et la version des ensembles de données, garantit que les informations de l'ensemble de test ne "fuient" pas dans le processus de formation ou de sélection du modèle, ce qui conduirait à des estimations de performance trop optimistes.

Optimisation des hyperparamètres et sélection de modèles

Les données de validation sont indispensables pour le réglage des hyperparamètres. Les hyperparamètres sont des paramètres de configuration externes au modèle lui-même, définis avant le début du processus d'apprentissage. Il s'agit par exemple du taux d'apprentissage, du nombre de couches d'un réseau neuronal ou du type d'algorithme d'optimisation utilisé. Les développeurs entraînent plusieurs versions du modèle avec différentes combinaisons d'hyperparamètres, évaluent chacune d'entre elles sur l'ensemble de validation et sélectionnent la combinaison qui produit les meilleures performances. Cette recherche systématique peut être automatisée à l'aide de méthodes telles que la recherche par grille ou l'optimisation bayésienne, souvent facilitée par des plateformes intégrées aux outils MLOps.

Exemples concrets

1. Détection d'objetspar vision par ordinateur: Lors de l'entraînement d'un modèle Ultralytics YOLO pour la détection d'objets dans des images (par exemple, en utilisant l'ensemble de données VisDrone), une partie des images étiquetées est mise de côté en tant que données de validation. Au cours de l'apprentissage, la précision moyenne du modèle (mAP ) est calculée sur cet ensemble de validation après chaque épisode. Cette mAP de validation aide à décider quand arrêter la formation (arrêt précoce) ou quel ensemble de techniques d'augmentation des données fonctionne le mieux, avant une vérification finale des performances sur l'ensemble de test. Les stratégies d'évaluation de modèles efficaces reposent en grande partie sur cette division.
2. Traitement du langage naturel Classification de textes : Lors de l'élaboration d'un modèle permettant de classer les commentaires des clients comme positifs ou négatifs(analyse des sentiments), un ensemble de validation est utilisé pour choisir l'architecture optimale (par exemple, LSTM ou Transformer) ou pour régler les hyperparamètres tels que les taux d'abandon. Le modèle qui obtient le meilleur score F1 ou la meilleure précision sur l'ensemble de validation est sélectionné pour le test final. Des ressources telles que Hugging Face fournissent souvent des ensembles de données pré-séparés à cette fin.

Validation croisée

Lorsque la quantité de données disponibles est limitée, une technique appelée validation croisée (en particulier la validation croisée K-Fold) est souvent employée. Dans ce cas, les données d'apprentissage sont divisées en "K" sous-ensembles (plis). Le modèle est entraîné K fois, en utilisant à chaque fois K-1 plis pour l'entraînement et le pli restant comme ensemble de validation. La moyenne des performances est ensuite calculée sur l'ensemble des K essais. Cela fournit une estimation plus robuste de la performance du modèle et permet une meilleure utilisation des données limitées, comme expliqué dans le guide Ultralytics K-Fold Cross-Validation.

En résumé, les données de validation sont la pierre angulaire de la construction de modèles d'intelligence artificielle (IA) fiables et performants. Elles permettent de régler efficacement les hyperparamètres, de sélectionner les modèles et de prévenir l'overfitting, en garantissant que les modèles se généralisent bien au-delà des données sur lesquelles ils ont été formés.