Données de validation

Les données de validation sont un échantillon de données mis de côté lors du processus d'entraînement et utilisé pour fournir une évaluation impartiale de l'ajustement d'un modèle tout en ajustant ses hyperparamètres. Le rôle principal de l'ensemble de validation est de guider le développement d'un modèle d'apprentissage automatique (ML) en offrant une évaluation fréquente et indépendante de ses performances. Cette boucle de rétroaction est essentielle pour construire des modèles qui non seulement fonctionnent bien sur les données qu'ils ont vues, mais qui se généralisent également efficacement à de nouvelles données non vues, un concept central pour la création de systèmes d'Intelligence Artificielle (IA) robustes.

Le rôle des données de validation

L'objectif principal des données de validation est d'éviter le surapprentissage. Le surapprentissage se produit lorsqu'un modèle apprend trop bien les données d'entraînement, capturant le bruit et les détails qui ne s'appliquent pas aux nouvelles données, ce qui nuit à ses performances. En testant le modèle par rapport à l'ensemble de validation à intervalles réguliers (par exemple, après chaque époque), les développeurs peuvent surveiller son erreur de généralisation. Si les performances sur les données d'entraînement continuent de s'améliorer tandis que les performances sur les données de validation stagnent ou se dégradent, c'est un signe clair de surapprentissage.

Ce processus d'évaluation est crucial pour le réglage des hyperparamètres. Les hyperparamètres sont des paramètres de configuration externes au modèle, tels que le taux d'apprentissage ou la taille du lot, qui ne sont pas appris à partir des données. L'ensemble de validation permet d'expérimenter différentes combinaisons d'hyperparamètres pour trouver l'ensemble qui donne les meilleures performances. Ce processus itératif est un élément central de la sélection et de l'optimisation des modèles.

Données de validation vs. Données d'entraînement et de test

Dans un projet typique de ML, l'ensemble de données est divisé en trois sous-ensembles, et il est fondamental de comprendre leurs rôles distincts. Une approche courante de la division des données consiste à allouer 70 % à l'entraînement, 15 % à la validation et 15 % aux tests.

• Données d'entraînement : Il s'agit de la plus grande partie des données, utilisée pour enseigner au modèle. Le modèle apprend de manière itérative les motifs, les caractéristiques et les relations à partir de cet ensemble de données en ajustant ses poids de modèle internes.
• Données de validation : Ce sous-ensemble séparé est utilisé pour fournir une évaluation impartiale pendant le processus d'entraînement. Il permet d'ajuster les hyperparamètres et de prendre des décisions clés, comme le moment de mettre en œuvre un arrêt précoce pour éviter le surapprentissage. Dans l'écosystème Ultralytics, cette évaluation est gérée en mode de validation.
• Données de test : Cet ensemble de données est mis de côté jusqu'à ce que le modèle soit entièrement entraîné et réglé. Il n'est utilisé qu'une seule fois pour fournir une évaluation finale et impartiale des performances du modèle. Les performances de l'ensemble de test indiquent comment le modèle devrait se comporter dans un scénario de déploiement réel.

Le maintien d'une séparation stricte, en particulier entre les ensembles de validation et de test, est essentiel pour évaluer avec précision les capacités d'un modèle et éviter le compromis biais-variance.

Exemples concrets

1. Vision par ordinateur Détection d'objets : Lors de l'entraînement d'un modèle Ultralytics YOLO pour la détection d'objets dans des images (par exemple, en utilisant l'ensemble de données VisDrone), une partie des images étiquetées est mise de côté en tant que données de validation. Pendant l'entraînement, la mAP (précision moyenne moyenne) du modèle est calculée sur cet ensemble de validation après chaque époque. Cette mAP de validation aide à décider quand arrêter l'entraînement ou quel ensemble de techniques d'augmentation de données fonctionne le mieux, avant une vérification finale des performances sur l'ensemble de test. Les stratégies d'évaluation de modèle efficaces reposent fortement sur cette division.
2. Traitement du Langage Naturel Classification de Texte: Lors du développement d'un modèle pour classer les avis des clients comme positifs ou négatifs (analyse des sentiments), un ensemble de validation est utilisé pour choisir l'architecture optimale (par exemple, LSTM vs. Transformer) ou pour ajuster les hyperparamètres comme les taux de dropout. Le modèle atteignant le score F1 ou la précision la plus élevée sur l'ensemble de validation serait sélectionné pour les tests finaux. Des ressources comme Hugging Face Datasets fournissent souvent des ensembles de données pré-divisés à cet effet.

Validation croisée

Lorsque la quantité de données disponibles est limitée, une technique appelée validation croisée (en particulier la validation croisée K-Fold) est souvent utilisée. Ici, les données d'entraînement sont divisées en 'K' sous-ensembles (folds). Le modèle est entraîné K fois, chaque fois en utilisant K-1 folds pour l'entraînement et le fold restant comme ensemble de validation. La performance est ensuite moyennée sur toutes les K exécutions. Cela fournit une estimation plus robuste de la performance du modèle et permet une meilleure utilisation des données limitées, comme expliqué dans des ressources telles que la documentation scikit-learn et le guide de validation croisée K-Fold d'Ultralytics.

En résumé, les données de validation sont la pierre angulaire de la construction de modèles d'IA fiables et performants avec des frameworks comme PyTorch et TensorFlow. Elles permettent un réglage efficace des hyperparamètres, la sélection du modèle et la prévention du surapprentissage, garantissant que les modèles se généralisent bien au-delà des données sur lesquelles ils ont été entraînés. Des plateformes comme Ultralytics HUB offrent des outils intégrés pour gérer efficacement ces ensembles de données.