Validation croisée

La validation croisée est une technique puissante d'évaluation de modèle en apprentissage automatique (ML) utilisée pour évaluer comment les résultats d'une analyse statistique se généraliseront à un ensemble de données indépendant. Il s'agit d'une procédure de rééchantillonnage utilisée pour évaluer les modèles ML sur un échantillon de données limité. L'objectif principal est d'empêcher le surapprentissage, où un modèle apprend si bien les données d'entraînement qu'il fonctionne mal sur de nouvelles données non vues. En simulant la façon dont un modèle se comporterait dans le monde réel, la validation croisée fournit une estimation plus robuste et fiable des performances du modèle.

Comment fonctionne la validation croisée ?

La méthode la plus courante de validation croisée est la validation croisée K-Fold. Ce processus implique de partitionner un seul ensemble de données en plusieurs parties :

1. Division des données : L'ensemble du jeu de données d'entraînement est divisé aléatoirement en 'k' sous-ensembles de taille égale, ou "folds".
2. Formation et validation itératives : Le modèle est entraîné 'k' fois. Dans chaque itération, l'un des plis est mis de côté comme ensemble de validation, et le modèle est entraîné sur les k-1 plis restants.
3. Évaluation des performances : Les performances du modèle sont évaluées sur le pli mis de côté. Les métriques clés, telles que la précision ou la précision moyenne (mAP), sont enregistrées pour chaque itération.
4. Moyennage des résultats : Après avoir terminé les 'k' itérations, les métriques de performance sont moyennées pour produire une estimation unique et plus stable de l'efficacité du modèle.

Cette approche garantit que chaque point de données se trouve dans un ensemble de validation exactement une fois et dans un ensemble d'entraînement k-1 fois. Un guide détaillé sur la mise en œuvre est disponible dans le guide de validation croisée K-Fold d'Ultralytics.

Validation croisée vs. Division de validation simple

Dans un projet de ML typique, les données sont divisées en ensembles d'entraînement, de validation et de test.

• Données de validation : Utilisées pendant la phase d'entraînement pour le réglage des hyperparamètres et pour prendre des décisions concernant l'architecture du modèle.
• Données de test : Utilisées uniquement après la fin de l'entraînement et du réglage pour fournir une évaluation finale et impartiale de la capacité de généralisation du modèle.

Une simple division train/validation peut parfois être trompeuse si l'ensemble de validation contient, par hasard, des échantillons particulièrement faciles ou difficiles. La validation croisée surmonte ce problème en utilisant chaque partie de l'ensemble de données à la fois pour l'entraînement et la validation, fournissant ainsi une mesure plus fiable de la capacité du modèle à généraliser. Cela la rend particulièrement utile lorsque la quantité de données disponibles est limitée. Les frameworks populaires comme Scikit-learn fournissent des implémentations robustes des techniques de validation croisée.

Applications concrètes

La validation croisée est indispensable à la construction de systèmes d'IA fiables dans divers domaines :

1. Analyse d'images médicales : Lors du développement d'un réseau neuronal convolutif (CNN) pour l'analyse d'images médicales, comme la détection de tumeurs dans les scanners cérébraux à l'aide d'ensembles de données tels que le jeu de données de tumeurs cérébrales, la validation croisée (CV) est utilisée pour évaluer rigoureusement la précision diagnostique et la généralisation du modèle sur diverses données de patients. Cette évaluation robuste est essentielle avant d'envisager des essais cliniques ou de demander une approbation réglementaire auprès d'organismes comme la FDA.
2. Véhicules autonomes : Pour les modèles de détection d'objets tels que Ultralytics YOLO utilisés dans les véhicules autonomes, la CV permet de garantir des performances fiables dans la détection des piétons, des cyclistes et des autres véhicules dans diverses conditions environnementales. Cette validation sur des ensembles de données complexes comme Argoverse est essentielle avant le déploiement du modèle dans des systèmes critiques pour la sécurité comme ceux de l'IA dans les solutions automobiles.

D'autres applications incluent l'évaluation des modèles pour la segmentation d'images, les tâches de traitement du langage naturel (NLP) comme l'analyse des sentiments et l'évaluation des risques dans la modélisation financière. Des plateformes comme Ultralytics HUB peuvent aider à gérer les expériences et les artefacts produits lors de ces techniques d'évaluation, rationalisant ainsi le cycle de vie du développement.