Validation croisée

La validation croisée est une technique puissante d'évaluation des modèles dans le domaine de l'apprentissage machine (ML), qui permet d'évaluer la généralisation des résultats d'une analyse statistique à un ensemble de données indépendant. Il s'agit d'une procédure de rééchantillonnage utilisée pour évaluer les modèles d'apprentissage automatique sur un échantillon de données limité. L'objectif principal est d'éviter le surajustement, c'est-à-dire qu'un modèle apprenne si bien les données d'apprentissage qu'il ne donne pas de bons résultats sur des données nouvelles, non vues. En simulant les performances d'un modèle dans le monde réel, la validation croisée fournit une estimation plus robuste et plus fiable des performances du modèle.

Comment fonctionne la validation croisée ?

La méthode de validation croisée la plus courante est la validation croisée K-Fold. Ce processus consiste à diviser un seul ensemble de données en plusieurs parties :

1. Fractionnement des données : L'ensemble des données de formation est divisé de manière aléatoire en "k" sous-ensembles de taille égale, ou "plis".
2. Formation et validation itératives : Le modèle est entraîné "k" fois. À chaque itération, l'un des plis est conservé comme ensemble de validation et le modèle est entraîné sur les k-1 plis restants.
3. Évaluation des performances : Les performances du modèle sont évaluées sur le pli retenu. Des mesures clés, telles que l'exactitude ou la précision moyenne (mAP), sont enregistrées pour chaque itération.
4. Calcul de la moyenne des résultats : Après avoir effectué toutes les itérations "k", la moyenne des mesures de performance est calculée afin de produire une estimation unique et plus stable de l'efficacité du modèle.

Cette approche garantit que chaque point de données se retrouve exactement une fois dans un ensemble de validation et k-1 fois dans un ensemble de formation. Un guide détaillé sur la mise en œuvre est disponible dans le guide Ultralytics K-Fold Cross-Validation.

Validation croisée vs. validation simple Fractionnement

Dans un projet de ML classique, les données sont divisées en ensembles de formation, de validation et de test.

• Données de validation: Utilisées pendant la phase d'apprentissage pour le réglage des hyperparamètres et pour prendre des décisions concernant l'architecture du modèle.
• Données de test: Utilisées uniquement après l'achèvement de la formation et de la mise au point, elles fournissent une évaluation finale et impartiale de la capacité de généralisation du modèle.

Une simple division formation/validation peut parfois être trompeuse si l'ensemble de validation contient, par hasard, des échantillons particulièrement faciles ou difficiles. La validation croisée permet de surmonter ce problème en utilisant chaque partie de l'ensemble de données pour la formation et la validation, ce qui fournit une mesure plus fiable de la capacité de généralisation du modèle. Elle est donc particulièrement utile lorsque la quantité de données disponibles est limitée. Des frameworks populaires comme Scikit-learn fournissent des implémentations robustes des techniques de validation croisée.

Applications dans le monde réel

La validation croisée est indispensable pour construire des systèmes d'intelligence artificielle fiables dans différents domaines :

1. Analyse d'images médicales : Lors du développement d'un réseau neuronal convolutif (CNN) pour l'analyse d'images médicales, comme la détection de tumeurs dans les scanners cérébraux à l'aide d'ensembles de données tels que l'ensemble de données sur les tumeurs cérébrales, la CV est utilisée pour évaluer rigoureusement la précision du diagnostic et la généralisation du modèle sur diverses données de patients. Cette évaluation rigoureuse est essentielle avant d'envisager des essais cliniques ou de demander l'approbation réglementaire d'organismes tels que la FDA.
2. Véhicules autonomes : Pour les modèles de détection d'objets comme Ultralytics YOLO utilisés dans les véhicules autonomes, CV permet de garantir des performances fiables dans la détection des piétons, des cyclistes et d'autres véhicules dans diverses conditions environnementales. Cette validation sur des ensembles de données complexes comme Argoverse est essentielle avant le déploiement du modèle dans des systèmes critiques pour la sécurité, comme ceux des solutions d'IA dans l'automobile.

D'autres applications incluent l'évaluation de modèles pour la segmentation d'images, les tâches de traitement du langage naturel (NLP) comme l'analyse des sentiments, et l'évaluation des risques dans la modélisation financière. Des plateformes comme Ultralytics HUB peuvent aider à gérer les expériences et les artefacts produits au cours de ces techniques d'évaluation, rationalisant ainsi le cycle de développement.