Fonction de perte

Une fonction de perte, également appelée fonction de coût ou fonction objectif, est un élément fondamental de l'apprentissage automatique (ML) et de l'apprentissage profond (DL). Elle quantifie la différence (ou "perte") entre la sortie prédite d'un modèle et l'étiquette de vérité terrain réelle pour un élément de données donné. La valeur calculée par la fonction de perte sert de mesure de la performance du modèle. L'objectif principal pendant le processus d'entraînement du modèle est de minimiser cette valeur, améliorant ainsi la précision et les performances du modèle.

Fonctionnement des fonctions de perte

À chaque itération de l'entraînement, le modèle traite un lot de données d'entraînement et effectue des prédictions. La fonction de perte compare ensuite ces prédictions aux étiquettes réelles. Une valeur de perte plus élevée indique un écart plus important et un plus grand besoin de correction, tandis qu'une valeur de perte plus faible signifie que les prédictions du modèle sont plus proches des valeurs réelles.

Cette valeur de perte est cruciale car elle fournit le signal nécessaire à l'apprentissage du modèle. Ce signal est utilisé par un algorithme d'optimisation, tel que la descente de gradient stochastique (SGD), pour ajuster les paramètres internes du modèle, ou poids du modèle. Le processus de rétropropagation calcule le gradient de la fonction de perte par rapport à ces poids, indiquant la direction dans laquelle les poids doivent être ajustés pour réduire la perte. Ce processus itératif de calcul de la perte et de mise à jour des poids permet au modèle de converger progressivement vers un état où il peut faire des prédictions très précises.

Types courants de fonctions de perte

Le choix de la fonction de perte dépend fortement de la tâche spécifique que le modèle est conçu pour résoudre. Différents problèmes nécessitent différentes façons de mesurer l'erreur. Voici quelques types courants :

• Erreur quadratique moyenne (MSE) : Une fonction de perte populaire pour les tâches de régression, où le but est de prédire une valeur numérique continue. Elle calcule la moyenne des carrés des différences entre les valeurs prédites et les valeurs réelles.
• Fonction de perte d'entropie croisée (Cross-Entropy Loss) : Largement utilisée pour les tâches de classification d'images. Elle mesure la performance d'un modèle de classification dont la sortie est une valeur de probabilité comprise entre 0 et 1. Elle est efficace lors de l'entraînement de modèles pour distinguer plusieurs classes, comme la classification d'images dans l'ensemble de données ImageNet.
• Perte Intersection sur Union (IoU) : Les variantes de l'IoU sont essentielles pour les tâches de détection d'objets. Ces fonctions de perte, telles que GIoU, DIoU et CIoU, mesurent la divergence entre la boîte englobante prédite et la boîte de vérité terrain. Elles font partie intégrante de la formation de détecteurs d'objets précis comme Ultralytics YOLO11.
• Dice Loss : Couramment utilisé dans la segmentation d'images, en particulier dans l'analyse d'images médicales, pour mesurer le chevauchement entre les masques de segmentation prédits et réels. Il est particulièrement utile pour gérer le déséquilibre des classes.

Applications concrètes

Les fonctions de perte sont au cœur de l'entraînement de pratiquement tous les modèles d'apprentissage profond.

1. Véhicules autonomes : Dans le développement des véhicules autonomes, les modèles de détection d'objets sont entraînés à identifier les piétons, les autres voitures et les panneaux de signalisation. Pendant l'entraînement, une fonction de perte combine plusieurs composantes : une partie calcule l'erreur de classification de chaque objet (par exemple, voiture vs. piéton), tandis qu'une autre partie, souvent une perte basée sur l'IoU, calcule l'erreur de localisation de la boîte englobante de l'objet. La minimisation de cette perte combinée permet de créer des modèles robustes pour une navigation sûre, un élément clé de l'IA dans les solutions automobiles.
2. Diagnostic médical : Dans l'IA dans le domaine de la santé, des modèles comme U-Net sont entraînés pour la segmentation sémantique afin d'identifier les tumeurs dans les scans médicaux. Une fonction de perte telle que Dice Loss ou une combinaison de Cross-Entropy et Dice Loss est utilisée pour comparer le masque de tumeur prédit par le modèle avec le masque annoté par un radiologue. En minimisant cette perte sur un ensemble de données d'images médicales, le modèle apprend à délimiter avec précision les régions pathologiques, ce qui contribue à des diagnostics plus rapides et plus précis.

Relation avec d'autres concepts clés

Il est important de différencier les fonctions de perte des autres concepts connexes en ML.

• Fonction de perte vs. Métriques d'évaluation : C'est une distinction cruciale. Les fonctions de perte sont utilisées pendant l'entraînement pour guider le processus d'optimisation. Elles doivent être différentiables pour permettre un apprentissage basé sur le gradient. En revanche, les métriques d'évaluation telles que la précision, la précision, le rappel et la précision moyenne (mAP) sont utilisées après l'entraînement (sur les données de validation ou les données de test) pour évaluer les performances réelles d'un modèle. Bien qu'une perte plus faible soit généralement corrélée à de meilleurs scores de métriques, elles servent des objectifs différents. Vous pouvez en savoir plus sur les métriques de performance dans notre guide.
• Fonction de perte vs. Algorithme d'optimisation : La fonction de perte définit l'objectif—ce qui doit être minimisé. L'algorithme d'optimisation, tel que l'optimiseur Adam, définit le mécanisme—comment minimiser la perte en mettant à jour les poids du modèle en fonction des gradients calculés et du taux d'apprentissage.
• Surapprentissage et sous-apprentissage : La surveillance de la perte sur les ensembles d'entraînement et de validation est essentielle pour diagnostiquer ces problèmes courants. Le surapprentissage est susceptible de se produire si la perte d'entraînement continue de diminuer tandis que la perte de validation commence à augmenter. Le sous-apprentissage est indiqué par des valeurs de perte élevées sur les deux ensembles. Ces informations sont abordées dans des guides tels que nos Conseils pour l'entraînement de modèles.

La compréhension des fonctions de perte est essentielle pour toute personne impliquée dans la création et l'entraînement de modèles d'IA. Des plateformes comme Ultralytics HUB font abstraction d'une grande partie de cette complexité, en gérant automatiquement l'implémentation et l'optimisation de la fonction de perte, ce qui rend la création de modèles de vision par ordinateur (CV) avancés plus accessible.