Lissage des étiquettes

Le lissage des étiquettes est une technique de régularisation utilisée pendant la formation des modèles d'apprentissage automatique, en particulier dans les tâches de classification. Elle permet de résoudre le problème de l'excès de confiance du modèle en l'empêchant d'attribuer la probabilité totale de 1,0 à la classe correcte. Au lieu d'utiliser des étiquettes "dures" (où la bonne classe vaut 1 et toutes les autres 0), le lissage d'étiquettes crée des étiquettes "douces", en distribuant une petite partie de la masse de probabilité aux autres classes. Cela encourage le modèle à être moins sûr de ses prédictions, ce qui peut conduire à une meilleure généralisation et à de meilleures performances sur des données non vues. Cette technique a notamment été utilisée dans des modèles très performants et est décrite en détail dans des articles tels que "When Does Label Smoothing Help ?

Comment fonctionne le lissage des étiquettes ?

Dans un problème typique de classification par apprentissage supervisé, les données d'apprentissage sont constituées d'entrées et de leurs étiquettes correctes correspondantes. Par exemple, dans une tâche de classification d'images, l'étiquette "chat" d'une image serait représentée sous la forme d'un vecteur codé à un coup comme pour les classes [chat, chien, oiseau]. Lors du calcul de la fonction de perte, le modèle est pénalisé en fonction de la distance entre sa prédiction et cette cible dure.

Le lissage des étiquettes modifie cet objectif. Il réduit légèrement la probabilité cible pour la classe correcte (par exemple, à 0,9) et répartit la faible probabilité restante (0,1 dans ce cas) de manière égale entre les classes incorrectes. Ainsi, la nouvelle cible "douce" pourrait ressembler à [0,9, 0,05, 0,05]. Cette petite modification décourage la couche logit finale d'un réseau neuronal de produire des valeurs extrêmement élevées pour une classe, ce qui permet d'éviter l'ajustement excessif. Ce processus peut être géré pendant la formation du modèle à l'aide de plateformes comme Ultralytics HUB.

Avantages du lissage des étiquettes

Le principal avantage du lissage des étiquettes est qu'il améliore la calibration du modèle. Les scores de confiance prédits par un modèle bien calibré reflètent plus précisément la véritable probabilité d'exactitude. Ceci est crucial pour les applications où il est important de comprendre la certitude du modèle, comme dans l'analyse d'images médicales. En évitant l'excès de confiance, il améliore également la capacité du modèle à se généraliser à de nouvelles données, un objectif clé de tout projet d'apprentissage automatique. Cela se traduit souvent par une légère augmentation de la précision. Une meilleure généralisation permet d'obtenir des modèles plus robustes pour l'inférence en temps réel et le déploiement du modèle final.

Applications dans le monde réel

Le lissage des étiquettes est une technique simple mais efficace appliquée dans divers modèles de pointe.

1. Classification d'images à grande échelle : Les modèles comme Ultralytics YOLO formés pour les tâches de classification d'images sur des ensembles de données massifs tels que ImageNet utilisent souvent le lissage d'étiquettes. Ces ensembles de données peuvent parfois contenir des étiquettes bruyantes ou incorrectes provenant du processus d'étiquetage des données. Le lissage des étiquettes rend le modèle plus robuste à ce bruit d'étiquette, l'empêchant d'apprendre à être trop confiant à l'égard d'étiquettes potentiellement erronées. Vous pouvez explorer une variété d'ensembles de données de classification pour vos projets.
2. Traitement du langage naturel (NLP) : dans des tâches telles que la traduction automatique, il peut y avoir plusieurs traductions valables pour une seule phrase. Le lissage des étiquettes, utilisé dans des modèles comme le Transformer, décourage le modèle d'attribuer une probabilité de 1,0 à un seul mot correct du vocabulaire, en reconnaissant que d'autres mots peuvent également convenir. Ce concept est fondamental dans la PNL moderne et est discuté dans les ressources d'institutions telles que le Stanford NLP Group.

Lissage des étiquettes et concepts connexes

Il est important de différencier le lissage des étiquettes des autres techniques de régularisation.

• Étiquettes dures : Il s'agit de l'approche standard dans laquelle le modèle est entraîné avec une certitude absolue (100 % pour la bonne classe). Le lissage des étiquettes est une alternative directe à cette approche.
• Augmentation des données: Il s'agit d'une autre technique de régularisation qui crée de nouveaux exemples de formation en appliquant des transformations aux données existantes. Elle augmente la diversité des ensembles de données, tandis que le lissage des étiquettes modifie les valeurs cibles elles-mêmes. Vous pouvez trouver des guides pour l'augmentation des données YOLO dans la documentation Ultralytics.
• Dropout: Cette méthode désactive de manière aléatoire une fraction des neurones à chaque étape de l'apprentissage afin d'éviter des coadaptations complexes. Elle modifie l'architecture du modèle pendant l'apprentissage, tandis que le lissage des étiquettes modifie le calcul de la perte. Un article de GeeksforGeeks sur le sujet permet d'approfondir la question du dropout.
• Distillation des connaissances: Dans cette technique, un modèle "étudiant" plus petit est formé à l'aide des étiquettes douces produites par un modèle "enseignant" plus grand et préformé. Bien qu'elle utilise également des étiquettes souples, la source de ces étiquettes est constituée par les prédictions d'un autre modèle, et non par une simple heuristique appliquée aux étiquettes de vérité de terrain, comme dans le cas du lissage d'étiquettes. L'article original Distiller les connaissances dans un réseau neuronal fournit une compréhension fondamentale de ce concept.