Label Smoothing

Le lissage d'étiquettes est une technique de régularisation largement utilisée en apprentissage automatique pour améliorer la généralisation des modèles et prévenir le surapprentissage. Lors de l'entraînement de réseaux neuronaux, l'objectif est généralement de minimiser l'erreur entre les prédictions et la vérité terrain. Cependant, si un modèle devient trop confiant dans ses prédictions — en attribuant une probabilité proche de 100 % à une seule classe — il commence souvent à mémoriser le bruit spécifique dans les données d'entraînement plutôt que d'apprendre des modèles robustes. Ce phénomène, appelé surapprentissage, dégrade les performances sur de nouveaux exemples non vus. Le lissage d'étiquettes résout ce problème en décourageant le modèle de prédire avec une certitude absolue, signalant essentiellement au réseau qu'il existe toujours une petite marge d'erreur.

Link to this sectionLa mécanique des cibles souples#

Pour comprendre comment fonctionne le lissage d'étiquettes, il est utile de le contraster avec les cibles « dures » standard. Dans l'apprentissage supervisé traditionnel, les étiquettes de classification sont généralement représentées via un encodage one-hot. Par exemple, dans une tâche distinguant les chats des chiens, une image de « chien » aurait un vecteur cible de [0, 1]. Pour correspondre parfaitement à cela, le modèle pousse ses scores internes, appelés logits, vers l'infini, ce qui peut conduire à des gradients instables et à une incapacité à s'adapter.

Le lissage d'étiquettes remplace ces 1 et 0 rigides par des cibles « souples ». Au lieu d'une probabilité cible de 1.0, la classe correcte pourrait se voir attribuer 0.9, tandis que la masse de probabilité restante (0.1) est distribuée uniformément parmi les classes incorrectes. Ce changement subtil modifie l'objectif de la fonction de perte, telle que l'entropie croisée, empêchant la fonction d'activation (généralement Softmax) de saturer. Le résultat est un modèle qui apprend des clusters de classes plus serrés dans l'espace des caractéristiques et produit un meilleur calibrage du modèle, ce qui signifie que les probabilités prédites reflètent plus précisément la probabilité réelle d'exactitude.

Link to this sectionApplications concrètes#

Cette technique est particulièrement critique dans les domaines où l'ambiguïté des données est inhérente ou lorsque les jeux de données sont sujets à des erreurs d'étiquetage.

• Diagnostic médical : Dans le domaine de l'IA dans les soins de santé, les données cliniques sont rarement noires ou blanches. Par exemple, dans l'analyse d'imagerie médicale, un scan peut montrer des caractéristiques très suggestives d'une maladie mais pas définitives. L'entraînement avec des étiquettes dures force le modèle à ignorer cette incertitude. En appliquant le lissage d'étiquettes, le modèle conserve un degré de scepticisme, ce qui est vital pour les systèmes d'aide à la décision où un excès de confiance pourrait conduire à un mauvais diagnostic.
• Classification d'images à grande échelle : Les jeux de données publics massifs comme ImageNet contiennent souvent des images mal étiquetées ou des images contenant plusieurs objets valides. Si un modèle essaie d'ajuster ces exemples bruyants avec 100 % de confiance, il apprend des associations incorrectes. Le lissage d'étiquettes agit comme un tampon contre le bruit des étiquettes, garantissant que quelques mauvais points de données ne faussent pas radicalement les poids du modèle finaux.

Link to this sectionMise en œuvre du lissage d'étiquettes avec Ultralytics#

Les frameworks d'apprentissage profond modernes simplifient l'application de cette technique. En utilisant le package ultralytics, tu peux facilement intégrer le lissage d'étiquettes dans ton pipeline d'entraînement pour des tâches de classification d'images ou de détection. Cela est souvent fait pour extraire des performances supplémentaires de modèles de pointe comme YOLO26.

L'exemple suivant démontre comment entraîner un modèle de classification avec le lissage d'étiquettes activé :

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Link to this sectionComparaison avec des concepts associés#

Il est utile de distinguer le lissage d'étiquettes des autres stratégies de régularisation pour comprendre quand l'utiliser.

• vs. Dropout : Une couche de dropout désactive aléatoirement des neurones pendant l'entraînement pour forcer le réseau à apprendre des représentations redondantes. Bien que les deux empêchent le surapprentissage, le dropout modifie dynamiquement l'architecture du réseau, tandis que le lissage d'étiquettes modifie la cible d'optimisation (les étiquettes elles-mêmes).
• vs. Distillation de connaissances : Les deux techniques impliquent un entraînement sur des cibles souples. Cependant, dans la distillation de connaissances, les cibles souples proviennent d'un modèle « enseignant » et contiennent des informations apprises (par exemple, « ceci ressemble à 10 % à un chat »). En revanche, le lissage d'étiquettes utilise des cibles souples « non informatives » dérivées mathématiquement (par exemple, « attribuer 10 % de probabilité à toutes les autres classes de manière égale »).
• vs. Augmentation de données : Les stratégies d'augmentation de données modifient les données d'entrée (rotation, recadrage, coloration) pour augmenter la variété. Le lissage d'étiquettes modifie les attentes de sortie. Les flux de travail d'entraînement complets sur la plateforme Ultralytics combinent souvent l'augmentation, le dropout et le lissage d'étiquettes pour atteindre une précision maximale.

En atténuant le problème de disparition du gradient dans les couches finales et en encourageant le modèle à apprendre des caractéristiques plus robustes, le lissage d'étiquettes reste un incontournable des architectures d'apprentissage profond modernes.