Sous-apprentissage

Le sous-apprentissage est un problème courant dans l'apprentissage automatique (ML) où un modèle est trop simple pour capturer les modèles sous-jacents dans les données d'entraînement. Cette simplicité l'empêche d'apprendre la relation entre les caractéristiques d'entrée et la variable cible, ce qui entraîne de mauvaises performances à la fois sur les données sur lesquelles il a été entraîné et sur les nouvelles données non vues. Un modèle sous-ajusté a un biais élevé, ce qui signifie qu'il fait des hypothèses fortes, souvent incorrectes, sur les données. Il en résulte un modèle qui ne parvient pas à atteindre un niveau élevé de précision et ne peut pas bien généraliser.

Sous-apprentissage Vs. Surapprentissage

Le sous-apprentissage et le surapprentissage sont deux défis clés en ML qui se rapportent à la capacité d'un modèle à généraliser les données d'entraînement à de nouvelles données. Ils représentent deux extrêmes sur le spectre de la complexité du modèle.

• Sous-apprentissage (Underfitting) : Le modèle est trop simple et présente un biais élevé. Il ne parvient pas à apprendre la structure sous-jacente des données, ce qui entraîne une valeur de fonction de perte élevée et de mauvaises performances sur les ensembles de données d'entraînement et de validation.
• Surapprentissage : Le modèle est trop complexe et a une variance élevée. Il apprend trop bien les données d'entraînement, y compris le bruit et les fluctuations aléatoires. Cela se traduit par d'excellentes performances sur l'ensemble d'entraînement, mais par de mauvaises performances sur les données non vues, car le modèle a essentiellement mémorisé les exemples d'entraînement au lieu d'apprendre des modèles généraux.

L'objectif ultime de l'AA est de trouver un équilibre entre ces deux éléments, un concept connu sous le nom de compromis biais-variance, afin de créer un modèle qui se généralise efficacement à de nouveaux scénarios réels. L'analyse des courbes d'apprentissage est une méthode courante pour diagnostiquer si un modèle est en sous-apprentissage, en surapprentissage ou bien ajusté.

Causes et solutions du sous-apprentissage

Identifier et traiter le sous-apprentissage est crucial pour construire des modèles efficaces. Le problème découle généralement de quelques causes courantes, chacune ayant des solutions correspondantes.

• Le modèle est trop simple: L'utilisation d'un modèle linéaire pour un problème complexe et non linéaire est une cause classique de sous-ajustement.
  • Solution : Augmenter la complexité du modèle. Cela pourrait impliquer de passer à une architecture de modèle plus puissante, telle qu'un réseau neuronal plus profond ou un modèle pré-entraîné plus grand, comme passer d'une variante de modèle Ultralytics YOLO plus petite à une plus grande. Vous pouvez explorer divers comparaisons de modèles YOLO pour sélectionner une architecture plus appropriée.
• Fonctionnalités Insuffisantes ou de Mauvaise Qualité: Si les caractéristiques d'entrée fournies au modèle ne contiennent pas suffisamment d'informations pour faire des prédictions précises, le modèle sera sous-ajusté.
  • Solution : Améliorer les caractéristiques grâce à l'ingénierie des caractéristiques. Cela pourrait impliquer la création de nouvelles caractéristiques, l'utilisation de caractéristiques polynomiales ou l'application de différentes techniques de prétraitement des données pour mieux représenter les modèles sous-jacents. Des techniques de sélection de caractéristiques peuvent également être appliquées.
• Entraînement Insuffisant: Le modèle n'a peut-être pas été entraîné assez epochs pour apprendre les modèles dans les données.
  • Solution : Augmenter la durée de l'entraînement. Il est important de surveiller les métriques de validation pour s'assurer qu'un entraînement plus long n'entraîne pas de surapprentissage. Des outils comme Ultralytics HUB peuvent vous aider à suivre et gérer vos expériences d'entraînement.
• Régularisation excessive: Les techniques comme Régularisation L1 et L2 ou élevée dropout Les taux sont utilisés pour éviter le surapprentissage, mais s'ils sont trop agressifs, ils peuvent trop contraindre le modèle et provoquer un sous-apprentissage.
  • Solution : Réduire la quantité de régularisation. Cela pourrait signifier abaisser le terme de pénalité dans les fonctions de régularisation ou réduire le taux d'abandon. Suivre les meilleures pratiques pour l'entraînement de modèles peut aider à trouver le bon équilibre.

Exemples concrets de sous-apprentissage

1. Classificateur d'images simple : Imaginez que vous entraînez un réseau neuronal convolutif (CNN) très basique avec seulement une ou deux couches sur une tâche complexe de classification d'images, telle que l'identification de milliers de catégories d'objets dans l'ensemble de données ImageNet. La capacité limitée du modèle l'empêcherait d'apprendre les caractéristiques complexes nécessaires pour distinguer autant de classes, ce qui entraînerait une faible précision sur les données d'entraînement et de test. Les frameworks tels que PyTorch et TensorFlow fournissent les outils nécessaires pour construire des architectures plus sophistiquées afin de surmonter ce problème.
2. Maintenance prédictive de base : Envisagez d'utiliser un simple modèle de régression linéaire pour la modélisation prédictive afin d'estimer le moment où une machine tombera en panne en se basant uniquement sur sa température de fonctionnement. Si les défaillances des machines sont réellement influencées par une interaction complexe et non linéaire de facteurs tels que les vibrations, l'âge et la pression, le simple modèle linéaire sera sous-ajusté. Il ne peut pas saisir la véritable complexité du système, ce qui entraîne de mauvaises performances prédictives et une incapacité à anticiper les défaillances avec précision. Un modèle plus complexe, comme une machine à gradient boosting ou un réseau neuronal, serait plus approprié.