Sous-adaptation

L'insuffisance d'ajustement est un problème courant dans l'apprentissage machine (ML), lorsqu'un modèle est trop simple pour capturer les modèles sous-jacents dans les données d'apprentissage. Cette simplicité l'empêche d'apprendre la relation entre les caractéristiques d'entrée et la variable cible, ce qui entraîne des performances médiocres à la fois sur les données sur lesquelles il a été formé et sur de nouvelles données inédites. Un modèle sous-adapté présente un biais important, ce qui signifie qu'il émet des hypothèses fortes, souvent incorrectes, sur les données. Il en résulte un modèle qui ne parvient pas à atteindre un niveau élevé de précision et qui ne peut pas bien se généraliser.

Sous-application et sur-application Surajustement

L'ajustement insuffisant et l'ajustement excessif sont deux défis majeurs dans le domaine de la modélisation moléculaire, liés à la capacité d'un modèle à généraliser des données d'apprentissage à de nouvelles données. Ils représentent les deux extrêmes du spectre de la complexité des modèles.

• Sous-ajustement: Le modèle est trop simple et présente un biais important. Il n'apprend pas la structure sous-jacente des données, ce qui se traduit par une valeur élevée de la fonction de perte et des performances médiocres sur les ensembles de données de formation et de validation.
• Surajustement: Le modèle est trop complexe et présente une variance élevée. Il apprend trop bien les données d'apprentissage, y compris le bruit et les fluctuations aléatoires. Il en résulte d'excellentes performances sur l'ensemble de données d'apprentissage, mais de piètres performances sur les données non vues, car le modèle a essentiellement mémorisé les exemples d'apprentissage au lieu d'apprendre des modèles généraux.

L'objectif ultime de la ML est de trouver un équilibre entre ces deux éléments, un concept connu sous le nom de compromis biais-variance, afin de créer un modèle qui se généralise efficacement à de nouveaux scénarios du monde réel. L'analyse des courbes d'apprentissage est une méthode courante pour diagnostiquer si un modèle est sous-adapté, suradapté ou bien ajusté.

Causes et solutions pour l'inadaptation

L'identification et la résolution des problèmes d'ajustement insuffisant sont essentielles à l'élaboration de modèles efficaces. Le problème provient généralement de quelques causes communes, chacune ayant des solutions correspondantes.

• Le modèle est trop simple: L'utilisation d'un modèle linéaire pour un problème complexe et non linéaire est une cause classique de sous-ajustement.
  • Solution: Augmenter la complexité du modèle. Il peut s'agir de passer à une architecture de modèle plus puissante, comme un réseau neuronal plus profond ou un modèle pré-entraîné plus grand, comme le passage d'une variante de modèle YOLO d'Ultralytics plus petite à une variante plus grande. Vous pouvez explorer diverses comparaisons de modèles YOLO pour sélectionner une architecture plus appropriée.
• Caractéristiques insuffisantes ou de mauvaise qualité: Si les caractéristiques d'entrée fournies au modèle ne contiennent pas suffisamment d'informations pour permettre des prédictions précises, le modèle sera sous-adapté.
  • Solution: Améliorer les caractéristiques par le biais de l'ingénierie des caractéristiques. Il peut s'agir de créer de nouvelles caractéristiques, d'utiliser des caractéristiques polynomiales ou d'appliquer différentes techniques de prétraitement des données afin de mieux représenter les modèles sous-jacents. Des techniques de sélection des caractéristiques peuvent également être appliquées.
• Formation insuffisante: Le modèle n'a peut-être pas été entraîné suffisamment longtemps époques pour apprendre les schémas dans les données.
  • Solution: Augmenter la durée de l'entraînement. Il est important de surveiller les mesures de validation pour s'assurer qu'une formation plus longue ne conduit pas à un surajustement. Des outils comme Ultralytics HUB peuvent vous aider à suivre et à gérer vos expériences de formation.
• Régularisation excessive: Des techniques telles que Régularisation L1 et L2 ou élevé décrochage sont utilisés pour éviter le surajustement, mais s'ils sont trop agressifs, ils peuvent contraindre trop fortement le modèle et provoquer un sous-ajustement.
  • Solution: Réduire le degré de régularisation. Il peut s'agir d'abaisser le terme de pénalité dans les fonctions de régularisation ou de réduire le taux d'abandon. Le respect des meilleures pratiques en matière de formation de modèles peut aider à trouver le bon équilibre.

Exemples concrets de sous-adaptation

1. Classificateur d'images simple: Imaginez que vous entraîniez un réseau neuronal convolutionnel (CNN) très basique, ne comportant qu'une ou deux couches, à une tâche complexe de classification d'images, telle que l'identification de milliers de catégories d'objets dans l'ensemble de données ImageNet. La capacité limitée du modèle l'empêcherait d'apprendre les caractéristiques complexes nécessaires pour distinguer un si grand nombre de classes, ce qui se traduirait par une faible précision à la fois sur les données d'apprentissage et sur les données de test. Des frameworks tels que PyTorch et TensorFlow fournissent les outils nécessaires à la construction d'architectures plus sophistiquées pour surmonter ce problème.
2. Maintenance prédictive de base: Envisager d'utiliser un modèle de régression linéaire simple pour la modélisation prédictive afin d'estimer le moment où une machine tombera en panne en se basant uniquement sur sa température de fonctionnement. Si les défaillances d'une machine sont en fait influencées par une interaction complexe et non linéaire de facteurs tels que les vibrations, l'âge et la pression, le modèle linéaire simple sera sous-adapté. Il ne peut pas saisir la véritable complexité du système, ce qui se traduit par des performances prédictives médiocres et une incapacité à anticiper les défaillances avec précision. Un modèle plus complexe, tel qu'une machine à gradient de croissance ou un réseau neuronal, serait plus approprié.