Descente stochastique de gradient (SGD)

Pertinence de l'apprentissage automatique

La SGD est la pierre angulaire de la formation des modèles d'apprentissage automatique à grande échelle, en particulier les réseaux neuronaux (NN) complexes qui alimentent de nombreuses applications modernes d'intelligence artificielle. Son efficacité le rend indispensable lorsque l'on travaille avec des ensembles de données qui sont trop volumineux pour être stockés en mémoire ou qui prendraient trop de temps à traiter en utilisant la descente de gradient par lots traditionnelle. Des modèles comme Ultralytics YOLO utilisent souvent le SGD ou ses variantes au cours du processus d'apprentissage pour apprendre des modèles pour des tâches telles que la détection d'objets, la classification d'images et la segmentation d'images. Les principaux cadres d'apprentissage profond tels que PyTorch et TensorFlow fournissent des implémentations robustes de SGD, soulignant son rôle fondamental dans l'écosystème de l'IA.

Concepts clés

La compréhension des SGD repose sur quelques idées fondamentales :

• Fonction de perte: Mesure de la correspondance entre les prédictions du modèle et les valeurs cibles réelles. SGD vise à minimiser cette fonction.
• Taux d'apprentissage: Un hyperparamètre qui contrôle la taille du pas effectué lors de chaque mise à jour des paramètres. La recherche d'un bon taux d'apprentissage est cruciale pour une formation efficace. Les programmes de taux d'apprentissage sont souvent utilisés pour l'ajuster pendant la formation.
• Taille du lot: Le nombre d'échantillons d'apprentissage utilisés dans une itération pour estimer le gradient. Dans la méthode SGD pure, la taille du lot est de 1. Lorsque l'on utilise de petits sous-ensembles, on parle souvent de descente de gradient par mini-lots.
• Données de formation: Ensemble de données utilisé pour former le modèle. SGD traite ces données échantillon par échantillon ou par mini-lots. Il est essentiel de disposer de données de haute qualité, ce qui nécessite souvent une collecte et une annotation minutieuses des données.
• Gradient : Un vecteur indiquant la direction de l'augmentation la plus forte de la fonction de perte. SGD déplace les paramètres dans la direction opposée au gradient calculé à partir d'un échantillon ou d'un mini-lot.
• Époque : Un passage complet à travers l'ensemble des données d'apprentissage. La formation comporte généralement plusieurs époques.

Différences par rapport aux concepts apparentés

SGD est un algorithme d'optimisation parmi d'autres, et il est important de le distinguer des autres :

• Descente de gradient par lots (BGD) : Calcule le gradient en utilisant l'ensemble des données d'apprentissage à chaque étape. Cette méthode permet d'obtenir une estimation précise du gradient, mais elle est coûteuse en termes de calcul et de mémoire pour les grands ensembles de données. Elle conduit à une trajectoire de convergence plus douce que les mises à jour bruitées de SGD.
• Descente de gradient par mini-lots : Un compromis entre BGD et SGD. Elle calcule le gradient en utilisant un petit sous-ensemble aléatoire (mini-batch) des données. Cette méthode permet d'équilibrer la précision de la BGD et l'efficacité de la SGD ; c'est l'approche la plus courante dans la pratique. Les performances peuvent dépendre de la taille du lot.
• Adam Optimizer: Un algorithme d'optimisation du taux d'apprentissage adaptatif qui calcule des taux d'apprentissage adaptatifs individuels pour différents paramètres. Il converge souvent plus rapidement que le SGD standard, mais peut parfois se généraliser moins efficacement, comme le montrent des recherches telles que "The Marginal Value of Adaptive Gradient Methods in Machine Learning" (La valeur marginale des méthodes de gradient adaptatif dans l'apprentissage automatique). Il existe de nombreuses autres variantes de la descente de gradient.

Applications dans le monde réel

L'efficacité du SGD lui permet d'être utilisé dans de nombreuses applications d'intelligence artificielle à grande échelle :