Sigmoïde

La fonction sigmoïde est une fonction d'activation populaire utilisée dans l'apprentissage automatique (ML) et l'apprentissage profond (DL). Il s'agit d'une fonction mathématique qui produit une courbe caractéristique en forme de "S", ou sigmoïdale. Son objectif principal est de prendre n'importe quel nombre à valeur réelle et de l'"écraser" dans une plage comprise entre 0 et 1. Cette sortie est souvent interprétée comme une probabilité, ce qui rend Sigmoïde particulièrement utile dans les modèles dont l'objectif est de prédire la probabilité d'un résultat. En introduisant la non-linéarité dans un réseau neuronal (RN), elle permet au modèle d'apprendre des modèles complexes à partir de données, ce qui serait autrement impossible avec de simples transformations linéaires.

Rôle et applications

La capacité de la fonction sigmoïde à faire correspondre les entrées à une sortie de type probabilité en fait une pierre angulaire pour certains types de tâches. Bien qu'elle soit devenue moins courante dans les couches cachées des réseaux neuronaux profonds modernes, elle reste un choix standard pour la couche de sortie dans des scénarios spécifiques.

Applications clés

• Classification binaire: Dans les problèmes de classification binaire, l'objectif est de classer une entrée dans l'une des deux classes (par exemple, spam ou non, maladie présente ou absente). Une fonction sigmoïde au niveau de la couche de sortie fournit une valeur unique entre 0 et 1, représentant la probabilité que l'entrée appartienne à la classe positive. Par exemple, un modèle d'analyse d'images médicales peut utiliser la fonction Sigmoïde pour produire une probabilité de 0,9, ce qui indique qu'il y a 90 % de chances qu'une tumeur soit maligne.
• Classification multi-étiquettes: Contrairement à la classification multi-classes où une entrée n'appartient qu'à une seule classe, les tâches multi-labels permettent d'associer une entrée à plusieurs étiquettes simultanément. Par exemple, un modèle de détection d'objets comme Ultralytics YOLO peut analyser une image et identifier une "voiture", un "piéton" et un "feu de circulation" en même temps. Dans ce cas, une fonction sigmoïde est appliquée à chaque neurone de sortie indépendamment, donnant la probabilité pour chaque étiquette possible. Pour en savoir plus sur l'évolution de la détection d'objets, cliquez ici.
• Mécanismes de déclenchement dans les réseaux neuronaux récurrents: Les fonctions sigmoïdes sont un élément essentiel des mécanismes de contrôle des réseaux neuronaux récurrents (RNN), tels que la mémoire à long terme (LSTM) et les unités récurrentes gérées (GRU). Ces portes utilisent la sigmoïde pour contrôler le flux d'informations, en décidant quelles données doivent être conservées ou rejetées à chaque étape. Ce mécanisme est crucial pour l'apprentissage des dépendances à long terme dans les données séquentielles, comme l'explique cet article de blog détaillé sur la compréhension des LSTM.

Comparaison avec d'autres fonctions d'activation

Il est important de distinguer la fonction sigmoïde des autres fonctions d'activation pour savoir quand l'utiliser.

• Softmax: La fonction Softmax est généralement utilisée pour les problèmes de classification multi-classes, où chaque entrée appartient exactement à l'une des nombreuses classes possibles. Contrairement à la fonction Sigmoïde, qui calcule des probabilités indépendantes pour chaque sortie, la fonction Softmax calcule une distribution de probabilités pour toutes les classes dont la somme est égale à 1. Par exemple, un modèle de classification des chiffres manuscrits de l'ensemble de données MNIST utiliserait Softmax pour attribuer une probabilité unique à chaque chiffre de 0 à 9.
• ReLU (Rectified Linear Unit): ReLU est devenu la norme de facto pour les couches cachées dans les réseaux profonds. Elle est plus efficace sur le plan du calcul et permet d'atténuer le problème du gradient qui s'évanouit (vanishing gradient problem) - un problème important avec Sigmoïd où les gradients deviennent extrêmement petits pendant la rétropropagation, ce qui ralentit ou interrompt le processus d'apprentissage. Pour en savoir plus sur les défis posés par les gradients, consultez l'article de DeepLearning.AI.
• SiLU (Sigmoid Linear Unit): Également connue sous le nom de Swish, SiLU est une fonction d'activation plus moderne dérivée de Sigmoïde. Elle est souvent plus performante que ReLU dans les modèles plus profonds, y compris les architectures de vision artificielle avancées. Les modèles Ultralytics s'appuient souvent sur des fonctions d'activation avancées pour atteindre un meilleur équilibre entre vitesse et précision.

Utilisation moderne et disponibilité

Bien qu'elle soit moins courante dans les couches cachées aujourd'hui, la sigmoïde reste un choix standard pour les couches de sortie dans les tâches de classification binaire et multi-labels. Elle constitue également un élément essentiel des mécanismes de déclenchement dans les architectures complexes qui traitent des données séquentielles.

Le sigmoïde est disponible dans tous les principaux pays. cadres d'apprentissage profond, y compris PyTorch (en tant que torch.sigmoid) et TensorFlow (en tant que tf.keras.activations.sigmoid). Des plateformes comme HUB Ultralytics modèles de soutien utilisant diverses fonctions d'activation, ce qui permet aux utilisateurs de train et déployer des solutions sophistiquées de vision par ordinateur.