Sigmoïde

La fonction sigmoïde est une fonction d'activation largement reconnue, utilisée dans l'apprentissage automatique (ML) et en particulier dans les réseaux neuronaux (NN). Elle se caractérise par une courbe en forme de "S". Elle se caractérise par une courbe en forme de "S", qui traduit mathématiquement toute valeur d'entrée en une sortie comprise entre 0 et 1. Cette propriété la rend particulièrement utile pour convertir les sorties brutes (logits) d'un modèle en probabilités, qui sont plus faciles à interpréter. Historiquement, la Sigmoïde était un choix populaire pour les couches cachées dans les NN, bien qu'elle ait été largement remplacée par des fonctions comme ReLU à cette fin dans les architectures modernes d'apprentissage profond (DL) en raison de certaines limitations.

Fonctionnement du Sigmoïde

La fonction Sigmoïde prend n'importe quel nombre à valeur réelle et l'écrase dans l'intervalle (0, 1). Les entrées négatives importantes se traduisent par des sorties proches de 0, les entrées positives importantes par des sorties proches de 1, et une entrée de 0 se traduit par une sortie de 0,5. Il s'agit d'une fonction non linéaire, ce qui est crucial car l'empilement de plusieurs couches linéaires dans un réseau neuronal sans non-linéarité aboutirait simplement à une autre fonction linéaire, ce qui limiterait la capacité du modèle à apprendre des modèles complexes présents dans des données telles que des images ou du texte. La sigmoïde est également différentiable, une propriété nécessaire pour former des réseaux neuronaux à l'aide de méthodes d'optimisation basées sur le gradient, telles que la rétropropagation et la descente de gradient.

Applications du sigmoïde

Aujourd'hui, la principale application de la sigmoïde se trouve dans la couche de sortie des modèles de classification binaire. Comme sa sortie se situe naturellement entre 0 et 1, elle est idéale pour représenter la probabilité qu'une entrée appartienne à la classe positive.

1. Diagnostic médical : dans l'analyse d'images médicales, un modèle peut analyser les caractéristiques d'un scanner (par exemple, un ensemble de données sur les tumeurs cérébrales) et utiliser une couche de sortie sigmoïde pour prédire la probabilité de présence d'une affection spécifique (par exemple, une tumeur maligne). Une sortie supérieure à un certain seuil (souvent 0,5) indique une prédiction positive. Cette sortie probabiliste aide les cliniciens à comprendre le degré de confiance du modèle. Voir des exemples dans la recherche sur l'IA en radiologie.
2. Détection de spam : Dans le traitement du langage naturel (NLP), une fonction sigmoïde peut être utilisée dans la couche finale d'un modèle conçu pour la classification de texte, par exemple pour déterminer si un courriel est un spam ou non. Le modèle traite le contenu de l'e-mail et émet une probabilité (via la sigmoïde) que l'e-mail soit un spam. Il s'agit d'un problème classique de classification binaire, courant dans les applications NLP.

Le sigmoïde peut également être utilisé dans des tâches de classification multiétiquettes, où une entrée peut appartenir simultanément à plusieurs catégories (par exemple, un article d'actualité étiqueté "politique", "économie" et "Europe"). Dans ce cas, un neurone de sortie sigmoïde distinct est utilisé pour chaque étiquette potentielle, estimant la probabilité que cette étiquette spécifique soit pertinente, indépendamment des autres. Cela contraste avec la classification multi-classes (où une seule étiquette s'applique, comme la classification d'une image en "chat", "chien" ou "oiseau"), qui utilise généralement la fonction Softmax.

Fonctions d'activation sigmoïdes et apparentées

Pour comprendre la Sigmoïde, il faut souvent la comparer à d'autres fonctions d'activation :

• ReLU (Rectified Linear Unit): La ReLU produit directement l'entrée si elle est positive, et zéro dans le cas contraire. Il est plus simple sur le plan informatique et évite le problème de la disparition du gradient pour les entrées positives, ce qui en fait le choix préféré pour les couches cachées dans la plupart des NN modernes, y compris de nombreux modèles Ultralytics YOLO comme YOLOv8. Des variantes telles que Leaky ReLU permettent de résoudre le problème du "neurone mourant" de ReLU.
• Tanh (Tangente hyperbolique): Tanh est mathématiquement apparenté à Sigmoïde mais écrase les entrées dans l'intervalle (-1, 1). Sa sortie est centrée sur zéro, ce qui peut parfois faciliter l'optimisation par rapport à la sortie non centrée sur zéro de la Sigmoïde (0 à 1). Cependant, comme la Sigmoïde, elle souffre du problème du gradient qui s'évanouit.
• Softmax: Utilisé dans la couche de sortie pour les problèmes de classification multi-classes. Contrairement à la Sigmoïde (qui fournit des probabilités indépendantes pour les tâches binaires ou multi-étiquettes), la Softmax produit une distribution de probabilités pour toutes les classes, en veillant à ce que la somme des probabilités soit égale à 1. Elle convient donc lorsque les classes s'excluent mutuellement.
• SiLU (Sigmoid Linear Unit) / Swish: Une fonction d'activation plus récente qui multiplie l'entrée par la sigmoïde de l'entrée. Elle donne souvent de meilleurs résultats que ReLU dans les modèles plus profonds et est utilisée dans des architectures comme EfficientNet et certaines variantes de YOLO. Il montre comment la sigmoïde continue d'être pertinente en tant que composant au sein de fonctions plus récentes. Consultez la documentation PyTorch pour l'implémentation de SiLU.

Avantages et limites

Avantages :

• Interprétation probabiliste : La plage de sortie (0, 1) est intuitive pour représenter les probabilités dans la classification binaire.
• Gradient lisse : Contrairement aux fonctions à variations brusques (comme les fonctions en escalier), la Sigmoïde a une dérivée lisse et bien définie, ce qui facilite l'apprentissage basé sur le gradient.

Limites :

• Gradients qui s'évanouissent : Pour des valeurs d'entrée très élevées ou très faibles, le gradient de la fonction sigmoïde devient extrêmement faible (proche de zéro). Au cours de la rétropropagation, ces petits gradients peuvent être multipliés sur de nombreuses couches, ce qui entraîne la disparition des gradients des couches précédentes et l'arrêt effectif de l'apprentissage. C'est l'une des principales raisons pour lesquelles cette fonction est moins utilisée pour les couches cachées profondes.
• Sortie non centrée sur le zéro : La plage de sortie (0, 1) n'est pas centrée sur zéro. Cela peut parfois ralentir la convergence des algorithmes de descente de gradient par rapport aux fonctions centrées sur zéro comme Tanh.
• Coût de calcul : L'opération exponentielle qu'elle implique la rend légèrement plus coûteuse que des fonctions plus simples telles que ReLU.

Utilisation moderne et disponibilité

Bien qu'elle soit aujourd'hui moins courante dans les couches cachées des réseaux profonds, la sigmoïde reste un choix standard pour les couches de sortie dans les tâches de classification binaire et multi-labels. Elle constitue également un élément essentiel des mécanismes de déclenchement au sein des réseaux neuronaux récurrents (RNN), tels que les LSTM et les GRU, en contrôlant le flux d'informations.

Le sigmoïde est disponible dans tous les principaux pays. cadres d'apprentissage profond, y compris PyTorch (en tant que torch.sigmoid) et TensorFlow (en tant que tf.keras.activations.sigmoid). Des plateformes comme HUB Ultralytics modèles de soutien utilisant diverses fonctions d'activation, ce qui permet aux utilisateurs de train et déployer sophistiqué vision par ordinateur solutions.