Sigmoïde

La fonction Sigmoïde est une fonction d'activation populaire utilisée dans l'apprentissage automatique (ML) et l'apprentissage profond (DL). C'est une fonction mathématique qui produit une courbe caractéristique en forme de "S", ou sigmoïdale. Son objectif principal est de prendre n'importe quel nombre réel et de le "compresser" dans une plage comprise entre 0 et 1. Cette sortie est souvent interprétée comme une probabilité, ce qui rend la fonction Sigmoïde particulièrement utile dans les modèles où le but est de prédire la probabilité d'un résultat. En introduisant de la non-linéarité dans un réseau neuronal (NN), elle permet au modèle d'apprendre des modèles complexes à partir de données qui seraient autrement impossibles avec de simples transformations linéaires.

Rôle et applications

La capacité de la fonction Sigmoïde à mapper les entrées vers une sortie de type probabilité en fait une pierre angulaire pour certains types de tâches. Bien qu'elle soit devenue moins courante dans les couches cachées des réseaux neuronaux profonds modernes, elle reste un choix standard pour la couche de sortie dans des scénarios spécifiques.

Applications clés

• Classification binaire : Dans les problèmes de classification binaire, l'objectif est de catégoriser une entrée dans l'une des deux classes (par exemple, spam ou non-spam, maladie présente ou absente). Une fonction sigmoïde au niveau de la couche de sortie fournit une valeur unique entre 0 et 1, représentant la probabilité que l'entrée appartienne à la classe positive. Par exemple, un modèle d'analyse d'imagerie médicale peut utiliser la fonction sigmoïde pour sortir une probabilité de 0,9, indiquant une probabilité de 90 % qu'une tumeur soit maligne.
• Classification multi-étiquettes : Contrairement à la classification multi-classes où une entrée appartient à une seule classe, les tâches multi-étiquettes permettent d'associer une entrée à plusieurs étiquettes simultanément. Par exemple, un modèle de détection d'objets comme Ultralytics YOLO peut analyser une image et identifier une « voiture », un « piéton » et un « feu de circulation » en même temps. Dans ce cas, une fonction sigmoïde est appliquée à chaque neurone de sortie indépendamment, donnant la probabilité pour chaque étiquette possible. Vous pouvez en apprendre davantage sur l'évolution de la détection d'objets.
• Mécanismes de gating dans les RNN : Les fonctions sigmoïdes sont un élément central des mécanismes de gating des réseaux neuronaux récurrents (RNN), tels que la mémoire à long terme (LSTM) et les unités récurrentes à gating (GRU). Ces portes utilisent la sigmoïde pour contrôler le flux d'informations, en décidant quelles données conserver ou supprimer à chaque étape. Ce mécanisme est crucial pour l'apprentissage des dépendances à long terme dans les données séquentielles, comme l'explique cet article de blog détaillé sur la compréhension des LSTM.

Comparaison avec d'autres fonctions d'activation

Il est important de distinguer la fonction sigmoïde des autres fonctions d'activation pour comprendre quand l'utiliser.

• Softmax : La fonction Softmax est généralement utilisée pour les problèmes de classification multiclasse, où chaque entrée appartient à une seule classe parmi plusieurs classes possibles. Contrairement à Sigmoid, qui calcule des probabilités indépendantes pour chaque sortie, Softmax calcule une distribution de probabilité sur toutes les classes dont la somme est égale à 1. Par exemple, un modèle classant les chiffres manuscrits de l'ensemble de données MNIST utiliserait Softmax pour attribuer une probabilité unique à chaque chiffre de 0 à 9.
• ReLU (Rectified Linear Unit) : La ReLU est devenue la norme de facto pour les couches cachées dans les réseaux profonds. Elle est plus efficace sur le plan du calcul et contribue à atténuer le problème de disparition du gradient (un problème important avec Sigmoid où les gradients deviennent extrêmement petits pendant la rétropropagation, ce qui ralentit ou arrête le processus d'apprentissage). Vous pouvez en savoir plus sur les défis liés aux gradients dans cet article de DeepLearning.AI.
• SiLU (Sigmoid Linear Unit) : Également connue sous le nom de Swish, SiLU est une fonction d'activation plus moderne dérivée de Sigmoid. Elle offre souvent de meilleures performances que ReLU dans les modèles plus profonds, y compris les architectures avancées de vision par ordinateur. Les modèles Ultralytics tirent souvent parti de fonctions d'activation avancées pour atteindre un meilleur équilibre entre vitesse et précision.

Utilisation et Disponibilité Modernes

Bien que moins courante dans les couches cachées aujourd'hui, la fonction Sigmoid reste un choix standard pour les couches de sortie dans les tâches de classification binaire et multi-étiquettes. Elle constitue également un élément central des mécanismes de gating au sein d'architectures complexes qui traitent des données séquentielles.

La sigmoïde est facilement disponible dans tous les principaux frameworks de deep learning, y compris PyTorch (en tant que torch.sigmoid) et TensorFlow (en tant que tf.keras.activations.sigmoid). Les plateformes comme Ultralytics HUB prennent en charge les modèles utilisant diverses fonctions d'activation, permettant aux utilisateurs de former et déployer solutions de vision par ordinateur sophistiquées.