Tanh (Hyperbolic Tangent)

La fonction Tanh (tangente hyperbolique) est une fonction d'activation mathématique largement utilisée dans les couches cachées des réseaux de neurones artificiels. Elle transforme les valeurs d'entrée en une plage de sortie comprise entre -1 et 1, créant une courbe en forme de S similaire à la fonction sigmoïde, mais centrée sur zéro. Cette propriété de centrage sur zéro est cruciale car elle permet au modèle d'apprendre plus efficacement en normalisant la sortie des neurones, garantissant que les données circulant dans le réseau ont une moyenne plus proche de zéro. En traitant explicitement les valeurs négatives, Tanh aide les réseaux de neurones à capturer des modèles et des relations plus complexes au sein des données.

Link to this sectionLe mécanisme de Tanh en apprentissage profond#

Dans l'architecture des modèles d'apprentissage profond, les fonctions d'activation introduisent de la non-linéarité, permettant au réseau d'apprendre des limites complexes entre différentes classes de données. Sans fonctions comme Tanh, un réseau de neurones se comporterait comme un simple modèle de régression linéaire, quel que soit le nombre de ses couches. La fonction Tanh est particulièrement efficace dans les réseaux de neurones récurrents (RNN) et certains types de réseaux à propagation avant où le maintien d'une distribution d'activation équilibrée et centrée sur zéro aide à prévenir le problème de gradient disparaissant lors de la rétropropagation.

Lorsque les entrées sont mappées sur la plage de -1 à 1, les entrées fortement négatives produisent des sorties négatives, et les entrées fortement positives produisent des sorties positives. Cela diffère de la fonction Sigmoid, qui compresse les valeurs entre 0 et 1. Comme les sorties Tanh sont symétriques autour de zéro, le processus de descente de gradient converge souvent plus rapidement, car les poids des couches suivantes ne se déplacent pas systématiquement dans une seule direction (un phénomène connu sous le nom de chemin en « zigzag » lors de l'optimisation).

Link to this sectionApplications concrètes#

Tanh continue de jouer un rôle essentiel dans des architectures et des cas d'utilisation spécifiques, en particulier là où le traitement de séquences et l'estimation de valeurs continues sont requis.

• Traitement du langage naturel (NLP) : Dans des architectures comme les réseaux Long Short-Term Memory (LSTM) et les Gated Recurrent Units (GRU), Tanh est utilisée comme activation principale pour réguler le flux d'informations. Par exemple, dans les tâches de traduction automatique où un modèle traduit du texte de l'anglais vers le français, Tanh aide les portes internes du LSTM à décider quelle part du contexte précédent (mémoire) conserver ou oublier. Cela permet au modèle de gérer des dépendances à long terme dans les structures de phrases.
• Réseaux antagonistes génératifs (GANs) : Dans la composante génératrice de nombreux réseaux antagonistes génératifs, Tanh est fréquemment utilisée comme fonction d'activation finale pour la couche de sortie. Comme les images sont souvent normalisées sur une plage de -1 à 1 lors du prétraitement, l'utilisation de Tanh garantit que le générateur produit des valeurs de pixels dans la même plage valide. Cette technique aide à synthétiser des images réalistes pour des applications comme la génération texte-image.

Link to this sectionComparaison : Tanh vs. Sigmoid vs. ReLU#

Il est utile de distinguer Tanh des autres fonctions courantes pour comprendre quand l'utiliser.

• Tanh vs. Sigmoid : Les deux sont des courbes en forme de S. Cependant, Sigmoid génère des valeurs entre 0 et 1, ce qui peut entraîner une disparition plus rapide des gradients par rapport à Tanh. Sigmoid est généralement réservée à la couche de sortie finale des problèmes de classification binaire (prédiction de probabilité), tandis que Tanh est préférée pour les couches cachées dans les RNN.
• Tanh vs. ReLU (Rectified Linear Unit) : Dans les réseaux de neurones convolutifs (CNN) modernes comme YOLO26, ReLU et ses variantes (comme SiLU) sont généralement préférées à Tanh pour les couches cachées. C'est parce que ReLU évite le problème de gradient disparaissant plus efficacement pour les réseaux très profonds et est moins coûteuse à calculer. Tanh est plus coûteuse en termes de calcul en raison des calculs exponentiels impliqués.

Link to this sectionImplémentation des activations dans PyTorch#

Bien que des modèles de haut niveau comme YOLO26 gèrent les définitions d'activation en interne dans leurs fichiers de configuration, comprendre comment appliquer Tanh avec PyTorch est utile pour la construction de modèles personnalisés.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Pour les utilisateurs souhaitant entraîner des architectures personnalisées ou gérer efficacement des jeux de données, la plateforme Ultralytics offre un environnement rationalisé pour expérimenter différents hyperparamètres de modèle, visualiser les métriques d'entraînement et déployer des solutions sans avoir besoin de coder manuellement chaque couche du réseau de neurones.