Tanh (Hyperbolic Tangent)

La función Tanh (tangente hiperbólica) es una función de activación matemática ampliamente utilizada en las capas ocultas de las redes neuronales artificiales. Transforma los valores de entrada en un rango de salida entre -1 y 1, creando una curva en forma de S similar a la función sigmoide pero centrada en cero. Esta propiedad de centrado en cero es crucial porque permite al modelo aprender de manera más eficiente al normalizar la salida de las neuronas, asegurando que los datos que fluyen a través de la red tengan una media más cercana a cero. Al manejar explícitamente los valores negativos, Tanh ayuda a las redes neuronales a capturar patrones y relaciones más complejos dentro de los datos.

Link to this sectionEl mecanismo de Tanh en el aprendizaje profundo#

En la arquitectura de los modelos de aprendizaje profundo, las funciones de activación introducen no linealidad, permitiendo a la red aprender límites complejos entre diferentes clases de datos. Sin funciones como Tanh, una red neuronal se comportaría como un modelo simple de regresión lineal, independientemente de cuántas capas tenga. La función Tanh es particularmente efectiva en redes neuronales recurrentes (RNN) y ciertos tipos de redes de avance, donde mantener una distribución de activación equilibrada y centrada en cero ayuda a prevenir el problema del gradiente desvaneciente durante la retropropagación.

Cuando las entradas se mapean al rango de -1 a 1, las entradas fuertemente negativas resultan en salidas negativas, y las entradas fuertemente positivas resultan en salidas positivas. Esto difiere de la función Sigmoid, que comprime los valores entre 0 y 1. Debido a que las salidas de Tanh son simétricas alrededor de cero, el proceso de descenso de gradiente suele converger más rápido, ya que los pesos en las capas subsiguientes no se mueven consistentemente en una sola dirección (un fenómeno conocido como el camino en "zigzag" en la optimización).

Link to this sectionAplicaciones en el mundo real#

Tanh sigue desempeñando un papel vital en arquitecturas y casos de uso específicos, particularmente donde se requiere el procesamiento de secuencias y la estimación de valores continuos.

• Procesamiento del Lenguaje Natural (NLP): En arquitecturas como las redes de Memoria a Corto y Largo Plazo (LSTM) y las Unidades Recurrentes Cerradas (GRU), Tanh se utiliza como la activación principal para regular el flujo de información. Por ejemplo, en tareas de traducción automática donde un modelo traduce texto de inglés a francés, Tanh ayuda a las compuertas internas de la LSTM a decidir cuánto del contexto anterior (memoria) retener u olvidar. Esto permite al modelo manejar dependencias a largo plazo en las estructuras de las oraciones.
• Redes Generativas Antagónicas (GAN): En el componente generador de muchas Redes Generativas Antagónicas, Tanh se utiliza frecuentemente como la función de activación final para la capa de salida. Dado que las imágenes a menudo se normalizan a un rango de -1 a 1 durante el preprocesamiento, usar Tanh asegura que el generador produzca valores de píxeles dentro del mismo rango válido. Esta técnica ayuda a sintetizar imágenes realistas para aplicaciones como la generación de texto a imagen.

Link to this sectionComparación: Tanh vs. Sigmoid vs. ReLU#

Es útil distinguir Tanh de otras funciones comunes para entender cuándo utilizarla.

• Tanh vs. Sigmoid: Ambas son curvas en forma de S. Sin embargo, Sigmoid genera valores entre 0 y 1, lo que puede causar que los gradientes se desvanezcan más rápidamente que con Tanh. Sigmoid suele reservarse para la capa de salida final de problemas de clasificación binaria (predicción de probabilidad), mientras que Tanh es preferible para las capas ocultas en RNNs.
• Tanh vs. ReLU (Unidad Lineal Rectificada): En redes neuronales convolucionales (CNN) modernas como YOLO26, ReLU y sus variantes (como SiLU) generalmente se prefieren sobre Tanh para las capas ocultas. Esto se debe a que ReLU evita el problema del gradiente desvaneciente de manera más efectiva para redes muy profundas y es computacionalmente más barato de calcular. Tanh es computacionalmente más costoso debido a los cálculos exponenciales involucrados.

Link to this sectionImplementación de activaciones en PyTorch#

Aunque los modelos de alto nivel como YOLO26 manejan las definiciones de activación internamente dentro de sus archivos de configuración, entender cómo aplicar Tanh usando PyTorch es útil para la construcción de modelos personalizados.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Para los usuarios interesados en entrenar arquitecturas personalizadas o gestionar conjuntos de datos de manera efectiva, la Plataforma Ultralytics ofrece un entorno optimizado para experimentar con diferentes hiperparámetros de modelo, visualizar métricas de entrenamiento e implementar soluciones sin necesidad de programar manualmente cada capa de la red neuronal.