Sigmoide

Cómo funciona Sigmoid

La función sigmoidea toma cualquier número de valor real y lo aplasta en el intervalo (0, 1). Una entrada negativa grande da como resultado una salida cercana a 0, una entrada positiva grande da como resultado una salida cercana a 1 y una entrada de 0 da como resultado una salida de 0,5. Se trata de una función no lineal, lo que es crucial porque apilar varias capas lineales en una red neuronal sin no linealidad simplemente daría como resultado otra función lineal, lo que limitaría la capacidad del modelo para aprender patrones complejos presentes en datos como imágenes o texto. La sigmoide también es diferenciable, una propiedad necesaria para entrenar redes neuronales con métodos de optimización basados en gradientes, como la retropropagación y el descenso de gradiente.

Aplicaciones de Sigmoid

La principal aplicación de Sigmoid hoy en día es en la capa de salida de los modelos de clasificación binaria. Como su salida se sitúa naturalmente entre 0 y 1, es ideal para representar la probabilidad de que una entrada pertenezca a la clase positiva.

1. Diagnóstico médico: en el análisis de imágenes médicas, un modelo puede analizar las características de un escáner (por ejemplo, un conjunto de datos de tumores cerebrales) y utilizar una capa de salida sigmoidea para predecir la probabilidad de que exista una enfermedad específica (por ejemplo, malignidad). Un resultado superior a un determinado umbral (a menudo 0,5) indica una predicción positiva. Esta salida probabilística ayuda a los médicos a comprender la confianza del modelo. Véanse ejemplos en Radiology AI research.
2. Detección de spam: En el Procesamiento del Lenguaje Natural (PLN), una función Sigmoid puede utilizarse en la capa final de un modelo diseñado para la clasificación de textos, como la identificación de si un correo electrónico es spam o no. El modelo procesa el contenido del correo electrónico y emite una probabilidad (mediante Sigmoid) de que se trate de spam. Se trata de un problema clásico de clasificación binaria habitual en las aplicaciones de PNL.

Sigmoid también puede utilizarse en tareas de clasificación multietiqueta, en las que una entrada puede pertenecer a varias categorías simultáneamente (por ejemplo, un artículo de noticias etiquetado con "política", "economía" y "Europa"). En este caso, se utiliza una neurona de salida Sigmoid distinta para cada etiqueta potencial, estimando la probabilidad de que esa etiqueta específica sea relevante, independientemente de las demás. Esto contrasta con la clasificación multiclase (en la que sólo se aplica una etiqueta, como clasificar una imagen como "gato", "perro" o "pájaro"), que suele utilizar la función Softmax.

Sigmoide frente a funciones de activación relacionadas

Comprender Sigmoid a menudo implica compararla con otras funciones de activación:

• ReLU (Unidad lineal rectificada): ReLU emite la entrada directamente si es positiva, y cero en caso contrario. Es computacionalmente más simple y evita el problema del gradiente evanescente para entradas positivas, lo que la convierte en la opción preferida para las capas ocultas de la mayoría de las NN modernas, incluidos muchos modelos YOLO de Ultralytics como YOLOv8. Variantes como Leaky ReLU abordan el problema de la "neurona moribunda" de ReLU.
• Tanh (tangente hiperbólica): Tanh está matemáticamente relacionado con Sigmoid pero aplasta las entradas al rango (-1, 1). Su salida está centrada en cero, lo que a veces puede ayudar con la optimización en comparación con la salida no centrada en cero de Sigmoid (0 a 1). Sin embargo, al igual que Sigmoid, sufre el problema del gradiente evanescente.
• Softmax: Se utiliza en la capa de salida para problemas de clasificación multiclase. A diferencia de Sigmoid (que proporciona probabilidades independientes para tareas binarias o multietiqueta), Softmax genera una distribución de probabilidad en todas las clases, garantizando que las probabilidades sumen 1. Esto lo hace adecuado cuando las clases son mutuamente excluyentes.
• SiLU (Sigmoid Linear Unit) / Swish: Una función de activación más reciente que multiplica la entrada por el Sigmoide de la entrada. A menudo funciona mejor que ReLU en modelos más profundos y se utiliza en arquitecturas como EfficientNet y algunas variantes de YOLO. Demuestra cómo Sigmoid sigue siendo relevante como componente dentro de funciones más nuevas. Consulta la documentación de PyTorch para ver la implementación de SiLU.

Ventajas y limitaciones

Ventajas:

• Interpretación probabilística: El rango de salida (0, 1) es intuitivo para representar probabilidades en clasificación binaria.
• Gradiente suave: A diferencia de las funciones con cambios bruscos (como las funciones escalonadas), Sigmoide tiene una derivada suave y bien definida, lo que facilita el aprendizaje basado en gradientes.

Limitaciones:

• Gradientes decrecientes: Para valores de entrada muy altos o muy bajos, el gradiente de la función sigmoidea se vuelve extremadamente pequeño (cercano a cero). Durante la retropropagación, estos pequeños gradientes pueden multiplicarse a través de muchas capas, haciendo que los gradientes de las capas anteriores desaparezcan, deteniendo efectivamente el aprendizaje. Esta es una de las principales razones por las que es menos favorecida para capas ocultas profundas.
• Salida no centrada en cero: El rango de salida (0, 1) no está centrado en cero. Esto a veces puede ralentizar la convergencia de los algoritmos de descenso de gradiente en comparación con las funciones centradas en cero como Tanh.
• Coste computacional: La operación exponencial implicada hace que sea ligeramente más costosa computacionalmente que funciones más simples como ReLU.

Uso moderno y disponibilidad

Aunque hoy en día es menos común en las capas ocultas de las redes profundas, la sigmoidea sigue siendo una opción estándar para las capas de salida en tareas de clasificación binaria y clasificación multietiqueta. También es un componente esencial de los mecanismos de activación de las redes neuronales recurrentes (RNN), como las LSTM y las GRU, que controlan el flujo de información.

Sigmoid está disponible en las principales marcos de aprendizaje profundoincluyendo PyTorch (como torch.sigmoid) y TensorFlow (como tf.keras.activations.sigmoid). Plataformas como HUB de Ultralytics modelos de apoyo que utilizan diversas funciones de activación, lo que permite a los usuarios tren y despliegue sofisticado visión por ordenador soluciones.