Tanh (Hyperbolic Tangent)

La funzione Tanh (tangente iperbolica) è una funzione di attivazione matematica ampiamente utilizzata negli strati nascosti delle reti neurali artificiali. Trasforma i valori di input in un intervallo di output compreso tra -1 e 1, creando una curva a forma di S simile alla funzione sigmoide ma centrata sullo zero. Questa proprietà di centratura sullo zero è fondamentale perché consente al modello di apprendere in modo più efficiente normalizzando l'output dei neuroni, assicurando che i dati che fluiscono attraverso la rete abbiano una media più vicina allo zero. Gestendo esplicitamente i valori negativi, Tanh aiuta le reti neurali a catturare pattern e relazioni più complessi all'interno dei dati.

Il meccanismo di Tanh nel deep learning#

Nell'architettura dei modelli di deep learning, le funzioni di attivazione introducono la non linearità, consentendo alla rete di apprendere confini complessi tra diverse classi di dati. Senza funzioni come Tanh, una rete neurale si comporterebbe come un semplice modello di regressione lineare, indipendentemente dal numero di strati di cui dispone. La funzione Tanh è particolarmente efficace nelle reti neurali riccorrenti (RNN) e in determinati tipi di reti feed-forward in cui il mantenimento di una distribuzione di attivazione bilanciata e centrata sullo zero aiuta a prevenire il problema del gradiente svanente durante la retropropagazione.

Quando gli input vengono mappati nell'intervallo da -1 a 1, gli input fortemente negativi producono output negativi e gli input fortemente positivi producono output positivi. Questo differisce dalla funzione Sigmoid, che comprime i valori tra 0 e 1. Poiché gli output di Tanh sono simmetrici rispetto allo zero, il processo di discesa del gradiente converge spesso più rapidamente, poiché i pesi negli strati successivi non si muovono costantemente in un'unica direzione (un fenomeno noto come percorso a "zig-zag" nell'ottimizzazione).

Applicazioni nel mondo reale#

Tanh continua a svolgere un ruolo vitale in architetture e casi d'uso specifici, in particolare dove sono richiesti l'elaborazione di sequenze e la stima di valori continui.

• Elaborazione del linguaggio naturale (NLP): In architetture come le reti Long Short-Term Memory (LSTM) e le Gated Recurrent Units (GRU), Tanh viene utilizzata come attivazione primaria per regolare il flusso di informazioni. Ad esempio, in attività di traduzione automatica in cui un modello traduce il testo dall'inglese al francese, Tanh aiuta i gate interni dell'LSTM a decidere quanta parte del contesto precedente (memoria) mantenere o dimenticare. Ciò consente al modello di gestire dipendenze a lungo termine nelle strutture delle frasi.
• Reti generative avversariali (GAN): Nel componente generatore di molte reti generative avversariali, Tanh viene spesso utilizzata come funzione di attivazione finale per lo strato di output. Poiché le immagini vengono spesso normalizzate in un intervallo da -1 a 1 durante la preelaborazione, l'uso di Tanh garantisce che il generatore produca valori di pixel all'interno dello stesso intervallo valido. Questa tecnica aiuta a sintetizzare immagini realistiche per applicazioni come la generazione da testo a immagine.

Confronto: Tanh vs. Sigmoid vs. ReLU#

È utile distinguere Tanh da altre funzioni comuni per capire quando utilizzarla.

• Tanh vs. Sigmoid: Entrambe sono curve a forma di S. Tuttavia, Sigmoid restituisce valori compresi tra 0 e 1, il che può causare la svanizione dei gradienti più rapidamente rispetto a Tanh. Sigmoid è tipicamente riservata allo strato di output finale di problemi di classificazione binaria (previsione della probabilità), mentre Tanh è preferita per gli strati nascosti nelle RNN.
• Tanh vs. ReLU (Rectified Linear Unit): Nelle moderne reti neurali convoluzionali (CNN) come YOLO26, ReLU e le sue varianti (come SiLU) sono generalmente preferite a Tanh per gli strati nascosti. Questo perché ReLU evita il problema del gradiente svanente in modo più efficace per reti molto profonde ed è computazionalmente più economica da calcolare. Tanh è computazionalmente più costosa a causa dei calcoli esponenziali coinvolti.

Implementazione delle attivazioni in PyTorch#

Anche se i modelli di livello superiore come Ultralytics YOLO26 gestiscono le definizioni di attivazione internamente nei propri file di configurazione, capire come applicare Tanh utilizzando PyTorch è utile per la creazione di modelli personalizzati.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Per gli utenti interessati ad addestrare architetture personalizzate o a gestire i dataset in modo efficace, la Ultralytics Platform offre un ambiente ottimizzato per sperimentare diversi iperparametri del modello, visualizzare le metriche di addestramento e distribuire soluzioni senza dover programmare manualmente ogni strato della rete neurale.