Tanh (Tangente Iperbolica)

La funzione Tanh (tangente iperbolica) è una funzione di attivazione matematica ampiamente utilizzata negli strati nascosti delle reti neurali artificiali. Trasforma i valori di input in un intervallo di output compreso tra -1 e 1, creando una curva a forma di S simile alla funzione sigmoide ma centrata sullo zero. Questa proprietà di centraggio sullo zero è fondamentale perché consente al modello di apprendere in modo più efficiente normalizzando l'output dei neuroni, assicurando che i dati che fluiscono attraverso la rete abbiano una media più vicina allo zero. Gestendo esplicitamente i valori negativi, Tanh aiuta le reti neurali a catturare modelli e relazioni più complessi all'interno dei dati.

Il meccanismo del Tanh nel deep learning

Nell'architettura dei modelli di deep learning, le funzioni di attivazione introducono non linearità, consentendo alla rete di apprendere confini complessi tra diverse classi di dati. Senza funzioni come Tanh, una rete neurale si comporterebbe come un semplice modello di regressione lineare, indipendentemente dal numero di livelli che ha. La funzione Tanh è particolarmente efficace nelle reti neurali ricorrenti (RNN) e in alcuni tipi di reti feed-forward in cui il mantenimento di una distribuzione di attivazione bilanciata e centrata sullo zero aiuta a prevenire il problema del gradiente di scomparsa durante la retropropagazione.

Quando gli input vengono mappati nell'intervallo da -1 a 1, gli input fortemente negativi producono output negativi, mentre gli input fortemente positivi producono output positivi. Ciò differisce dalla funzione sigmoide, che comprime i valori compresi tra 0 e 1. Poiché gli output Tanh sono simmetrici intorno allo zero, il processo di discesa del gradiente spesso converge più rapidamente, poiché i pesi negli strati successivi non si muovono costantemente in una sola direzione (un fenomeno noto come percorso "a zig-zag" nell'ottimizzazione).

Applicazioni nel mondo reale

Tanh continua a svolgere un ruolo fondamentale in architetture e casi d'uso specifici, in particolare dove sono richiesti l'elaborazione di sequenze e la stima continua dei valori.

• Elaborazione del linguaggio naturale (NLP): in architetture come le reti Long Short-Term Memory (LSTM) e le Gated Recurrent Units (GRU), Tanh viene utilizzato come attivazione primaria per regolare il flusso di informazioni. Ad esempio, nelle attività di traduzione automatica in cui un modello traduce un testo English francese, Tanh aiuta i gate interni dell'LSTM a decidere quanta parte del contesto precedente (memoria) conservare o dimenticare. Ciò consente al modello di gestire le dipendenze a lungo termine nelle strutture delle frasi .
• Reti generative avversarie (GAN): nella componente generatrice di molte reti generative avversarie, Tanh è spesso utilizzata come funzione di attivazione finale per il livello di output. Poiché le immagini sono spesso normalizzate in un intervallo compreso tra -1 e 1 durante la pre-elaborazione, l'uso di Tanh garantisce che il generatore produca valori di pixel all'interno dello stesso intervallo valido. Questa tecnica aiuta a sintetizzare immagini realistiche per applicazioni come la generazione di immagini da testo.

Confronto: Tanh vs. Sigmoid vs. ReLU

È utile distinguere Tanh dalle altre funzioni comuni per capire quando utilizzarla.

• Tanh vs. Sigmoid: entrambe sono curve a forma di S. Tuttavia, Sigmoid produce valori compresi tra 0 e 1, che possono causare una scomparsa dei gradienti più rapida rispetto a Tanh. Sigmoid è tipicamente riservato allo strato di output finale dei problemi di classificazione binaria (previsione di probabilità), mentre Tanh è preferito per gli strati nascosti nelle RNN.
• Tanh vs. ReLU (Rectified Linear Unit): Nelle moderne reti neurali convoluzionali (CNN) come YOLO26, ReLU e le sue varianti (come SiLU) sono generalmente preferite rispetto a Tanh per i livelli nascosti. Questo perché ReLU evita il problema del gradiente che svanisce in modo più efficace per reti molto profonde ed è meno costoso dal punto di vista computazionale. Tanh è computazionalmente più costoso a causa dei calcoli esponenziali coinvolti.

Implementazione delle attivazioni in PyTorch

Mentre modelli di alto livello come YOLO26 gestiscono internamente le definizioni di attivazione all'interno dei propri file di configurazione, comprendere come applicare Tanh utilizzando PyTorch è utile per la creazione di modelli personalizzati.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Per gli utenti interessati all'addestramento di architetture personalizzate o alla gestione efficace dei set di dati, Ultralytics offre un ambiente semplificato per sperimentare diversi iperparametri dei modelli, visualizzare le metriche di addestramento e implementare soluzioni senza dover codificare manualmente ogni livello della rete neurale.