Tanh (Tangens Hyperbolicus)

Tanh (hyperbolische Tangente) ist eine mathematische Funktion, die häufig als nichtlineare Aktivierungsfunktion in den versteckten Schichten von neuronalen Netzen verwendet wird. Ihr Hauptzweck besteht darin, Nichtlinearität in das Modell einzuführen, damit es komplexe Muster und Beziehungen innerhalb von Daten lernen kann, die ein einfaches lineares Modell nicht erfassen kann. Die Tanh-Funktion nimmt jede reelle Eingabe und komprimiert sie in einen Bereich zwischen -1 und 1. Diese „nullzentrierte” Ausgabe ist ein wesentliches Merkmal, das sie von anderen Funktionen wie der Sigmoid-Funktion unterscheidet. Sie hilft dabei, die Daten für nachfolgende Schichten zu zentrieren, was häufig zu einer schnelleren Konvergenz in den Anfangsphasen des Modelltrainings führt.

Die Mechanik von Tanh

Im Kern transformiert die Tanh-Funktion Eingaben, indem sie negative Werte auf negative Ausgaben und positive Werte auf positive Ausgaben abbildet, wobei die Übergänge in der Nähe von Null geglättet werden. Dadurch entsteht eine S-förmige Kurve, die der Sigmoid-Funktion ähnelt , jedoch vertikal gestreckt ist, um den Bereich [-1, 1] abzudecken. Da die Ausgabe auf Null zentriert ist, können sich die Gradienten (Signale, die zur Aktualisierung des Netzwerks verwendet werden) während der Rückpropagation freier in positive und negative Richtungen bewegen. Diese Eigenschaft hilft, das „Zick-Zack”-Optimierungsverhalten zu verhindern, das häufig bei streng positiven Aktivierungsfunktionen auftritt, was zu effizienterem Lernen in vielen Deep-Learning-Architekturen (DL) führt.

Wie Sigmoid ist jedoch auch Tanh anfällig für das Problem des verschwindenden Gradienten. Wenn die Eingaben sehr groß oder sehr klein sind, sättigt sich die Funktion bei 1 oder -1, wodurch die Gradienten nahezu Null werden. Dies kann das Training sehr tiefer Netzwerke zum Stillstand bringen, weshalb moderne Architekturen wie YOLO26 häufig Funktionen wie ReLU (Rectified Linear Unit) oder SiLU für versteckte Schichten bevorzugen und Tanh für spezifische Anwendungsfälle reservieren, in denen begrenzte Ausgaben erforderlich sind.

Anwendungsfälle in der Praxis

Trotz der Popularität neuerer Aktivierungsfunktionen bleibt Tanh ein wichtiger Bestandteil in bestimmten Bereichen der künstlichen Intelligenz (KI).

1. Rekursive neuronale Netze (RNNs) und NLP:Bei sequenziellen Datenverarbeitungsaufgaben wie der natürlichen Sprachverarbeitung (NLP) ist Tanh die Standardaktivierungsfunktion für den internen Zustand von rekursiven neuronalen Netzen (RNNs) und Long Short-Term Memory (LSTM)-Einheiten . Sie reguliert den Informationsfluss und stellt sicher, dass die im Speicher des Netzwerks gespeicherten Werte nicht explodieren, wenn sie über viele Zeitschritte hinweg aktualisiert werden. Diese Stabilität ist für Aufgaben wie maschinelle Übersetzung oder Textgenerierung unerlässlich.

2. Generative Adversarial Networks (GANs):Tanh wird häufig in der Ausgabeschicht des Generators in Generative Adversarial Networks (GANs) verwendet. Durch die Skalierung der Pixelwerte der generierten Bilder auf den Bereich [-1, 1] entspricht es der Vorverarbeitung, die häufig auf echte Trainingsbilder angewendet wird. Diese Angleichung trägt zur Stabilisierung der adversarialen Trainingsdynamik zwischen dem Generator und dem Diskriminator bei, die Sie in der Grundlagenforschung zu DCGANs untersuchen können.

Vergleich mit verwandten Funktionen

Um zu verstehen, wann man Tanh wählen sollte, muss man es mit anderen gängigen Aktivierungen vergleichen, die im Glossar zu finden sind.

• Tanh vs. Sigmoid: Beide haben zwar eine ähnliche S-Form, aber Sigmoid gibt Werte zwischen 0 und 1 aus. Tanh wird im Allgemeinen für versteckte Schichten bevorzugt, da seine nullzentrierte Ausgabe Bias-Verschiebungen in den Gradienten verhindert. Sigmoid ist jedoch nach wie vor die erste Wahl für die letzte Ausgabeschicht bei binären Klassifizierungsaufgaben, bei denen eine Wahrscheinlichkeit benötigt wird.
• Tanh vs. ReLU: ReLU löst das Sättigungsproblem, indem es die Eingabe direkt ausgibt, wenn sie positiv ist, und andernfalls Null. Dadurch ist ReLU rechnerisch schneller und besser für Deep-Learning-Modelle im Bereich Computer Vision (CV) wie YOLO11 und YOLO26, bei denen die Vermeidung von verschwindenden Gradienten Vorrang vor begrenzten Ausgaben hat.

Python

Sie können das Verhalten der Tanh-Funktion ganz einfach mit PyTorch. Der folgende Ausschnitt zeigt, wie Tanh Eingaben in den Bereich [-1, 1] abbildet, im Gegensatz zu ReLU, das negative Werte auf Null beschneiden würde.

import torch
import torch.nn as nn

# Define the Tanh activation function
tanh = nn.Tanh()

# Create sample data with negative and positive values
data = torch.tensor([-5.0, -1.0, 0.0, 1.0, 5.0])

# Apply Tanh to the data
output = tanh(data)

# Print results to see the squashing effect
print(f"Input:  {data}")
print(f"Output: {output}")
# Output values will be between -1 and 1

Während modernste Objekterkennungsmodelle im Allgemeinen auf unbegrenzte Funktionen zur Merkmalsextraktion zurückgreifen, bleibt die Tanh-Funktion ein unverzichtbares Werkzeug im breiteren Werkzeugkasten eines Deep-Learning-Ingenieurs, insbesondere für Sequenz-zu-Sequenz-Modelle und spezifische generative Aufgaben.