Tanh (Tangens Hyperbolicus)

Tanh (Tangens Hyperbolicus) ist eine weit verbreitete Aktivierungsfunktion in neuronalen Netzen. Es handelt sich um eine mathematische Funktion, die Eingangswerte in einen Bereich zwischen -1 und 1 quetscht. Visuell erzeugt sie eine "S"-förmige Kurve, ähnlich der Sigmoid-Funktion. Ihr Hauptmerkmal ist, dass ihr Ausgangswert nullzentriert ist, was bedeutet, dass negative Eingaben auf negative Ausgaben und positive Eingaben auf positive Ausgaben abgebildet werden. Diese Eigenschaft kann dazu beitragen, die Konvergenz von Optimierungsalgorithmen wie Gradientenabstieg während des Modelltrainings zu beschleunigen.

Wie Tanh funktioniert

In einem Deep-Learning-Modell entscheidet eine Aktivierungsfunktion, ob ein Neuron aktiviert werden soll oder nicht, indem sie eine gewichtete Summe berechnet und zusätzlich einen Bias hinzufügt. Die Tanh-Funktion nimmt eine beliebige reelle Zahl und bildet sie auf den Bereich [-1, 1] ab. Große positive Werte werden nahe an 1 abgebildet, große negative Werte nahe an -1 und Werte nahe Null werden auf Werte um Null abgebildet. Diese Nullzentrierung ist ein wesentlicher Vorteil, da sie dazu beiträgt, dass die Ausgaben von Schichten nicht zu weit in eine Richtung verschoben werden, was das Training stabiler machen kann. Für eine detaillierte technische Erklärung bieten Ressourcen von Institutionen wie Stanford detaillierte Kursunterlagen zu Aktivierungsfunktionen.

Vergleich mit anderen Aktivierungsfunktionen

Tanh wird oft mit anderen Aktivierungsfunktionen verglichen, von denen jede ihre eigenen Stärken und Schwächen hat:

• Tanh vs. Sigmoid: Beide Funktionen haben eine ähnliche S-Form. Die Sigmoid-Funktion gibt jedoch Werte im Bereich aus, während Tanh Werte in [-1, 1] ausgibt. Da die Ausgabe von Tanh nullzentriert ist, wird sie in den verborgenen Schichten eines Netzwerks oft Sigmoid vorgezogen, da sie tendenziell zu einer schnelleren Konvergenz führt.
• Tanh vs. ReLU: ReLU und seine Varianten wie Leaky ReLU und SiLU sind in vielen modernen Computer Vision-Architekturen zur Standardwahl geworden. Im Gegensatz zu Tanh ist ReLU nicht rechenaufwendig und hilft, das Verschwindende-Gradienten-Problem zu mildern, bei dem Gradienten während der Backpropagation extrem klein werden. Tanh ist jedoch in bestimmten Kontexten, in denen eine begrenzte Ausgabe erforderlich ist, immer noch wertvoll. Sie können die Verwendung moderner Aktivierungsfunktionen in Modellen wie Ultralytics YOLO11 sehen.

Anwendungen in KI und maschinellem Lernen

Tanh war historisch gesehen eine beliebte Wahl, insbesondere in:

• Rekurrenten neuronalen Netzen (RNNs): Tanh wurde häufig in den verborgenen Zuständen von RNNs und Varianten wie Long Short-Term Memory (LSTM)-Netzwerken verwendet, insbesondere für Aufgaben in der natürlichen Sprachverarbeitung (NLP). Sein begrenzter Bereich hilft, den Informationsfluss innerhalb der rekurrenten Verbindungen zu regulieren. Weitere Informationen finden Sie unter Understanding LSTMs.
• Sentimentanalyse: In älteren NLP-Modellen half Tanh, aus Text extrahierte Merkmale (z. B. Word Embeddings, die von einem RNN verarbeitet wurden) auf einen kontinuierlichen Bereich abzubilden, der die Stimmungspolarität von negativ (-1) bis positiv (+1) darstellt. Sie finden relevante Datensätze für die Sentimentanalyse auf Plattformen wie Kaggle.
• Steuerungssysteme und Robotik: Im Reinforcement Learning (RL) wird Tanh manchmal als finale Aktivierungsfunktion für Policies verwendet, die kontinuierliche Aktionen ausgeben, die innerhalb eines bestimmten Bereichs begrenzt sind (z. B. Steuerung des Motordrehmoments zwischen -1 und +1). Frameworks wie Gymnasium (ehemals OpenAI Gym) werden häufig in der RL-Forschung eingesetzt.
• Verborgene Schichten: Es kann in den verborgenen Schichten von Feedforward-Netzwerken verwendet werden, obwohl ReLU-Varianten inzwischen häufiger vorkommen. Es kann gewählt werden, wenn die Nullzentrierung für das spezifische Problem oder die Architektur besonders vorteilhaft ist. Sie können die Leistung verschiedener Architekturen auf unseren Modellvergleichsseiten untersuchen.

Während moderne Architekturen wie Ultralytics YOLO oft Funktionen wie SiLU für Aufgaben wie die Objekterkennung verwenden, bleibt das Verständnis von Tanh wertvoll. Es bietet einen Kontext für die Entwicklung von Aktivierungsfunktionen und kann immer noch in bestimmten Netzwerkdesigns oder Legacy-Systemen vorkommen. Frameworks wie PyTorch und TensorFlow bieten Standardimplementierungen von Tanh. Sie können mit verschiedenen Aktivierungsfunktionen experimentieren und diese mit Plattformen wie Ultralytics HUB trainieren. Die Website Papers with Code listet auch Forschungsergebnisse auf, die Tanh verwenden.