Tanh (Hyperbolischer Tangens)

Tanh (Hyperbolischer Tangens) ist eine häufig verwendete Aktivierungsfunktion in neuronalen Netzen. Es handelt sich um eine mathematische Funktion, die Eingabewerte in einen Bereich zwischen -1 und 1 zerlegt. Optisch erzeugt sie eine "S"-förmige Kurve, ähnlich der Sigmoid-Funktion. Ihr Hauptmerkmal ist, dass ihre Ausgabe null-zentriert ist, was bedeutet, dass negative Eingaben auf negative Ausgaben und positive Eingaben auf positive Ausgaben abgebildet werden. Diese Eigenschaft kann dazu beitragen, die Konvergenz von Optimierungsalgorithmen wie dem Gradientenabstieg während des Modelltrainings zu beschleunigen.

Wie Tanh funktioniert

In einem Deep-Learning-Modell entscheidet eine Aktivierungsfunktion darüber, ob ein Neuron aktiviert werden soll oder nicht, indem sie eine gewichtete Summe berechnet und eine Verzerrung dazu addiert. Die Tanh-Funktion nimmt eine beliebige reellwertige Zahl und ordnet sie dem Bereich [-1, 1] zu. Große positive Werte werden in der Nähe von 1 abgebildet, große negative Werte in der Nähe von -1, und Werte nahe Null werden auf Werte um Null herum abgebildet. Diese Nullzentrierung ist ein großer Vorteil, da sie dazu beiträgt, dass sich die Ausgaben der Schichten nicht zu sehr in eine Richtung verschieben, was das Training stabiler machen kann. Für eine eingehende technische Erklärung bieten Ressourcen von Institutionen wie Stanford detaillierte Kursnotizen zu Aktivierungsfunktionen.

Vergleich mit anderen Aktivierungsfunktionen

Tanh wird oft mit anderen Aktivierungsfunktionen verglichen, die jeweils ihre eigenen Stärken und Schwächen haben:

• Tanh vs. Sigmoid: Beide Funktionen haben eine ähnliche S-Form. Allerdings gibt die Sigmoid-Funktion Werte im Bereich aus, während Tanh Werte im Bereich [-1, 1] ausgibt. Da die Ausgabe von Tanh null-zentriert ist, wird sie in den versteckten Schichten eines Netzes oft gegenüber Sigmoid bevorzugt, da sie tendenziell zu einer schnelleren Konvergenz führt.
• Tanh vs. ReLU: ReLU und seine Varianten, wie Leaky ReLU und SiLU, sind in vielen modernen Computer-Vision-Architekturen zur Standardwahl geworden. Im Gegensatz zu Tanh ist ReLU nicht rechenintensiv und hilft, das Problem des verschwindenden Gradienten, bei dem die Gradienten während der Backpropagation extrem klein werden, zu entschärfen. Tanh ist jedoch in bestimmten Kontexten, in denen eine begrenzte Ausgabe erforderlich ist, immer noch wertvoll. Sie können die Verwendung moderner Aktivierungsfunktionen in Modellen wie Ultralytics YOLO11 sehen.

Anwendungen in KI und maschinellem Lernen

Tanh ist seit jeher eine beliebte Wahl, insbesondere in:

• Rekurrente neuronale Netze (RNNs): Tanh wurde häufig in den verborgenen Zuständen von RNNs und Varianten wie Long Short-Term Memory (LSTM) Netzwerken verwendet, insbesondere für Aufgaben in der natürlichen Sprachverarbeitung (NLP). Sein begrenzter Bereich hilft bei der Regulierung des Informationsflusses innerhalb der rekurrenten Verbindungen. Siehe LSTMs verstehen für weitere Details.
• Stimmungsanalyse: In älteren NLP-Modellen half Tanh dabei, aus Text extrahierte Merkmale (z. B. von einem RNN verarbeitete Worteinbettungen) einem kontinuierlichen Bereich zuzuordnen, der die Stimmungspolarität von negativ (-1) bis positiv (+1) darstellt. Sie können relevante Datensätze für die Stimmungsanalyse auf Plattformen wie Kaggle finden.
• Steuerungssysteme und Robotik: Beim Reinforcement Learning (RL) wird Tanh manchmal als endgültige Aktivierungsfunktion für Strategien verwendet, die kontinuierliche Aktionen innerhalb eines bestimmten Bereichs ausgeben (z. B. die Steuerung des Motordrehmoments zwischen -1 und +1). Frameworks wie Gymnasium (ehemals OpenAI Gym) werden häufig in der RL-Forschung eingesetzt.
• Versteckte Schichten: Sie kann in den verborgenen Schichten von Feedforward-Netzen verwendet werden, obwohl ReLU-Varianten inzwischen häufiger anzutreffen sind. Sie kann gewählt werden, wenn die nullzentrierte Eigenschaft für das spezifische Problem oder die Architektur besonders vorteilhaft ist. Sie können die Leistung der verschiedenen Architekturen auf unseren Modellvergleichsseiten untersuchen.

Auch wenn moderne Architekturen wie Ultralytics YOLO häufig Funktionen wie SiLU für Aufgaben wie die Objekterkennung verwenden, ist das Verständnis von Tanh weiterhin wertvoll. Es bietet einen Kontext für die Entwicklung von Aktivierungsfunktionen und kann in bestimmten Netzwerkdesigns oder Legacy-Systemen immer noch vorkommen. Frameworks wie PyTorch und TensorFlow bieten Standardimplementierungen von Tanh. Mit Plattformen wie Ultralytics HUB können Sie mit verschiedenen Aktivierungsfunktionen trainieren und experimentieren. Die Website Papers with Code listet auch Forschungsarbeiten auf, die Tanh verwenden.