Activation Function

Eine Aktivierungsfunktion ist die Funktion, die ein Neuron in einem neuronalen Netz (NN) auf die gewichtete Summe seiner Eingaben anwendet, um eine Ausgabe zu erzeugen. Ihre wesentliche Aufgabe ist es, Nichtlinearität hinzuzufügen: Ohne sie lässt sich jede Schichtenfolge zu einer einzigen linearen Transformation zusammenfassen, sodass zusätzliche Tiefe nichts bewirkt. Mit ihr kann ein Netzwerk gekrümmte Entscheidungsgrenzen darstellen, etwa die Striche handschriftlicher Ziffern oder den Umriss eines Fußgängers im Kamerabild. Aktivierungsfunktionen haben zwei Aufgaben. In verborgenen Schichten helfen Funktionen wie ReLU, SiLU und GELU dem Netzwerk, Merkmale zu bilden. In der Ausgabeschicht wandeln Funktionen wie Sigmoid und Softmax rohe Bewertungen in Wahrscheinlichkeiten um.

Warum Netzwerke Nichtlinearität benötigen#

Eine Schicht ohne Aktivierungsfunktion berechnet Wx + b. Zwei solche Schichten ergeben W₂(W₁x + b₁) + b₂, was gleich (W₂W₁)x + (W₂b₁ + b₂) ist – also einer weiteren einzelnen linearen Schicht. Eine Aktivierungsfunktion zwischen den Schichten verhindert diese Zusammenfassung. Der Universalapproximationstheorem zeigt, dass eine verborgene Schicht mit genügend nichtlinearen Einheiten jede stetige Funktion auf einem beschränkten Bereich annähern kann.

Die Ableitung der Aktivierungsfunktion ist ebenso wichtig wie ihre Form, denn Backpropagation multipliziert diese Ableitungen Schicht für Schicht miteinander. Die Ableitung der Sigmoidfunktion ist nie größer als 0,25, und die Ableitung von tanh nähert sich bei großen Eingaben null. Daher werden Gradienten beim Durchlaufen vieler sättigender Schichten immer kleiner – das Problem verschwindender Gradienten. Bei positiven Eingaben ist die Ableitung von ReLU genau 1. Das ist ein Hauptgrund dafür, dass sich sehr tiefe Netzwerke praktisch trainieren lassen.

Gängige Aktivierungsfunktionen#

• ReLU: max(0, x). Rechenarm, mit einer Ableitung von 1 bei positiven Eingaben und exakt null bei negativen. Seit AlexNet im Jahr 2012 ist ReLU die Standardaktivierung in verborgenen Schichten von CNNs. Einheiten, die immer nur negative Eingaben erhalten, hören jedoch auf zu lernen.
• Leaky ReLU: Multipliziert negative Eingaben mit einer kleinen Steigung wie 0,01 oder 0,1, damit für jede Einheit ein Gradient erhalten bleibt.
• SiLU (Swish): x · σ(x), eine glatte Kurve, die bei negativen Eingaben leicht unter null fällt. Die Funktion kommt häufig in effizienten CNNs und Echtzeitdetektoren zum Einsatz.
• GELU: x · Φ(x), wobei Φ die Verteilungsfunktion der Standardnormalverteilung ist. Sie ist die Standardaktivierung in BERT, GPT-2 und Vision-Transformern.
• Tanh: Staucht Eingaben auf den Bereich von −1 bis 1 um den Nullpunkt zusammen. Die Funktion formt den verborgenen Zustand rekurrenter Netzwerke wie GRU.
• Sigmoid: Staucht Eingaben auf den Bereich von 0 bis 1 zusammen. Das eignet sich für binäre und Mehrfachlabel-Ausgaben sowie für die Gates rekurrenter Zellen.
• Softmax: Wandelt einen ganzen Vektor von Bewertungen in eine Wahrscheinlichkeitsverteilung um, deren Summe 1 beträgt. Das eignet sich für Klassifizierung mit genau einem Label und für Aufmerksamkeitsgewichte.
• SwiGLU: Eine gated Schicht, die eine SiLU-aktivierte Projektion mit einer zweiten, gelernten Projektion multipliziert. Sie hat die einfache Aktivierung in den Feedforward-Schichten vieler neuerer großer Sprachmodelle (LLMs) ersetzt.

PyTorch stellt jede elementweise Funktion als Modul in torch.nn bereit. So lassen sich die Funktionen einfach anhand derselben Eingaben vergleichen:

import torch
from torch import nn

x = torch.tensor([-3.0, -1.0, 0.0, 1.0, 3.0])

# Common activations, each applied element-wise to the same inputs
activations = {
    "ReLU": nn.ReLU(),
    "Leaky ReLU": nn.LeakyReLU(0.1),
    "SiLU": nn.SiLU(),
    "GELU": nn.GELU(),
    "Tanh": nn.Tanh(),
    "Sigmoid": nn.Sigmoid(),
}
for name, act in activations.items():
    print(f"{name:>10}: {[round(v, 3) for v in act(x).tolist()]}")

Bei den Eingaben −3, −1, 0, 1 und 3 gibt ReLU [0.0, 0.0, 0.0, 1.0, 3.0] und Leaky ReLU [-0.3, -0.1, 0.0, 1.0, 3.0] aus. SiLU ergibt [-0.142, -0.269, 0.0, 0.731, 2.858] und GELU [-0.004, -0.159, 0.0, 0.841, 2.996]: Beide lassen kleine negative Werte durch und nähern sich bei großen Eingaben ReLU an. Tanh ergibt [-0.995, -0.762, 0.0, 0.762, 0.995] und Sigmoid [0.047, 0.269, 0.5, 0.731, 0.953]. Beide flachen bei ±3 ab, wo ihre Gradienten bereits klein sind.

Eine Aktivierungsfunktion auswählen#

Für verborgene Schichten gilt gewöhnlich die Konvention der jeweiligen Architektur. Die Ausgabeschicht richtet sich nach der Aufgabe. Softmax eignet sich für Aufgaben, bei denen jede Eingabe genau einer Klasse angehört. Sigmoid eignet sich für Labels, die gemeinsam auftreten können. Bei Regressionsausgaben wird keine Aktivierungsfunktion verwendet, damit sie jeden beliebigen Wert annehmen können. Auch die Hardware kann die Auswahl einschränken: Manche Edge-Beschleuniger unterstützen nativ nur einfache Funktionen wie ReLU, Leaky ReLU und Hard-Swish. YOLO26 wendet nach der Faltung und der Stapelnormalisierung in jedem Conv-Block SiLU an. Die Bewertung jeder Erkennungsklasse wird mit einer eigenen Sigmoidfunktion berechnet, sodass die Klassenbewertungen eines Rahmens nicht zu 1 summieren müssen. In seinen Klassifizierungsmodellen wendet YOLO26 Softmax auf die 1.000 ImageNet-Klassen an.

Aktivierungsfunktionen und verwandte Begriffe#

• Verlustfunktion: Die Aktivierungsfunktion formt die Ausgabe jedes Neurons während des Forward-Passes. Die Verlustfunktion bewertet die endgültige Vorhersage des Netzwerks anhand des Labels. Bibliotheken fassen die letzte Aktivierung häufig aus Gründen der numerischen Stabilität mit der Verlustfunktion zusammen, wie CrossEntropyLoss es mit Softmax tut.
• Stapel-Normalisierung: Die Stapel- oder Schichtnormalisierung skaliert Aktivierungen anhand von Statistiken und gelernten Parametern auf einen stabilen Wertebereich. Sie befindet sich neben der Aktivierungsfunktion, normalerweise direkt davor, und fügt selbst keine Nichtlinearität hinzu.
• Aktivierungen: Als Mehrzahl bezeichnet der Begriff die Ausgabewerte einer Schicht. „Nichtlinearität“ und der ältere Begriff „Transferfunktion“ sind Synonyme für Aktivierungsfunktion. Während des Trainings speichern Frameworks die Aktivierungen jeder Schicht für den Rückwärtsdurchlauf im Speicher. Deshalb spart Gradienten-Checkpointing Speicher, indem es einige Aktivierungen verwirft und sie während der Backpropagation erneut berechnet.