Sigmoid

Die Sigmoid-Funktion ist eine beliebte Aktivierungsfunktion, die beim maschinellen Lernen (ML) und Deep Learning (DL) verwendet wird. Es handelt sich um eine mathematische Funktion, die eine charakteristische "S"-förmige oder sigmoidale Kurve erzeugt. Ihr Hauptzweck besteht darin, eine beliebige reelle Zahl in einen Bereich zwischen 0 und 1 zu "quetschen". Diese Ausgabe wird oft als Wahrscheinlichkeit interpretiert, wodurch Sigmoid besonders nützlich in Modellen ist, bei denen das Ziel darin besteht, die Wahrscheinlichkeit eines Ergebnisses vorherzusagen. Durch die Einführung von Nichtlinearität in ein neuronales Netz (NN) kann das Modell komplexe Muster aus Daten lernen, was mit einfachen linearen Transformationen nicht möglich wäre.

Rolle und Anwendungen

Die Fähigkeit der Sigmoid-Funktion, Eingaben auf eine wahrscheinlichkeitsähnliche Ausgabe abzubilden, macht sie zu einem Eckpfeiler für bestimmte Arten von Aufgaben. Während sie in den verborgenen Schichten moderner tiefer neuronaler Netze seltener geworden ist, bleibt sie in bestimmten Szenarien eine Standardwahl für die Ausgabeschicht.

Wichtige Anwendungen

• Binäre Klassifizierung: Bei binären Klassifizierungsproblemen besteht das Ziel darin, eine Eingabe in eine von zwei Klassen zu kategorisieren (z. B. Spam oder kein Spam, Krankheit vorhanden oder nicht vorhanden). Eine Sigmoid-Funktion in der Ausgabeschicht liefert einen einzelnen Wert zwischen 0 und 1, der die Wahrscheinlichkeit darstellt, dass die Eingabe zur positiven Klasse gehört. Ein medizinisches Bildanalysemodell könnte z. B. Sigmoid verwenden, um eine Wahrscheinlichkeit von 0,9 auszugeben, was eine 90-prozentige Wahrscheinlichkeit angibt, dass ein Tumor bösartig ist.
• Multi-Label-Klassifizierung: Im Gegensatz zur Mehrklassen-Klassifizierung, bei der eine Eingabe nur einer Klasse zugeordnet wird, kann eine Eingabe bei Multi-Label-Aufgaben gleichzeitig mit mehreren Labels assoziiert werden. Ein Objekterkennungsmodell wie Ultralytics YOLO könnte zum Beispiel ein Bild analysieren und gleichzeitig ein "Auto", einen "Fußgänger" und eine "Ampel" erkennen. In diesem Fall wird auf jedes Ausgangsneuron unabhängig eine Sigmoid-Funktion angewendet, die die Wahrscheinlichkeit für jede mögliche Bezeichnung angibt. Sie können mehr über die Entwicklung der Objekterkennung erfahren.
• Gating-Mechanismen in RNNs: Sigmoid-Funktionen sind eine Kernkomponente in den Gating-Mechanismen rekurrenter neuronaler Netze (RNNs), wie Long Short-Term Memory (LSTM) und Gated Recurrent Units (GRU). Diese Gates verwenden Sigmoid, um den Informationsfluss zu steuern und zu entscheiden, welche Daten bei jedem Schritt zu behalten oder zu verwerfen sind. Dieser Mechanismus ist entscheidend für das Erlernen langfristiger Abhängigkeiten in sequentiellen Daten, wie in diesem ausführlichen Blogbeitrag zum Verständnis von LSTMs erläutert wird.

Vergleich mit anderen Aktivierungsfunktionen

Es ist wichtig, die Sigmoid-Funktion von anderen Aktivierungsfunktionen zu unterscheiden, um zu verstehen, wann sie verwendet werden sollte.

• Softmax: Die Softmax-Funktion wird in der Regel für Klassifizierungsprobleme mit mehreren Klassen verwendet, bei denen jede Eingabe zu genau einer von mehreren möglichen Klassen gehört. Im Gegensatz zu Sigmoid, das unabhängige Wahrscheinlichkeiten für jede Ausgabe berechnet, berechnet Softmax eine Wahrscheinlichkeitsverteilung über alle Klassen, die sich zu 1 summiert. Beispielsweise würde ein Modell, das handgeschriebene Ziffern aus dem MNIST-Datensatz klassifiziert, Softmax verwenden, um jeder Ziffer von 0 bis 9 eine einzige Wahrscheinlichkeit zuzuordnen.
• ReLU (Rektifizierte Lineareinheit): ReLU hat sich zum De-facto-Standard für versteckte Schichten in tiefen Netzen entwickelt. Sie ist rechnerisch effizienter und trägt dazu bei, das Problem des verschwindenden Gradienten zu entschärfen - ein erhebliches Problem bei Sigmoid, bei dem die Gradienten während der Backpropagation extrem klein werden und den Lernprozess verlangsamen oder zum Stillstand bringen. Weitere Informationen zu den Herausforderungen von Gradienten finden Sie in diesem DeepLearning.AI-Artikel.
• SiLU (Sigmoid Linear Unit): SiLU, auch bekannt als Swish, ist eine modernere, von Sigmoid abgeleitete Aktivierungsfunktion. Sie schneidet bei tieferen Modellen, einschließlich fortgeschrittener Computer-Vision-Architekturen, oft besser ab als ReLU. Ultralytics-Modelle nutzen oft erweiterte Aktivierungsfunktionen, um ein besseres Gleichgewicht zwischen Geschwindigkeit und Genauigkeit zu erreichen.

Moderne Nutzung und Verfügbarkeit

Auch wenn Sigmoid heute bei versteckten Schichten weniger verbreitet ist, bleibt es eine Standardwahl für Ausgabeschichten bei binären und mehrstufigen Klassifizierungsaufgaben. Es bildet auch eine Kernkomponente in Gating-Mechanismen innerhalb komplexer Architekturen, die sequentielle Daten verarbeiten.

Sigmoid ist in allen wichtigen Ländern erhältlich. Deep-Learning-Frameworks, einschließlich PyTorch (als torch.sigmoid) und TensorFlow (als tf.keras.activations.sigmoid). Plattformen wie Ultralytics HUB unterstützen Modelle mit verschiedenen Aktivierungsfunktionen, so dass die Benutzer Zug und einsetzen. hochentwickelte Computer-Vision-Lösungen.