Neural Network (NN)

Ein neuronales Netz (NN), auch künstliches neuronales Netz (ANN) genannt, ist ein Modell des maschinellen Lernens (ML), das aus Schichten einfacher, verbundener Einheiten besteht, den sogenannten Neuronen. Jedes Neuron multipliziert seine Eingaben mit Gewichten, addiert einen Bias und leitet die Summe durch eine nichtlineare Aktivierungsfunktion. Das Netzwerk lernt, indem es diese Gewichte und Bias-Werte so anpasst, dass seine Ausgaben den Beispielen in den Trainingsdaten entsprechen. Sein Verhalten wird also aus Daten gelernt. Der Entwurf orientiert sich lose an biologischen Neuronen, doch moderne Netzwerke lassen sich am besten als große trainierbare mathematische Funktionen verstehen. Netzwerke mit vielen Schichten sind Gegenstand des Deep Learning (DL) und bilden die Grundlage für Computer Vision, Spracherkennung und große Sprachmodelle (LLMs).

So berechnet ein neuronales Netz Ergebnisse#

Neuronen sind in Schichten organisiert. Die Eingabeschicht empfängt Daten wie Pixelwerte oder Sensormesswerte. Eine oder mehrere verborgene Schichten transformieren diese Daten, und die Ausgabeschicht erstellt die Vorhersage, etwa Klassenwerte oder einen vorhergesagten Wert. In einer vollständig verbundenen Schicht empfängt jedes Neuron sämtliche Ausgaben der vorherigen Schicht. Die gesamte Schicht entspricht daher einer Matrixmultiplikation, auf die eine elementweise Aktivierung folgt. Die Daten nacheinander durch alle Schichten zu leiten, bezeichnet man als Vorwärtsdurchlauf. Erst die Aktivierung macht die Tiefe nützlich: Ohne sie würden gestapelte Schichten zu einer einzigen linearen Funktion zusammenfallen. Mit ihr kann ein Netzwerk mit einer einzigen, ausreichend breiten verborgenen Schicht jede stetige Funktion mit beliebiger Genauigkeit annähern. Dieses Ergebnis ist als Universalapproximationstheorem bekannt.

Das folgende PyTorch-Beispiel berechnet zunächst ein Neuron von Hand und anschließend auf einmal eine ganze Schicht aus vier Neuronen:

import torch
from torch import nn

torch.manual_seed(1)
x = torch.tensor([0.5, -1.0, 2.0])  # one example with three input features

# A layer of four neurons: each has three weights and one bias
layer = nn.Linear(in_features=3, out_features=4)

# Neuron 0 by hand: weighted sum of inputs plus bias, then a ReLU activation
z = (layer.weight[0] * x).sum() + layer.bias[0]
print(f"Neuron 0 by hand: {torch.relu(z).item():.4f}")

# The layer computes all four neurons at once as one matrix multiplication
outputs = torch.relu(layer(x))
print(f"All four neurons: {[round(v, 4) for v in outputs.tolist()]}")

Ausgegeben werden Neuron 0 by hand: 0.3906 und All four neurons: [0.3906, 1.1465, 0.0, 0.0]. Die Berechnung von Hand stimmt mit dem ersten Neuron der Schicht überein. Die ReLU-Aktivierung setzt die beiden Neuronen mit negativen gewichteten Summen auf null. Die Schicht speichert 16 lernbare Zahlen: 12 Gewichte und 4 Bias-Werte. Reale Netzwerke stapeln solche Schichten zu Millionen oder Milliarden Parametern.

So lernen neuronale Netze#

Das Training beginnt mit zufälligen Gewichten und wiederholt einen einfachen Ablauf. Ein Batch aus beschrifteten Beispielen durchläuft das Netzwerk. Eine Verlustfunktion misst, wie stark die Vorhersagen von den Labels abweichen. Die Rückpropagierung wendet die Kettenregel an, um zu berechnen, welchen Anteil jedes Gewicht am Fehler hat. Ein Optimierer wie der stochastische Gradientenabstieg (SGD) oder Adam verschiebt dann jedes Gewicht in die Richtung, in der der Verlust sinkt. Ein vollständiger Durchlauf durch den Trainingsdatensatz ist eine Epoche. Das Training endet gewöhnlich, wenn sich der Verlust auf zurückgehaltenen Validierungsdaten nicht weiter verbessert, denn wenn ein Netzwerk danach weiterhin auf den Trainingsdatensatz angepasst wird, beginnt es zu überfitten.

Training von Grund auf erfordert gewöhnlich große beschriftete Datensätze. Transferlernen verringert diesen Bedarf, indem es mit Gewichten beginnt, die auf einem großen Datensatz vortrainiert wurden. Die Millionen erlernten Gewichte sind außerdem schwer zu interpretieren, was die Forschung zu erklärbarer KI (XAI) vorantreibt.

Wichtige Arten neuronaler Netze#

Die Verbindungen zwischen den Neuronen, also die Architektur, bestimmen, welche Daten ein Netzwerk gut verarbeiten kann:

• Feedforward-Netzwerke: Vollständig verbundene Schichten, die Daten in eine Richtung weitergeben; sie werden auch mehrschichtige Perzeptronen (MLPs) genannt. Sie eignen sich für Tabellendaten und dienen als Bausteine in größeren Modellen.
• Faltungsneuronale Netze (CNNs): Kleine, gemeinsam genutzte Filter werden mithilfe von Faltung über ein Bild verschoben – das Standarddesign für Bildverarbeitung. Residualverbindungen ermöglichen Netze mit Hunderten von Schichten.
• Rekurrente neuronale Netze (RNNs): Verarbeiten Sequenzen Schritt für Schritt und führen dabei einen verborgenen Zustand mit. Gattervarianten wie LSTM und GRU können sich länger Informationen merken.
• Transformer: Verwenden Selbstaufmerksamkeit, um jedes Element einer Sequenz parallel mit allen anderen in Beziehung zu setzen. Sie bilden die Grundlage für LLMs und Vision Transformer.
• Spikende neuronale Netze (SNNs): Kommunizieren im Zeitverlauf mit diskreten Impulsen, ähneln dadurch eher biologischen Neuronen und laufen effizient auf neuromorphen Chips.

Die meisten aktuellen Modelle kombinieren diese Ansätze. YOLO26 ist ein Faltungsnetzwerk mit Blöcken zur Selbstaufmerksamkeit auf den Merkmalskarten der niedrigsten Auflösung, und das Nano-Modell zur Objekterkennung von YOLO26 nutzt etwa 2,4 Millionen Parameter zum Lokalisieren und Klassifizieren von Objekten in einem 640×640-Bild mit einem einzigen Vorwärtsdurchlauf.

Neuronale Netze und verwandte Begriffe#

• Deep Learning: Ein neuronales Netz mit einer oder zwei verborgenen Schichten ist flach. Deep Learning bezeichnet das Training von Netzen mit vielen Schichten, die aus Rohdaten selbstständig eine Hierarchie von Merkmalen lernen. Jedes Deep-Learning-Modell ist ein neuronales Netz.
• Maschinelles Lernen: Neuronale Netze sind eine Familie maschineller Lernmodelle neben Entscheidungsbäumen, Support-Vektor-Maschinen und Gradient-Boosted Trees, die bei Tabellendaten weiterhin sehr konkurrenzfähig sind.
• Biologische neuronale Netze: Echte Neuronen kommunizieren mit zeitlich abgestimmten elektrischen Impulsen und passen sich durch chemische Prozesse an, die künstliche Neuronen nicht abbilden. Spikende neuronale Netze bilden dieses Verhalten besser nach als herkömmliche Netze.

Ein kurzer geschichtlicher Überblick#

Warren McCulloch und Walter Pitts beschrieben 1943 ein mathematisches Neuronenmodell: eine Einheit, die feuert, wenn die Summe ihrer binären Eingaben einen Schwellenwert überschreitet. Frank Rosenblatts Perzeptron von 1958 lernte die Gewichte solcher Einheiten anhand von Beispielen. 1969 zeigten Marvin Minsky und Seymour Papert jedoch, dass ein Perzeptron mit einer einzigen Schicht nicht einmal die XOR-Funktion berechnen kann, woraufhin das Interesse nachließ. Mehrschichtige Netze lösen XOR. 1986 zeigten David Rumelhart, Geoffrey Hinton und Ronald Williams, dass Backpropagation ihre verborgenen Schichten so trainiert, dass sie nützliche interne Repräsentationen lernen. Tiefe Netze eroberten 2012 die Bildverarbeitung, als AlexNet, trainiert auf zwei GPUs, die ImageNet-Herausforderung mit einer Top-5-Fehlerrate von 15,3 % gewann, während der nächstbeste Beitrag 26,2 % erreichte.