Spiking Neural Network

Ein Impulsneuronales Netz (SNN) ist ein neuronales Netz, dessen Neuronen über diskrete Alles-oder-nichts-Ereignisse kommunizieren, sogenannte Spikes. Das ähnelt der Signalübertragung biologischer Neuronen. Jedes Neuron sammelt eingehende Spikes in einem internen Membranpotenzial, das langsam abklingt. Erst wenn dieses Potenzial einen Schwellenwert überschreitet, löst das Neuron selbst einen Spike aus. Die Information steckt darin, welche Neuronen wann feuern. SNNs verarbeiten Daten daher fortlaufend beim Eintreffen und rechnen nur, wenn Spikes auftreten. Diese ereignisgesteuerte Sparsamkeit macht sie für energiesparende Edge-KI auf neuromorphen Chips attraktiv und prädestiniert sie für Ereigniskameras, die Änderungen ebenfalls als asynchrone Ereignisse melden. Wolfgang Maass beschrieb SNNs 1997 als dritte Generation neuronaler Netzwerkmodelle, nach Schwelleneinheiten und Netzen mit kontinuierlichen Aktivierungen.

So funktionieren Impulsneuronen#

Das am häufigsten verwendete Modell ist das Leaky-Integrate-and-Fire-Neuron (LIF). Bei jedem Zeitschritt nimmt sein Membranpotenzial um einen festen Anteil ab, die gewichteten Eingabespikes werden addiert, und sobald das Potenzial den Schwellenwert erreicht, gibt das Neuron einen Spike aus und wird zurückgesetzt. Ein Neuron mit schwachem Eingang erreicht den Schwellenwert nie, während ein Neuron mit starkem Eingang häufig feuert. Die Feuerfrequenz codiert daher die Stärke des Eingangssignals. Die folgende Simulation versorgt drei LIF-Neuronen mit unterschiedlich starken konstanten Eingangsstromstärken:

import torch

# Three leaky integrate-and-fire neurons, each driven by a constant input current
current = torch.tensor([0.15, 0.3, 0.6])
decay, threshold = 0.8, 1.0  # fraction of potential kept per step, firing threshold

potential = torch.zeros(3)
spike_counts = torch.zeros(3)
for step in range(20):
    potential = decay * potential + current  # leak, then integrate the input
    spikes = (potential >= threshold).float()  # fire where the threshold is crossed
    potential = potential * (1 - spikes)  # reset neurons that fired
    spike_counts += spikes

print(f"Spikes in 20 steps: {spike_counts.tolist()}")

Die Ausgabe lautet Spikes in 20 steps: [0.0, 4.0, 10.0]. Bei einem Eingangswert von 0.15 pendelt sich das Potenzial bei 0.15 / (1 − 0.8) = 0.75 ein und bleibt damit unter dem Schwellenwert, sodass dieses Neuron nie feuert. Ein Eingangswert von 0.3 erzeugt 4 Spikes, und bei einem Eingangswert von 0.6 wird der Schwellenwert jeden zweiten Schritt überschritten, was 10 Spikes ergibt. Bibliotheken wie snnTorch stellen solche LIF-Schichten als PyTorch-Module bereit, die auf GPUs trainiert werden können.

Information in Spikes codieren#

Daten müssen in Spikes umgewandelt werden, bevor ein SNN sie nutzen kann. Die Wahl der Codierung beeinflusst sowohl die Genauigkeit als auch die Geschwindigkeit:

• Frequenzcodierung: Ein Wert wird wie in der obigen Simulation in eine Feuerfrequenz umgewandelt. Das Verfahren ist robust, benötigt aber viele Zeitschritte, um einen Wert präzise darzustellen.
• Zeitcodierung: Ein Wert wird in den Zeitpunkt eines Spikes umgewandelt, beispielsweise indem hellere Pixel frühere Spikes auslösen. So lässt sich Information mit sehr wenigen Spikes übertragen.
• Ereignissensoren: Kameras für neuromorphes Sehen geben bei jeder Änderung der Helligkeit eines Pixels ein spikeähnliches Ereignis mit Mikrosekunden-Zeitstempel und ohne feste Bildrate aus. Ihre Daten können daher direkt in ein SNN eingespeist werden.

SNNs trainieren#

Ein Spike ist eine Sprungfunktion, deren Ableitung fast überall null ist. Deshalb kann die standardmäßige Backpropagation keine Gradienten durch sie hindurchleiten. Drei Ansätze umgehen dieses Problem. Bei der Umwandlung von ANN zu SNN wird ein gewöhnliches Netz mit ReLU-Aktivierungen trainiert und jede Aktivierung einer Feuerrate zugeordnet. Beim Training mit Surrogatgradienten bleibt der harte Spike im Vorwärtslauf erhalten, während im Rückwärtslauf die Ableitung einer glatten Funktion eingesetzt wird. Anschließend wird das Netz wie ein rekurrentes neuronales Netz (RNN) mit Backpropagation durch die Zeit trainiert. Die Spike-Timing-abhängige Plastizität (STDP) ist eine lokale, biologisch inspirierte Regel: Sie verstärkt eine Synapse, wenn der Eingangsspike vor dem Ausgangsspike auftritt, und lernt ohne Labels. Die meisten neueren SNNs mit hoher Genauigkeit werden direkt mit Surrogatgradienten trainiert. Sie benötigen deutlich weniger Zeitschritte als umgewandelte Netze; die Umwandlung bleibt jedoch der einfachste Weg, ein bestehendes Modell zu nutzen.

Neuromorphe Hardware#

SNNs sparen am meisten Energie auf speziell für sie entwickelten Chips. Neuromorphe Prozessoren platzieren Speicher neben zahlreichen kleinen Rechenkernen, kommunizieren über Spike-Nachrichten und rechnen nur, wenn Spikes eintreffen. Da Spikes binär sind, erfordert jedes synaptische Ereignis eine Addition statt einer Multiplikation. IBMs TrueNorth (2014) brachte eine Million Neuronen auf einem einzigen Chip unter, SpiNNaker der University of Manchester verwendet große Gruppen von ARM-Kernen, und Intels Loihi 2 kommt in Hala Point zum Einsatz, einem Forschungssystem aus dem Jahr 2024 mit 1.152 Loihi-2-Prozessoren und 1,15 Milliarden Neuronen. Auf herkömmlichen GPUs, die für dichte Matrizenberechnungen ausgelegt sind, laufen SNNs gewöhnlich langsamer als vergleichbare konventionelle Netze.

SNNs im Vergleich zu konventionellen neuronalen Netzen#

• Signale: Konventionelle Netze, darunter faltende neuronale Netze (CNNs) und Transformer, leiten kontinuierliche Werte in einem einzelnen Vorwärtslauf durch jedes Neuron. SNNs übertragen über viele Zeitschritte binäre Spikes, wobei die meisten Neuronen zu einem bestimmten Zeitpunkt stumm bleiben.
• Genauigkeit: Konventionelle Netze sind bei standardisierten Bildbenchmarks weiterhin führend. SNNs haben den Abstand vor allem durch das Training mit Surrogatgradienten und durch von konventionellen Modellen übernommene Architekturen verringert.
• Effizienz: SNNs auf neuromorpher Hardware benötigen bei spärlichen, ereignisgesteuerten Eingaben wie Ereigniskamera-Datenströmen und ständig aktivem Audio deutlich weniger Energie.

Anwendungen#

• Ereignisgesteuertes Sehen und Robotik: In einer Studie aus dem Jahr 2024 in Science Robotics ließen Forschende der TU Delft eine Drohne mit einem vollständig impulsbasierten Seh- und Steuerungsnetzwerk auf Intels Loihi fliegen. Dabei wurden rohe Ereigniskamera-Daten mit 200 Hz in Bewegungsbefehle umgewandelt.
• Dauerhafte Sensorüberwachung: SNNs eignen sich für die Erkennung von Schlüsselwörtern, Gesten und Anomalien in Sensordaten, da sie fast keinen Strom verbrauchen, solange sich nichts ändert.
• Objekterkennung: SpikeYOLO, ein spikender Detektor von Xinhao Luo, Man Yao und Kollegen aus ECCV 2024, basiert auf der Ultralytics-Codebasis und vereinfacht die Architektur von Ultralytics YOLOv8 durch spikengesteuerte Blöcke. Mit ganzzahligem Training und spikengesteuerter Inferenz erreicht es auf COCO einen mAP_50-95-Wert von 48,9 %.