Liquid Neural Networks (LNNs)

Flüssige neuronale Netze (LNNs) sind eine Familie kontinuierlicher rekurrenter neuronaler Netze (RNNs), bei denen der Zustand jedes Neurons einer Differentialgleichung folgt. Die Zeitkonstante hängt von der aktuellen Eingabe ab, sodass sich die Reaktionsgeschwindigkeit eines Neurons von Moment zu Moment ändert. Ramin Hasani, Mathias Lechner und Kollegen vom MIT, vom IST Austria und von der TU Wien stellten das Grundmodell, das Netz mit flüssiger Zeitkonstante (LTC), auf der AAAI 2021 vor. Dabei griffen sie auf Modelle des Nervensystems des Fadenwurms C. elegans mit seinen 302 Neuronen zurück. LNNs sind klein und umfassen oft nur einige Dutzend Neuronen. Sie wurden vor allem für die Zeitreihenanalyse sowie zum Steuern von Fahrzeugen und Drohnen eingesetzt. Dank ihrer kompakten Größe lässt sich das erlernte Verhalten leichter untersuchen. Ihre Gewichte werden wie bei jedem anderen Netz beim Training festgelegt. Der „flüssige“ Teil besteht in der Dynamik, die bei jedem Schritt durch die Eingabe verändert wird.

So funktionieren Netze mit flüssiger Zeitkonstante#

Ein kontinuierliches RNN beschreibt seinen verborgenen Zustand x(t) mithilfe einer gewöhnlichen Differentialgleichung – wie neuronale ODEs – statt mit einer diskreten Aktualisierung. Ein LTC-Netz verwendet dx/dt = −[1/τ + f(x, I, θ)] ⊙ x + f(x, I, θ) ⊙ A. Dabei ist I(t) die Eingabe, τ die Grundzeitkonstante jedes Neurons, A ein erlernter Bias-Vektor und f ein kleines neuronales Netz mit beschränkter, sigmoidähnlicher Ausgabe. Da f in der Abklingrate vorkommt, beträgt die effektive Zeitkonstante jedes Neurons τ_sys = τ / (1 + τ f). Sie wird kleiner, wenn f groß ist, sodass das Neuron schnell reagiert, und nähert sich τ an, wenn f nahe null liegt. Die Studie beweist, dass sowohl τ_sys als auch der Zustand innerhalb fester Grenzen bleiben. Deshalb bleibt das Netz selbst bei sehr großen Eingaben stabil.

Beim Training wird ein numerischer ODE-Löser abgerollt und der Gradient rückwärts propagiert. Der zusammengeführte Löser der Autoren führt einen halbumschließenden Schritt aus: x(t + Δt) = [x(t) + Δt f A] / [1 + Δt (1/τ + f)]. Der folgende PyTorch-Code implementiert diesen Schritt für vier Neuronen und verarbeitet drei verschiedene Eingaben:

import torch
from torch import nn

torch.manual_seed(0)
n_inputs, n_neurons, dt = 2, 4, 0.1
f = nn.Linear(n_inputs + n_neurons, n_neurons)  # gate network f(x, I); its weights stay fixed below
tau = torch.full((n_neurons,), 2.0)  # base time constant of each neuron
A = torch.randn(n_neurons)  # level each neuron is pulled toward when its gate opens


def ltc_step(x, I):
    """One fused-solver step of dx/dt = -(1/tau + f) * x + f * A, plus the effective time constant."""
    gate = torch.sigmoid(f(torch.cat([I, x])))
    x_next = (x + dt * gate * A) / (1 + dt * (1 / tau + gate))
    return x_next, tau / (1 + tau * gate)


x = torch.zeros(n_neurons)
for I in [torch.tensor([0.0, 0.0]), torch.tensor([5.0, -5.0]), torch.tensor([-5.0, 5.0])]:
    x, tau_sys = ltc_step(x, I)
    print(f"Input {I.tolist()}: time constants {[round(t, 2) for t in tau_sys.tolist()]}")

Ausgegeben werden die effektiven Zeitkonstanten [1.02, 0.99, 0.92, 1.1] bei einer Nulleingabe, [1.35, 1.5, 1.06, 1.26] bei der Eingabe (5, −5) und [0.8, 0.74, 0.82, 0.97] bei (−5, 5). Bei denselben Gewichten reicht die Zeitkonstante des zweiten Neurons je nach Eingabe von 0,74 bis 1,5 und variiert damit um den Faktor zwei. Da sich der Zustand kontinuierlich entwickelt, lässt sich Δt auch auf den tatsächlichen Abstand zwischen Messungen setzen. So können LNNs unregelmäßig erfasste Daten wie Krankenakten oder ereignisgesteuerte Sensoren verarbeiten, ohne sie auf eine feste Frequenz umzutasten.

Neuronale Schaltkreisrichtlinien und CfC-Netze#

Zwei verwandte Arbeiten derselben Forschungsgruppe übertrugen LTC-Neuronen auf Steuerungsaufgaben und beseitigten den Aufwand des ODE-Lösers:

• Neuronale Schaltkreisrichtlinien (NCPs): Lechner, Hasani und Kollegen verschalteten LTC-Neuronen 2020 in Nature Machine Intelligence zu einem dünn besetzten, mehrschichtigen Schaltkreis nach dem Vorbild von C. elegans. Er bestand aus sensorischen, Zwischen-, Befehls- und Motoneuronen. Hinter einem Faltungsmerkmalsextraktor lernte eine Richtlinie mit 19 Steuerungsneuronen und 253 Synapsen, ein Auto anhand von Kamerabildern auf der Spur zu halten. Laut der Studie generalisierte sie besser und war widerstandsfähiger gegenüber Rauschen als Black-Box-Steuerungen, die um Größenordnungen größer waren.
• Geschlossene kontinuierliche Netze (CfC): Hasani und Kollegen zeigten 2022, dass eine geschlossene Näherung der LTC-Lösung den numerischen Löser überflüssig macht. Dadurch werden Training und Inferenz gegenüber vergleichbaren ODE-basierten Verfahren um eine bis fünf Größenordnungen beschleunigt, während das kontinuierliche Verhalten erhalten bleibt.

Die Bibliothek ncps der Autoren implementiert LTC- und CfC-Zellen sowie NCP-Verschaltungen für PyTorch und Keras.

Anwendungen#

• Drohnenavigation: In einer Studie aus dem Jahr 2023 in Science Robotics lernten Drohnen mit Steuerung durch flüssige Netze anhand von Vorführungen menschlicher Piloten, die in einem Sommerwald aufgezeichnet wurden, zu einem Ziel zu fliegen. Anschließend bewältigten sie dieselbe Aufgabe in einem Winterwald und in städtischer Umgebung sowie mit zusätzlichem Rauschen, Drehungen und Verdeckungen. Dabei übertrafen sie viele Alternativen nach dem neuesten Stand der Technik.
• Medizinische und sensorbasierte Zeitreihen: Kontinuierliche Modelle eignen sich für unregelmäßige Datenströme wie Messwerte auf Intensivstationen, bei denen Werte immer dann eintreffen, wenn eine Untersuchung durchgeführt wird.
• Wahrnehmungs- und Steuerungspipelines: Ein flüssiger Steuerungsregler benötigt kompakte Merkmale für jedes Frame, die YOLO26 bereitstellen kann. Der Vorhersagemodus mit stream=True liefert die Ergebnisse für jedes Video-Frame als Generator, sodass die Koordinaten der Begrenzungsrahmen oder Posenschlüsselpunkte den Steuerungsregler bei der Verarbeitung jedes Frames erreichen.

LNNs und verwandte Modelle#

• LSTM und GRU: Zellen mit diskreter Zeit aktualisieren sich einmal pro Eingabeschritt und berücksichtigen nicht, wie viel Zeit zwischen den Schritten vergangen ist. LTC-Neuronen entwickeln sich kontinuierlich. Steuerungsregler, die auf ihnen beruhen, kommen üblicherweise mit deutlich weniger Neuronen aus.
• Neuronale ODEs: LTC-Netze sind neuronale ODEs mit einer bestimmten beschränkten Form, die eine stabile Dynamik gewährleistet.
• Gepulste neuronale Netze: Auch sie sind vom Gehirn inspiriert, doch ihre Neuronen kommunizieren durch diskrete Impulse. Die Zustände der LTC-Neuronen sind kontinuierliche Werte und orientieren sich an den nicht gepulsten Neuronen von C. elegans.
• Zustandsraummodelle: Auch sie verwenden kontinuierliche Rekurrenzen, die für die Berechnung diskretisiert werden. Mamba berechnet seine Schrittweite aus jeder Eingabe, wodurch für jeden Kanal eine eingabeabhängige Zeitkonstante entsteht. Die Gruppe von Hasani kombinierte das S4-Zustandsraummodell auf der ICLR 2023 in Liquid-S4 mit der LTC-Dynamik.
• Modelle von Liquid AI: Hasani, Lechner, Alexander Amini und Daniela Rus gründeten Liquid AI 2023 als Ausgründung von MIT CSAIL. Die im Juli 2025 veröffentlichten Sprachmodelle LFM2 kombinieren kurze, gesteuerte Faltungen mit einer kleinen Anzahl von Schichten mit Attention und gruppierten Abfragen. Trotz des gemeinsamen Namens „liquid“ unterscheidet sich diese Architektur von LTC-Netzen.