Liquid Neural Networks (LNNs)

Le reti neurali liquide (LNNs) sono una famiglia di reti neurali ricorrenti (RNNs) a tempo continuo in cui lo stato di ogni neurone segue un’equazione differenziale la cui costante di tempo dipende dall’input corrente, perciò la velocità di risposta del neurone cambia da un momento all’altro. Ramin Hasani, Mathias Lechner e i loro colleghi di MIT, IST Austria e TU Wien hanno presentato il modello fondamentale, la rete a costante di tempo liquida (LTC), ad AAAI 2021, basandosi su modelli del sistema nervoso del nematode C. elegans, che ha 302 neuroni. Le LNN sono piccole, spesso composte da poche decine di neuroni, e sono state usate soprattutto per l’analisi di serie temporali e per pilotare veicoli e droni, dove le dimensioni compatte rendono più facile esaminare il comportamento appreso. Il training fissa i pesi come in qualsiasi rete; la parte «liquida» è la dinamica, che viene rimodellata dall’input a ogni passaggio.

Come funzionano le reti a costante di tempo liquida#

Una RNN a tempo continuo descrive lo stato nascosto x(t) con un’equazione differenziale ordinaria, come fanno le ODE neurali, invece di usare un aggiornamento discreto. Una rete LTC usa dx/dt = −[1/τ + f(x, I, θ)] ⊙ x + f(x, I, θ) ⊙ A, dove I(t) è l’input, τ è una costante di tempo di base per ogni neurone, A è un vettore di bias appreso e f è una piccola rete neurale con un output limitato, simile a una sigmoide. Poiché f compare nel tasso di decadimento, la costante di tempo effettiva di ogni neurone è τ_sys = τ / (1 + τ f): diminuisce quando f è grande, facendo reagire rapidamente il neurone, e si avvicina a τ quando f è prossimo a zero. L’articolo dimostra che sia τ_sys sia lo stato rimangono entro limiti fissi, quindi la rete resta stabile anche con input molto grandi.

Il training svolge iterativamente i passaggi di un risolutore numerico di ODE e vi propaga all’indietro i gradienti. Il risolutore fuso degli autori esegue un passaggio semi-implicito, x(t + Δt) = [x(t) + Δt f A] / [1 + Δt (1/τ + f)], implementato dal frammento di codice PyTorch qui sotto per quattro neuroni e tre input diversi:

import torch
from torch import nn

torch.manual_seed(0)
n_inputs, n_neurons, dt = 2, 4, 0.1
f = nn.Linear(n_inputs + n_neurons, n_neurons)  # gate network f(x, I); its weights stay fixed below
tau = torch.full((n_neurons,), 2.0)  # base time constant of each neuron
A = torch.randn(n_neurons)  # level each neuron is pulled toward when its gate opens


def ltc_step(x, I):
    """One fused-solver step of dx/dt = -(1/tau + f) * x + f * A, plus the effective time constant."""
    gate = torch.sigmoid(f(torch.cat([I, x])))
    x_next = (x + dt * gate * A) / (1 + dt * (1 / tau + gate))
    return x_next, tau / (1 + tau * gate)


x = torch.zeros(n_neurons)
for I in [torch.tensor([0.0, 0.0]), torch.tensor([5.0, -5.0]), torch.tensor([-5.0, 5.0])]:
    x, tau_sys = ltc_step(x, I)
    print(f"Input {I.tolist()}: time constants {[round(t, 2) for t in tau_sys.tolist()]}")

Stampa le costanti di tempo effettive [1.02, 0.99, 0.92, 1.1] con input nullo, [1.35, 1.5, 1.06, 1.26] con l’input (5, −5) e [0.8, 0.74, 0.82, 0.97] con (−5, 5). A parità di pesi, la costante di tempo del secondo neurone varia da 0,74 a 1,5, un fattore due, in base soltanto a ciò che la rete riceve in input. Poiché lo stato evolve nel tempo continuo, Δt può anche essere impostato sull’intervallo effettivo tra i campioni, consentendo alle LNN di elaborare dati campionati in modo irregolare, come cartelle cliniche o sensori basati su eventi, senza ricampionarli a una frequenza fissa.

Neural Circuit Policies e reti CfC#

Due lavori correlati dello stesso gruppo hanno applicato i neuroni LTC al controllo e rimosso il costo del risolutore di ODE:

• Neural circuit policies (NCP): in Nature Machine Intelligence nel 2020, Lechner, Hasani e colleghi hanno collegato i neuroni LTC in un circuito sparso a livelli, modellato su C. elegans, con neuroni sensoriali, intermedi, di comando e motori. A valle di un estrattore di feature convoluzionale, una policy con 19 neuroni di controllo e 253 sinapsi ha imparato a mantenere un’auto in corsia guidandola a partire dalle immagini della telecamera; l’articolo riferisce che si è generalizzata e ha resistito al rumore meglio di controller black box molto più grandi, di diversi ordini di grandezza.
• Reti continue nel tempo in forma chiusa (CfC): Hasani e colleghi hanno dimostrato nel 2022 che un’approssimazione in forma chiusa della soluzione LTC elimina il risolutore numerico, rendendo il training e l’inferenza da uno a cinque ordini di grandezza più rapidi rispetto ai modelli basati su ODE, pur mantenendo il comportamento a tempo continuo.

La libreria ncps degli autori implementa celle LTC e CfC e cablaggi NCP per PyTorch e Keras.

Applicazioni#

• Navigazione dei droni: in uno studio del 2023 pubblicato su Science Robotics, droni controllati da reti liquide hanno imparato a raggiungere un obiettivo a partire da dimostrazioni pilotate da esseri umani e registrate in una foresta estiva; hanno poi completato il compito in una foresta invernale e in contesti urbani, anche in presenza di rumore, rotazione e occlusione aggiunti, superando molte alternative allo stato dell’arte.
• Serie temporali mediche e dei sensori: i modelli a tempo continuo sono adatti a flussi irregolari come le misurazioni di terapia intensiva, in cui le letture arrivano ogni volta che viene eseguito un esame.
• Pipeline dalla percezione al controllo: un controller liquido ha bisogno di feature compatte per ogni fotogramma e YOLO26 può fornirle: la sua modalità predict con stream=True restituisce un risultato per ogni fotogramma video sotto forma di generatore, così le coordinate dei riquadri o i keypoint di posa arrivano al controller man mano che ogni fotogramma viene elaborato.

LNN a confronto con modelli correlati#

• LSTM e GRU: celle a tempo discreto che si aggiornano una volta per ogni passaggio di input, senza tenere conto del tempo trascorso tra i passaggi. I neuroni LTC evolvono continuamente e i controller basati su di essi usano in genere molti meno neuroni.
• ODE neurali: le reti LTC sono ODE neurali con una forma specifica e limitata che garantisce una dinamica stabile.
• Reti neurali a impulsi: anch’esse ispirate al cervello, ma i loro neuroni comunicano tramite impulsi discreti. I neuroni LTC hanno stati a valori continui, modellati sui neuroni non impulsivi di C. elegans.
• Modelli dello spazio degli stati: ricorrenze anch’esse a tempo continuo, discretizzate per il calcolo. Mamba calcola la dimensione del proprio passo in base a ogni input, assegnando a ogni canale una costante di tempo dipendente dall’input; il gruppo di Hasani ha combinato il modello dello spazio degli stati S4 con la dinamica LTC in Liquid-S4 a ICLR 2023.
• Modelli di Liquid AI: Hasani, Lechner, Alexander Amini e Daniela Rus hanno fondato Liquid AI come spin-off di MIT CSAIL nel 2023. I suoi modelli linguistici LFM2, rilasciati a luglio 2025, combinano convoluzioni brevi con gate e un piccolo numero di livelli di attention a query raggruppate: un’architettura distinta dalle reti LTC, nonostante il nome «liquid» condiviso.