Liquid Neural Networks (LNNs)

Las redes neuronales líquidas (LNN) son una familia de redes neuronales recurrentes (RNN) de tiempo continuo, en las que el estado de cada neurona sigue una ecuación diferencial cuya constante de tiempo depende de la entrada actual; por tanto, la rapidez de respuesta de la neurona cambia en cada momento. Ramin Hasani, Mathias Lechner y sus colegas del MIT, IST Austria y TU Wien presentaron el modelo fundamental, la red de constantes de tiempo líquidas (LTC), en AAAI 2021, inspirándose en modelos del sistema nervioso del nematodo C. elegans, que tiene 302 neuronas. Las LNN son pequeñas, a menudo tienen unas pocas decenas de neuronas y se han utilizado principalmente para el análisis de series temporales y para dirigir vehículos y drones, donde su tamaño compacto facilita inspeccionar el comportamiento aprendido. El entrenamiento fija sus pesos, como en cualquier red; la parte «líquida» reside en la dinámica, que la entrada modifica en cada paso.

Cómo funcionan las redes de constantes de tiempo líquidas#

Una RNN de tiempo continuo describe su estado oculto x(t) mediante una ecuación diferencial ordinaria, como hacen las ODE neuronales, en lugar de una actualización discreta. Una red LTC utiliza dx/dt = −[1/τ + f(x, I, θ)] ⊙ x + f(x, I, θ) ⊙ A, donde I(t) es la entrada, τ es una constante de tiempo base para cada neurona, A es un vector de sesgo aprendido y f es una red neuronal pequeña con una salida acotada similar a una sigmoide. Como f aparece en la tasa de decaimiento, la constante de tiempo efectiva de cada neurona es τ_sys = τ / (1 + τ f): disminuye cuando f es grande, lo que hace que la neurona reaccione rápidamente, y se aproxima a τ cuando f está cerca de cero. El artículo demuestra que tanto τ_sys como el estado se mantienen dentro de límites fijos, por lo que la red sigue siendo estable incluso con entradas muy grandes.

El entrenamiento despliega un solucionador numérico de ODE y propaga los gradientes hacia atrás. El solucionador fusionado de los autores da un paso semiimplícito, x(t + Δt) = [x(t) + Δt f A] / [1 + Δt (1/τ + f)]; el fragmento de PyTorch siguiente lo implementa para cuatro neuronas y le proporciona tres entradas distintas:

import torch
from torch import nn

torch.manual_seed(0)
n_inputs, n_neurons, dt = 2, 4, 0.1
f = nn.Linear(n_inputs + n_neurons, n_neurons)  # gate network f(x, I); its weights stay fixed below
tau = torch.full((n_neurons,), 2.0)  # base time constant of each neuron
A = torch.randn(n_neurons)  # level each neuron is pulled toward when its gate opens


def ltc_step(x, I):
    """One fused-solver step of dx/dt = -(1/tau + f) * x + f * A, plus the effective time constant."""
    gate = torch.sigmoid(f(torch.cat([I, x])))
    x_next = (x + dt * gate * A) / (1 + dt * (1 / tau + gate))
    return x_next, tau / (1 + tau * gate)


x = torch.zeros(n_neurons)
for I in [torch.tensor([0.0, 0.0]), torch.tensor([5.0, -5.0]), torch.tensor([-5.0, 5.0])]:
    x, tau_sys = ltc_step(x, I)
    print(f"Input {I.tolist()}: time constants {[round(t, 2) for t in tau_sys.tolist()]}")

Imprime constantes de tiempo efectivas de [1.02, 0.99, 0.92, 1.1] para una entrada cero, [1.35, 1.5, 1.06, 1.26] para la entrada (5, −5) y [0.8, 0.74, 0.82, 0.97] para (−5, 5). Con los mismos pesos, la constante de tiempo de la segunda neurona oscila entre 0,74 y 1,5 —un factor de dos— dependiendo únicamente de lo que recibe la red. Como el estado evoluciona en tiempo continuo, también se puede establecer Δt en el intervalo real entre muestras, lo que permite a las LNN procesar datos muestreados de forma irregular, como historiales médicos o sensores activados por eventos, sin remuestrearlos a una frecuencia fija.

Políticas de circuitos neuronales y redes CfC#

Dos trabajos relacionados del mismo grupo aplicaron las neuronas LTC al control y eliminaron el coste del solucionador de ODE:

• Políticas de circuitos neuronales (NCP): En Nature Machine Intelligence en 2020, Lechner, Hasani y sus colegas conectaron neuronas LTC en un circuito escaso y jerárquico, inspirado en C. elegans, con neuronas sensoriales, interneuronas, neuronas de mando y neuronas motoras. Tras un extractor de características convolucionales, una política de 19 neuronas de control y 253 sinapsis aprendió a dirigir un coche a partir de imágenes de cámara para mantenerlo en su carril; el artículo señala que generalizó mejor y resistió el ruido mejor que controladores de caja negra varios órdenes de magnitud mayores.
• Redes de tiempo continuo de forma cerrada (CfC): Hasani y sus colegas demostraron en 2022 que una aproximación de forma cerrada de la solución LTC elimina el solucionador numérico y hace que el entrenamiento y la inferencia sean entre uno y cinco órdenes de magnitud más rápidos que en sus equivalentes basados en ODE, sin perder el comportamiento de tiempo continuo.

La biblioteca ncps de los autores implementa células LTC y CfC, además de conexiones NCP, para PyTorch y Keras.

Aplicaciones#

• Navegación de drones: En un estudio de Science Robotics de 2023, drones controlados por redes líquidas aprendieron a volar hasta un objetivo a partir de demostraciones pilotadas por personas y grabadas en un bosque en verano; después completaron la tarea en un bosque en invierno, en entornos urbanos y con ruido, rotación y oclusión añadidos, superando a muchas alternativas de vanguardia.
• Series temporales médicas y de sensores: Los modelos de tiempo continuo son adecuados para flujos irregulares, como las mediciones de cuidados intensivos, en los que las lecturas llegan cada vez que se realiza una prueba.
• Canalizaciones de percepción a control: Un controlador líquido necesita características compactas por fotograma, y YOLO26 puede proporcionárselas: su modo de predicción con stream=True genera un resultado por fotograma de vídeo como generador, de modo que las coordenadas de los cuadros o los puntos clave de pose llegan al controlador a medida que se procesa cada fotograma.

LNN frente a modelos relacionados#

• LSTM y GRU: Células de tiempo discreto que se actualizan una vez por cada paso de entrada, sin tener en cuenta cuánto tiempo ha transcurrido entre pasos. Las neuronas LTC evolucionan continuamente, y los controladores construidos con ellas suelen utilizar muchas menos neuronas.
• ODE neuronales: Las redes LTC son ODE neuronales de una forma acotada concreta que garantiza una dinámica estable.
• Redes neuronales de impulsos: También se inspiran en el cerebro, pero sus neuronas se comunican mediante impulsos discretos. Las neuronas LTC tienen estados de valores continuos, inspirados en las neuronas sin impulsos de C. elegans.
• Modelos de espacio de estados: También son recurrencias de tiempo continuo, discretizadas para el cálculo. Mamba calcula el tamaño de su paso a partir de cada entrada, lo que proporciona a cada canal una constante de tiempo dependiente de la entrada; en ICLR 2023, el grupo de Hasani combinó el modelo de espacio de estados S4 con la dinámica LTC en Liquid-S4.
• Modelos de Liquid AI: Hasani, Lechner, Alexander Amini y Daniela Rus fundaron Liquid AI como empresa derivada del MIT CSAIL en 2023. Sus modelos de lenguaje LFM2, publicados en julio de 2025, combinan convoluciones cortas con compuertas y un pequeño número de capas de atención de consultas agrupadas; es una arquitectura distinta de las redes LTC, pese a compartir el nombre «líquido».