Liquid Neural Networks (LNNs)

As redes neurais líquidas (LNNs) são uma família de redes neurais recorrentes (RNNs) em tempo contínuo, nas quais o estado de cada neurónio segue uma equação diferencial cuja constante de tempo depende da entrada atual, pelo que a rapidez de resposta de um neurónio varia de momento para momento. Ramin Hasani, Mathias Lechner e colegas do MIT, do IST Austria e da TU Wien apresentaram o modelo base, a rede de constantes de tempo líquidas (LTC), na AAAI 2021, inspirando-se em modelos do sistema nervoso do nemátodo C. elegans, que tem 302 neurónios. As LNNs são pequenas, muitas vezes com algumas dezenas de neurónios, e têm sido usadas sobretudo para a análise de séries temporais e para conduzir veículos e drones, onde o seu tamanho compacto facilita a inspeção do comportamento aprendido. O treino fixa os seus pesos, como em qualquer rede, e a parte «líquida» corresponde à dinâmica, que a entrada remodela a cada passo.

Como funcionam as redes de constantes de tempo líquidas#

Uma RNN em tempo contínuo descreve o seu estado oculto x(t) com uma equação diferencial ordinária, tal como as ODEs neurais, em vez de usar uma atualização discreta. Uma rede LTC usa dx/dt = −[1/τ + f(x, I, θ)] ⊙ x + f(x, I, θ) ⊙ A, em que I(t) é a entrada, τ é uma constante de tempo base para cada neurónio, A é um vetor de desvio aprendido e f é uma pequena rede neural com uma saída limitada, semelhante à de uma sigmoide. Como f aparece na taxa de decaimento, a constante de tempo efetiva de cada neurónio é τ_sys = τ / (1 + τ f); diminui quando f é grande, fazendo o neurónio reagir rapidamente, e aproxima-se de τ quando f está perto de zero. O artigo demonstra que tanto τ_sys como o estado permanecem dentro de limites fixos, pelo que a rede se mantém estável mesmo perante entradas muito grandes.

O treino desenrola um solucionador de ODE numérico e faz retropropagação através dele. O solucionador combinado dos autores executa um passo semimplícito, x(t + Δt) = [x(t) + Δt f A] / [1 + Δt (1/τ + f)], implementado pelo excerto PyTorch abaixo para quatro neurónios, ao qual são fornecidas três entradas diferentes:

import torch
from torch import nn

torch.manual_seed(0)
n_inputs, n_neurons, dt = 2, 4, 0.1
f = nn.Linear(n_inputs + n_neurons, n_neurons)  # gate network f(x, I); its weights stay fixed below
tau = torch.full((n_neurons,), 2.0)  # base time constant of each neuron
A = torch.randn(n_neurons)  # level each neuron is pulled toward when its gate opens


def ltc_step(x, I):
    """One fused-solver step of dx/dt = -(1/tau + f) * x + f * A, plus the effective time constant."""
    gate = torch.sigmoid(f(torch.cat([I, x])))
    x_next = (x + dt * gate * A) / (1 + dt * (1 / tau + gate))
    return x_next, tau / (1 + tau * gate)


x = torch.zeros(n_neurons)
for I in [torch.tensor([0.0, 0.0]), torch.tensor([5.0, -5.0]), torch.tensor([-5.0, 5.0])]:
    x, tau_sys = ltc_step(x, I)
    print(f"Input {I.tolist()}: time constants {[round(t, 2) for t in tau_sys.tolist()]}")

Apresenta constantes de tempo efetivas de [1.02, 0.99, 0.92, 1.1] para uma entrada zero, [1.35, 1.5, 1.06, 1.26] para a entrada (5, −5) e [0.8, 0.74, 0.82, 0.97] para (−5, 5). Com os mesmos pesos, a constante de tempo do segundo neurónio varia entre 0,74 e 1,5, o dobro, dependendo apenas do que a rede observa. Como o estado evolui em tempo contínuo, Δt também pode ser definido como o intervalo real entre amostras, permitindo às LNNs ler dados amostrados de forma irregular, como registos médicos ou sensores acionados por eventos, sem os reamostrar para uma frequência fixa.

Políticas de circuitos neurais e redes CfC#

Dois trabalhos relacionados do mesmo grupo aplicaram os neurónios LTC ao controlo e eliminaram o custo do solucionador de ODE:

• Políticas de circuitos neurais (NCPs): Em Nature Machine Intelligence, em 2020, Lechner, Hasani e colegas ligaram neurónios LTC num circuito esparso e organizado em camadas, inspirado em C. elegans, com neurónios sensoriais, intermédios, de comando e motores. Atrás de um extrator de características convolucional, uma política com 19 neurónios de controlo e 253 sinapses aprendeu a conduzir um carro a partir de imagens da câmara e a mantê-lo na faixa; o artigo refere que generalizou melhor e resistiu mais ao ruído do que controladores de caixa negra muito maiores, por várias ordens de grandeza.
• Redes em tempo contínuo de forma fechada (CfC): Hasani e colegas demonstraram em 2022 que uma aproximação de forma fechada da solução LTC elimina o solucionador numérico, tornando o treino e a inferência entre uma e cinco ordens de grandeza mais rápidos do que os equivalentes baseados em ODE, mantendo o comportamento em tempo contínuo.

A biblioteca ncps dos autores implementa células LTC e CfC, bem como ligações NCP para PyTorch e Keras.

Aplicações#

• Navegação de drones: Num estudo de 2023 publicado na Science Robotics, drones controlados por redes líquidas aprenderam a voar até um alvo a partir de demonstrações pilotadas por humanos e gravadas numa floresta no verão; depois, completaram a tarefa numa floresta no inverno, em ambientes urbanos e com ruído, rotação e oclusão adicionais, superando muitas alternativas de última geração.
• Séries temporais médicas e de sensores: Os modelos em tempo contínuo são adequados a fluxos irregulares, como medições de cuidados intensivos, em que os valores são registados sempre que se realiza um exame.
• Pipelines de perceção para controlo: Um controlador líquido precisa de características compactas por fotograma, que o YOLO26 pode fornecer: o seu modo de previsão com stream=True produz um resultado por fotograma de vídeo, sob a forma de gerador, pelo que as coordenadas das caixas ou os pontos-chave da pose chegam ao controlador à medida que cada fotograma é processado.

LNNs vs. modelos relacionados#

• LSTM e GRU: Células em tempo discreto que são atualizadas uma vez por passo de entrada, sem terem em conta o tempo decorrido entre passos. Os neurónios LTC evoluem continuamente, e os controladores construídos com eles costumam usar muito menos neurónios.
• ODEs neurais: As redes LTC são ODEs neurais com uma forma limitada específica que garante uma dinâmica estável.
• Redes neurais de impulsos: Também inspiradas no cérebro, mas os seus neurónios comunicam através de impulsos discretos. Os neurónios LTC têm estados de valores contínuos, inspirados nos neurónios sem impulsos de C. elegans.
• Modelos de espaço de estados: Também são recorrências em tempo contínuo, discretizadas para efeitos de computação. O Mamba calcula o tamanho do passo a partir de cada entrada, o que dá a cada canal uma constante de tempo dependente da entrada; o grupo de Hasani combinou o modelo de espaço de estados S4 com a dinâmica LTC no Liquid-S4, na ICLR 2023.
• Modelos Liquid AI: Hasani, Lechner, Alexander Amini e Daniela Rus fundaram a Liquid AI como spin-off do MIT CSAIL em 2023. Os seus modelos de linguagem LFM2, lançados em julho de 2025, combinam convoluções curtas com gating com um pequeno número de camadas de atenção de consultas agrupadas; é uma arquitetura distinta das redes LTC, apesar de partilharem o nome «líquido».