Liquid Neural Networks (LNNs)

Sıvı sinir ağları (LNN'ler), her nöronun durumunun zaman sabiti o anki girdiye bağlı olan bir diferansiyel denklemi izlediği sürekli zamanlı bir yinelemeli sinir ağı ailesidir; bu nedenle bir nöronun ne kadar hızlı yanıt verdiği andan ana değişir. Ramin Hasani, Mathias Lechner ve MIT, IST Austria ve TU Wien'den çalışma arkadaşları, çekirdek model olan sıvı zaman sabiti (LTC) ağını AAAI 2021'de, 302 nöronu bulunan C. elegans nematodunun sinir sistemi modellerinden yararlanarak tanıttı. LNN'ler küçüktür; çoğunlukla birkaç düzine nörondan oluşur ve ağırlıklı olarak zaman serisi analizi, araçları yönlendirme ve drone kullanımı için uygulanmıştır. Kompakt boyutları, öğrenilen davranışın incelenmesini kolaylaştırır. Her ağda olduğu gibi eğitim sırasında ağırlıklar sabitlenir; “sıvı” olan kısım ise girdinin her adımda yeniden şekillendirdiği dinamiklerdir.

Sıvı Zaman Sabiti Ağları Nasıl Çalışır#

Sürekli zamanlı bir RNN, gizli durumu x(t)'yi sinir ODE'lerinin yaptığı gibi ayrık bir güncelleme yerine sıradan bir diferansiyel denklemle tanımlar. Bir LTC ağı şu denklemi kullanır: dx/dt = −[1/τ + f(x, I, θ)] ⊙ x + f(x, I, θ) ⊙ A. Burada I(t) girdi, τ her nöron için temel zaman sabiti, A öğrenilmiş bir yanlılık vektörü ve f ise sınırlı, sigmoid benzeri çıktıya sahip küçük bir sinir ağıdır. f, azalma oranında yer aldığından her nöronun etkin zaman sabiti τ_sys = τ / (1 + τ f) olur; f büyük olduğunda bu değer küçülerek nöronun hızla tepki vermesini sağlar, f sıfıra yaklaştığında ise τ değerine yaklaşır. Makale, hem τ_sys değerinin hem de durumun sabit sınırlar içinde kaldığını kanıtlar; böylece çok büyük girdiler altında bile ağ kararlı kalır.

Eğitim, sayısal bir ODE çözücüyü açar ve çözücü boyunca geri yayılım yapar. Yazarların birleştirilmiş çözücüsü, x(t + Δt) = [x(t) + Δt f A] / [1 + Δt (1/τ + f)] yarı örtük adımını kullanır. Aşağıdaki PyTorch kodu bunu dört nöron için uygular ve üç farklı girdi verir:

import torch
from torch import nn

torch.manual_seed(0)
n_inputs, n_neurons, dt = 2, 4, 0.1
f = nn.Linear(n_inputs + n_neurons, n_neurons)  # gate network f(x, I); its weights stay fixed below
tau = torch.full((n_neurons,), 2.0)  # base time constant of each neuron
A = torch.randn(n_neurons)  # level each neuron is pulled toward when its gate opens


def ltc_step(x, I):
    """One fused-solver step of dx/dt = -(1/tau + f) * x + f * A, plus the effective time constant."""
    gate = torch.sigmoid(f(torch.cat([I, x])))
    x_next = (x + dt * gate * A) / (1 + dt * (1 / tau + gate))
    return x_next, tau / (1 + tau * gate)


x = torch.zeros(n_neurons)
for I in [torch.tensor([0.0, 0.0]), torch.tensor([5.0, -5.0]), torch.tensor([-5.0, 5.0])]:
    x, tau_sys = ltc_step(x, I)
    print(f"Input {I.tolist()}: time constants {[round(t, 2) for t in tau_sys.tolist()]}")

Sıfır girdi için [1.02, 0.99, 0.92, 1.1], (5, −5) girdisi için [1.35, 1.5, 1.06, 1.26], (−5, 5) girdisi için [0.8, 0.74, 0.82, 0.97] etkin zaman sabitlerini yazdırır. Aynı ağırlıklarla ikinci nöronun zaman sabiti, yalnızca ağın gördüğü girdiye bağlı olarak 0,74 ile 1,5 arasında değişir; yani iki katlık bir aralığa sahiptir. Durum sürekli zamanda evrildiğinden Δt, örnekler arasındaki gerçek aralığa göre de ayarlanabilir. Böylece LNN'ler, tıbbi kayıtlar veya olay güdümlü sensörler gibi düzensiz örneklenmiş verileri sabit bir hıza yeniden örneklemeden okuyabilir.

Sinir Devresi Politikaları ve CfC Ağları#

Aynı grubun birbiriyle ilişkili iki çalışması, LTC nöronlarını kontrol alanına taşıdı ve ODE çözücünün maliyetini ortadan kaldırdı:

• Sinir devresi politikaları (NCP'ler): Lechner, Hasani ve çalışma arkadaşları, 2020'de Nature Machine Intelligence'da LTC nöronlarını C. elegans örnek alınarak oluşturulmuş, duyusal, ara, komut ve motor nöronlarından oluşan seyrek ve katmanlı bir devrede birbirine bağladı. Evrişimli bir özellik çıkarıcısının arkasında çalışan, 19 kontrol nöronu ve 253 sinapstan oluşan bir politika; aracı şeridinde tutmak için kamera görüntülerinden araç yönlendirmeyi öğrendi. Makaleye göre bu politika, kendisinden çok daha büyük kara kutu denetleyicilere kıyasla daha iyi genelleme yaptı ve gürültüye daha dayanıklı oldu.
• Kapalı biçimli sürekli zamanlı (CfC) ağları: Hasani ve çalışma arkadaşları 2022'de, LTC çözümünün kapalı biçimli bir yaklaşımının sayısal çözücüyü ortadan kaldırdığını gösterdi. Bu yaklaşım, sürekli zamanlı davranışı korurken eğitim ve çıkarımı ODE tabanlı benzerlerinden bir ila beş büyüklük mertebesi hızlandırır.

Yazarların ncps kütüphanesi, PyTorch ve Keras için LTC ve CfC hücreleri ile NCP bağlantı düzenlerini uygular.

Uygulamalar#

• Drone navigasyonu: 2023 tarihli bir Science Robotics çalışmasında, sıvı ağlarla kontrol edilen dronlar yazın bir ormanda kaydedilen insan pilotlu gösterimlerden hedefe uçmayı öğrendi. Ardından kış ormanında, kentsel ortamlarda ve ek gürültü, döndürme ve örtülme koşullarında görevi tamamlayarak birçok son teknoloji alternatifi geride bıraktı.
• Tıbbi ve sensör zaman serileri: Sürekli zamanlı modeller, yoğun bakım ölçümleri gibi okumaların her test yapıldığında alındığı düzensiz akışlara uygundur.
• Algıdan kontrole uzanan hatlar: Sıvı bir denetleyici, kare başına kompakt özelliklere ihtiyaç duyar; YOLO26 bunları sağlayabilir. stream=True ile kullanılan tahmin modu, video kareleri başına bir sonuç veren bir üreteç üretir; böylece kutu koordinatları veya poz anahtar noktaları her kare işlendiğinde denetleyiciye ulaşır.

LNN'ler ve İlgili Modeller#

• LSTM ve GRU: Her girdi adımında bir kez güncellenen ve adımlar arasında ne kadar zaman geçtiğini hesaba katmayan ayrık zamanlı hücrelerdir. LTC nöronları sürekli olarak evrilir ve bunlardan oluşturulan denetleyiciler genellikle çok daha az nöron kullanır.
• Sinir ODE'leri: LTC ağları, kararlı dinamikleri garanti eden belirli ve sınırlı bir biçime sahip sinir ODE'leridir.
• Darbeli sinir ağları: Bunlar da beyinden esinlenmiştir, ancak nöronları ayrık darbelerle iletişim kurar. LTC nöronları ise C. elegans'ın darbe üretmeyen nöronlarını temel alan, sürekli değerli durumlara sahiptir.
• Durum uzayı modelleri: Bunlar da sürekli zamanlı yinelemelerdir ve hesaplama için ayrıklaştırılır. Mamba, adım boyutunu her girdiden hesaplayarak her kanala girdiye bağlı bir zaman sabiti verir. Hasani'nin grubu, S4 durum uzayı modelini LTC dinamikleriyle birleştirerek ICLR 2023'te Liquid-S4'ü geliştirdi.
• Liquid AI modelleri: Hasani, Lechner, Alexander Amini ve Daniela Rus, 2023'te MIT CSAIL bünyesinden çıkan bir girişim olarak Liquid AI'ı kurdu. Temmuz 2025'te yayımlanan LFM2 dil modelleri, kapılı kısa evrişimleri az sayıda gruplu sorgu dikkati katmanıyla birleştirir. “Sıvı” adını paylaşmalarına rağmen bu mimari, LTC ağlarından ayrıdır.