Liquid Neural Networks (LNNs)

الشبكات العصبية السائلة (LNNs) عائلة من الشبكات العصبية المتكررة (RNNs) المستمرة زمنيًا، تتبع فيها حالة كل عصبون معادلة تفاضلية يعتمد ثابتها الزمني على المدخل الحالي، لذا تتغير سرعة استجابة العصبون من لحظة إلى أخرى. قدّم رامين حساني وماتياس ليشنر وزملاؤهما في MIT وIST Austria وTU Wien النموذج الأساسي، وهو شبكة الثابت الزمني السائل (LTC)، في مؤتمر AAAI عام 2021، مستلهمين نماذج الجهاز العصبي للديدان الخيطية C. elegans، التي لديها 302 عصبون. وتكون LNNs صغيرة، وغالبًا ما تضم بضع عشرات من العصبونات، وقد استُخدمت أساسًا في تحليل السلاسل الزمنية وتوجيه المركبات والطائرات المسيّرة، حيث يسهل حجمها المدمج فحص السلوك المتعلَّم. ويثبّت التدريب الأوزان كما في أي شبكة، أما «السيولة» فتكمن في الديناميكيات التي يعيد المدخل تشكيلها عند كل خطوة.

آلية عمل شبكات الثابت الزمني السائل#

تصف شبكة RNN المستمرة زمنيًا حالتها الخفية x(t) بمعادلة تفاضلية عادية، كما تفعل معادلات ODE العصبية، بدلًا من التحديث المنفصل. وتستخدم شبكة LTC المعادلة dx/dt = −[1/τ + f(x, I, θ)] ⊙ x + f(x, I, θ) ⊙ A، حيث I(t) هو المدخل، وτ ثابت زمني أساسي لكل عصبون، وA متجه انحياز متعلَّم، وf شبكة عصبية صغيرة ذات خرج محدود وشبيه بدالة سيغمويد. ولأن f تظهر في معدل التناقص، يكون الثابت الزمني الفعّال لكل عصبون هو τ_sys = τ / (1 + τ f)، فينخفض عندما تكون f كبيرة، ما يجعل العصبون سريع الاستجابة، ويقترب من τ عندما تكون f قريبة من الصفر. وتثبت الورقة أن كلًا من τ_sys والحالة يظلان ضمن حدود ثابتة، لذا تبقى الشبكة مستقرة حتى مع المدخلات الكبيرة جدًا.

يُفرد التدريب محلّل ODE عدديًا ويُجري الانتشار العكسي عبره. ويتخذ المحلّل المدمج الذي وضعه المؤلفون خطوة شبه ضمنية، x(t + Δt) = [x(t) + Δt f A] / [1 + Δt (1/τ + f)]، وينفّذها المثال البرمجي التالي في PyTorch لأربعة عصبونات، مع تمرير ثلاثة مدخلات مختلفة إليه:

import torch
from torch import nn

torch.manual_seed(0)
n_inputs, n_neurons, dt = 2, 4, 0.1
f = nn.Linear(n_inputs + n_neurons, n_neurons)  # gate network f(x, I); its weights stay fixed below
tau = torch.full((n_neurons,), 2.0)  # base time constant of each neuron
A = torch.randn(n_neurons)  # level each neuron is pulled toward when its gate opens


def ltc_step(x, I):
    """One fused-solver step of dx/dt = -(1/tau + f) * x + f * A, plus the effective time constant."""
    gate = torch.sigmoid(f(torch.cat([I, x])))
    x_next = (x + dt * gate * A) / (1 + dt * (1 / tau + gate))
    return x_next, tau / (1 + tau * gate)


x = torch.zeros(n_neurons)
for I in [torch.tensor([0.0, 0.0]), torch.tensor([5.0, -5.0]), torch.tensor([-5.0, 5.0])]:
    x, tau_sys = ltc_step(x, I)
    print(f"Input {I.tolist()}: time constants {[round(t, 2) for t in tau_sys.tolist()]}")

يطبع ثوابت زمنية فعّالة قيمها [1.02, 0.99, 0.92, 1.1] عند مدخل صفري، و[1.35, 1.5, 1.06, 1.26] عند المدخل (5, −5)، و[0.8, 0.74, 0.82, 0.97] عند (−5, 5). ومع الأوزان نفسها، يتراوح الثابت الزمني للعصبون الثاني من 0.74 إلى 1.5، أي بمقدار الضعف، اعتمادًا فقط على ما تراه الشبكة. وبما أن الحالة تتطور في الزمن المستمر، يمكن أيضًا ضبط Δt على الفاصل الفعلي بين العينات، ما يتيح لـ LNNs قراءة بيانات مأخوذة على فترات غير منتظمة، مثل السجلات الطبية أو المستشعرات المدفوعة بالأحداث، دون إعادة أخذ عيناتها بمعدل ثابت.

سياسات الدارات العصبية وشبكات CfC#

نقل عملان مرتبطان من المجموعة نفسها عصبونات LTC إلى أنظمة التحكم، وأزالا تكلفة محلّل ODE:

• سياسات الدارات العصبية (NCPs): في مجلة Nature Machine Intelligence عام 2020، وصّل ليشنر وحساني وزملاؤهما عصبونات LTC في دارة متناثرة ومتعددة الطبقات، مستوحاة من C. elegans، تتكون من عصبونات حسية وبينية وأوامرية وحركية. وتعلّمت سياسة تضم 19 عصبون تحكم و253 مشبكًا، خلف مستخلص سمات التفافي، توجيه سيارة اعتمادًا على صور الكاميرا لإبقائها في مسارها، وتشير الورقة إلى أنها عمّمت أداءها وقاومت الضوضاء أفضل من وحدات تحكم الصندوق الأسود الأكبر منها بمراتب من حيث الحجم.
• شبكات الزمن المستمر ذات الحل المغلق (CfC): أوضح حساني وزملاؤه عام 2022 أن تقريبًا ذا حل مغلق لحل LTC يلغي الحاجة إلى المحلّل العددي، ما يجعل التدريب والاستدلال أسرع بمقدار يتراوح بين مرتبة وخمس مراتب من نظيراتهما المعتمدتين على ODE، مع الحفاظ على سلوك الزمن المستمر.

تطبّق مكتبة ncps الخاصة بالمؤلفين خلايا LTC وCfC وتوصيلات NCP في PyTorch وKeras.

التطبيقات#

• ملاحة الطائرات المسيّرة: في دراسة نُشرت عام 2023 في Science Robotics، تعلّمت طائرات مسيّرة تتحكم بها شبكات سائلة الطيران إلى هدف اعتمادًا على عروض سجّلها طيارون بشريون في غابة صيفًا، ثم أكملت المهمة في غابة شتوية وبيئات حضرية، مع إضافة الضوضاء والدوران والحجب، متفوقةً على كثير من البدائل المتقدمة.
• السلاسل الزمنية الطبية وسلاسل المستشعرات: تلائم النماذج المستمرة زمنيًا التدفقات غير المنتظمة، مثل قياسات العناية المركزة التي تصل قراءاتها كلما أُجري اختبار.
• خطوط أنابيب الإدراك إلى التحكم: يحتاج المتحكم السائل إلى سمات مدمجة لكل إطار، ويمكن لـ YOLO26 توفيرها: إذ ينتج وضع التنبؤ مع stream=True نتيجة لكل إطار فيديو على هيئة مولّد، فتصل إحداثيات الصناديق أو نقاط مفاتيح الوضعية إلى المتحكم أثناء معالجة كل إطار.

LNNs مقارنةً بالنماذج ذات الصلة#

• LSTM وGRU: خلايا تعمل بزمن متقطع وتحدّث حالتها مرةً لكل خطوة إدخال، دون اعتبار للزمن المنقضي بين الخطوات. أما عصبونات LTC فتتطور باستمرار، وعادةً ما تستخدم وحدات التحكم المبنية عليها عددًا أقل بكثير من العصبونات.
• معادلات ODE العصبية: شبكات LTC هي معادلات ODE عصبية ذات صيغة محددة ومحدودة تضمن استقرار الديناميكيات.
• الشبكات العصبية النبضية: تستلهم الدماغ أيضًا، لكن عصبوناتها تتواصل بنبضات منفصلة. أما عصبونات LTC فلها حالات مستمرة القيم، مستوحاة من العصبونات غير النبضية لدى C. elegans.
• نماذج فضاء الحالة: تكرارات مستمرة زمنيًا أيضًا، وتُحوّل إلى صيغة متقطعة لأغراض الحساب. يحسب Mamba حجم خطوته من كل مدخل، ما يمنح كل قناة ثابتًا زمنيًا يعتمد على المدخل، ودمجت مجموعة حساني نموذج فضاء الحالة S4 مع ديناميكيات LTC في Liquid-S4 ضمن مؤتمر ICLR 2023.
• نماذج Liquid AI: أسّس حساني وليشنر وألكسندر أميني ودانييلا روس Liquid AI عام 2023 بوصفها شركة منبثقة عن MIT CSAIL. تجمع نماذج اللغة LFM2، التي صدرت في يوليو 2025، بين الالتفافات القصيرة ذات البوابات وعدد صغير من طبقات انتباه الاستعلامات المجمّعة، وهي بنية منفصلة عن شبكات LTC رغم اشتراكها معها في اسم «السائل».