State Space Models (SSM)

يحوّل نموذج فضاء الحالات (SSM) تسلسلًا من المدخلات إلى تسلسل من المخرجات عبر متجه حالة مخفي يحدّثه في كل خطوة؛ لذلك تبقى ذاكرته بالحجم نفسه مهما طال التسلسل. تعود الفكرة إلى نظرية التحكم، حيث يُكتب النظام الخطي على هيئة تحديث للحالة h' = Ah + Bx ومخرج y = Ch + Dx، وحيث يقدّر مرشح كالمان مثل هذه الحالات انطلاقًا من قياسات مشوشة منذ عام 1960. تتعلم نماذج SSM في التعلم العميق المصفوفات A وB وC من البيانات، وتكدّس العديد من هذه الطبقات. ومنذ S4 في عام 2021 وMamba في عام 2023، نافست هذه النماذج المحوّلات في معالجة التسلسلات الطويلة من النصوص والصوت وبيانات السلاسل الزمنية، فيما يزداد حملها الحاسوبي خطيًا مع طول التسلسل.

آلية عمل نماذج SSM#

تحوّل طبقة SSM العصبية المعادلات المستمرة إلى علاقة تكرارية متقطعة ذات حجم خطوة متعلّم Δ، باستخدام قاعدة الاستبقاء من الرتبة صفر Ā = exp(ΔA). ثم تحسب كل خطوة h_t = Ā h_(t-1) + B̄ x_t وy_t = C h_t. عندما تبقى A وB وC ثابتة عبر خطوات الزمن، تكشف بسط العلاقة التكرارية أن المخرج هو التفاف للمدخل مع النواة (CB̄, CĀB̄, CĀ²B̄, ...). ولذلك يمكن تشغيل الطبقة نفسها كعملية التفاف أثناء التدريب، لمعالجة التسلسل بأكمله بالتوازي على GPU، وكعلاقة تكرارية أثناء التوليد، مع تحديث حالة ثابت الحجم لكل رمز. وفي PyTorch، يعطي التمثيلان المخرجات نفسها:

import torch

torch.manual_seed(0)
L, N = 64, 16  # ⁨طول التسلسل، حجم الحالة⁩
x = torch.randn(L)

# ⁨نموذج SSM مستمر زمنيًا وقطري، متقطع بحجم خطوة دلتا (الاستبقاء من الرتبة صفر)⁩
A = -(torch.rand(N) + 0.5)
B, C, delta = torch.randn(N), torch.randn(N), 0.1
A_bar = torch.exp(delta * A)
B_bar = (A_bar - 1) / A * B

# ⁨التمثيل التكراري: تحديث واحد للحالة في كل خطوة، كما في التوليد⁩
h, y_rec = torch.zeros(N), []
for t in range(L):
    h = A_bar * h + B_bar * x[t]
    y_rec.append(C @ h)
y_rec = torch.stack(y_rec)

# ⁨التمثيل الالتفافي: حساب النواة مسبقًا K_k = C . (A_bar^k * B_bar)، كما في التدريب⁩
K = torch.stack([C @ (A_bar**k * B_bar) for k in range(L)])
y_conv = torch.stack([K[: t + 1].flip(0) @ x[: t + 1] for t in range(L)])

print("Same outputs:", torch.allclose(y_rec, y_conv, atol=1e-5))

يطبع Same outputs: True. لا تحتفظ العلاقة التكرارية سوى بـ16 قيمة للحالة في كل خطوة، بينما تتيح النواة المحسوبة مسبقًا للتدريب حساب المخرجات الـ64 كلها بالتوازي.

من S4 إلى Mamba#

كانت نماذج SSM العميقة الأولى أبطأ مما ينبغي وتستهلك ذاكرة كبيرة جدًا للتدريب على نطاق واسع. وقد منح S4، الذي طوّره Albert Gu وKaran Goel وChristopher Ré، مصفوفة الحالة بنيةً تجعل حساب نواة الالتفاف منخفض التكلفة، كما استخدم تهيئة صُممت لتذكر السجلات الطويلة. وحقق أفضل النتائج في جميع مهام معيار Long Range Arena، وأصبح أول نموذج يحل مهمة Path-X التي تتضمن تسلسلات من 16K خطوة، كما ولّد أسرع بستين مرة من المحوّل.

تتعامل النواة الثابتة مع كل مدخل بالطريقة نفسها، لذا لا تستطيع أن تقرر تجاهل الحشو والاحتفاظ بمعلومة أساسية. أما Mamba، الذي طوّره Albert Gu وTri Dao، فيجعل Δ وB وC دوالًا للرمز الحالي، ما يتيح للنموذج اختيار ما يكتبه في حالته وما ينساه. وتلغي هذه المعلمات الانتقائية تمثيل الالتفاف، لذا يحسب Mamba العلاقة التكرارية من خلال مسح متوازٍ يراعي العتاد. وحقق Mamba إنتاجية استدلال أعلى بخمس مرات من المحوّلات، كما تفوق Mamba-3B على المحوّلات المماثلة له في الحجم وعادل أداء محوّلات أكبر منه بضعفين. وتحيط كل كتلة Mamba بنموذج SSM انتقائي باستخدام التفاف قصير وبوابة SiLU:

أظهر Mamba-2 أن نماذج SSM الانتقائية وشكلًا من الانتباه الخطي هما تمثيلان متكافئان للحساب نفسه، وهو إطار يسميه مؤلفوه ازدواجية فضاء الحالة، واستخدم هذا الاكتشاف لجعل الطبقة الأساسية أسرع من ضعفين إلى ثمانية أضعاف.

نماذج SSM والبنى ذات الصلة#

• المحوّلات: يقارن الانتباه الذاتي كل رمز بجميع الرموز الأخرى، لذا يمكنه نسخ أي رمز سابق بدقة، بتكلفة تزداد تربيعيًا، ومع ذاكرة تخزين مؤقت للمفتاح والقيمة (KV cache) تزداد مع نافذة السياق. ويضغط نموذج SSM السجل في حالة ثابتة، ما يقلل التكلفة لكنه يفقد بعض المعلومات. وقد أظهرت ورقة 2024 Repeat After Me أن المحوّلات تتفوق على نماذج SSM ذات الحالة الثابتة في نسخ المدخلات الطويلة واسترجاع المعلومات منها.
• الشبكات العصبية المتكررة (RNNs): تطبق شبكة RNN أو LSTM تحديثًا غير خطي، لذا يتعين على التدريب اجتياز التسلسل رمزًا واحدًا في كل مرة. أما تحديثات SSM فهي خطية في الحالة، ما يتيح استخدام الالتفاف أو المسح المتوازي.
• نماذج ماركوف المخفية (HMMs): يضم نموذج HMM مجموعة محدودة من الحالات المتقطعة ذات احتمالات انتقال. ويُعد نموذج فضاء الحالة الخطي الغاوسي الذي يقوم عليه مرشح كالمان نظيره المستمر، وتحافظ نماذج SSM العميقة على متجه الحالة المستمر هذا.

مجالات استخدام نماذج SSM#

يتركز معظم الاستخدام الإنتاجي على نماذج اللغة الكبيرة (LLMs) الهجينة التي تحتفظ ببعض طبقات الانتباه للاسترجاع الدقيق. يوزع Jamba من AI21 طبقات المحوّل وMamba بالتناوب مع طبقات مزيج الخبراء (MoE)، ويعمل على وحدة GPU واحدة بسعة 80 GB، ويحقق نتائج قوية مع سياقات تصل إلى 256K رمز. أما نماذج Granite 4.0-H الهجينة من IBM فتجمع بين طبقات Mamba-2 والمحوّل بنسبة 9:1. ويطبّق Vision Mamba عمليات المسح الانتقائي على رقع الصور، كما تمثل نماذج SSM الصوت الخام وتسلسلات الحمض النووي التي تطول أكثر من أن يناسبها الانتباه الكامل. ويعمل الشكل التقليدي منها في تتبع Ultralytics YOLO26: إذ يتنبأ متتبع TrackTrack الافتراضي، شأنه شأن ByteTrack وBoT-SORT، بالصندوق التالي لكل كائن باستخدام مرشح كالمان، الذي تضم حالته ذات الأبعاد الثمانية مركز الصندوق وحجمه وسرعاتهما، وتُحدّث الحالة بمصفوفة انتقال ذات سرعة ثابتة ومصفوفة رصد خطية تقرأ إحداثيات الصندوق الأربع.