Linear Attention

الانتباه الخطي عائلة من آليات الانتباه تزداد كلفتها خطيًا مع طول التسلسل، بدلًا من الكلفة التربيعية لانتباه الذاتي القياسي باستخدام softmax. يقيّم انتباه softmax كل استعلام مقابل كل مفتاح، لذلك تنتج N من الرموز مصفوفة درجات N × N لكل رأس، ويحتفظ المحوّل الذي يولّد النص بـذاكرة تخزين مؤقتة للمفاتيح والقيم (KV) يزداد حجمها مع كل رمز. يستبدل الانتباه الخطي تشابه softmax بجداء نقطي لخرائط الميزات، φ(q)·φ(k)، ما يتيح للنموذج إعادة تجميع جداءات المصفوفات وتلخيص كل المفاتيح والقيم السابقة في حالة ثابتة الحجم. قدّمت ورقة عام 2020 لكاثاروبولوس وآخرين، المحوّلات شبكات عصبية تكرارية، الصيغة الشائعة للطريقة، وتعمل الآن نسخ بوّابية ضمن نماذج اللغة الكبيرة (LLMs) في الإنتاج إلى جانب طبقات الانتباه القياسية.

كيف يعمل الانتباه الخطي#

يحسب انتباه softmax التعبير softmax(QKᵀ)V، ولأن exp(q·k) لا يتحلل إلى جزء خاص بالاستعلام وآخر خاص بالمفتاح، يجب تقييم كل زوج من استعلام ومفتاح. باستخدام خريطة ميزات φ، مثل elu(x) + 1، يصبح الناتج φ(Q)(φ(K)ᵀV)، ويُطبّع بضرب φ(Q) في مجموع صفوف φ(K). ضرب المصفوفات عملية تجميعية، لذا يمكن حساب φ(K)ᵀV أولًا، ما يعطي مصفوفة d × d، حيث d هو بُعد الرأس، بصرف النظر عن عدد الرموز. ينخفض الزمن من O(N²d) إلى O(Nd²)، وتتحقق الفائدة عندما تكون التسلسلات أطول بكثير من بُعد الرأس.

في النماذج السببية، تحوّل الجبرية نفسها الانتباه إلى شبكة عصبية تكرارية (RNN) ذات حالة مصفوفية. يضيف كل رمز جديد الجداء الخارجي φ(k)vᵀ إلى الحالة، ويقرأ استعلامه من تلك الحالة، لذا يتطلب توليد النص ذاكرة ثابتة وزمنًا ثابتًا لكل رمز. يستخدم التدريب الصيغة المتوازية أو نوى المعالجة على دفعات مثل تلك الموجودة في مكتبة flash-linear-attention، لذا تظل GPU تعالج التسلسلات كاملة دفعة واحدة. في PyTorch، تعطي الصيغتان المخرجات نفسها:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
n, d = 2048, 64
q, k, v = torch.randn(3, n, d).unbind(0)
phi_q, phi_k = F.elu(q) + 1, F.elu(k) + 1  # positive feature map in place of softmax

# Parallel form: an n x n causal score matrix, as in softmax attention
scores = torch.tril(phi_q @ phi_k.T)
parallel = (scores @ v) / scores.sum(dim=-1, keepdim=True)

# Recurrent form: a fixed d x d state that each new token updates
state, norm, outputs = torch.zeros(d, d), torch.zeros(d), []
for t in range(n):
    state += torch.outer(phi_k[t], v[t])
    norm += phi_k[t]
    outputs.append(phi_q[t] @ state / (phi_q[t] @ norm))
recurrent = torch.stack(outputs)

print("Same outputs:", torch.allclose(parallel, recurrent, atol=1e-4))
print(f"Recurrent state: {state.numel():,} numbers; KV cache after {n:,} tokens: {2 * n * d:,} numbers")

يطبع Same outputs: True. تحتوي الحالة ذات الأبعاد 64 × 64 على 4,096 رقمًا مهما ازداد طول التسلسل، بينما تحتوي ذاكرة KV المؤقتة لرأس واحد بعد 2,048 رمزًا على 262,144 رقمًا، ويزيد حجمها بمقدار 128 مع كل رمز جديد.

DeltaNet والبوابات والنماذج الهجينة#

الحالة ثابتة الحجم ذاكرة فاقدة للمعلومات. يضيف إليها الانتباه الخطي البسيط فقط، فتتراكم الارتباطات القديمة وتتداخل، ويتراجع استدعاء الحقائق المحددة من نافذة السياق الطويلة مقارنةً بانتباه softmax. يهيمن حلّان الآن. تضرب البوابات الحالة في اضمحلال متعلّم قبل كل تحديث، ما يمكّن النموذج من النسيان؛ وهي آلية مشتركة مع نماذج فضاء الحالة (SSMs) مثل Mamba-2، التي أوضح مؤلفوها أن العائلتين صورتان مزدوجتان إحداهما للأخرى. أما قاعدة دلتا، المستمدة من الأبحاث التي تربط المحوّلات الخطية بـمبرمجي الأوزان السريعة، فتقرأ القيمة المخزنة حاليًا لمفتاح ما، ولا تكتب إلا الفرق بين القيمة الجديدة والتنبؤ المخزّن. جعل DeltaNet التدريب بقاعدة دلتا متوازيًا عبر التسلسل في عام 2024، وأضاف Gated DeltaNet (ICLR 2025) بوابة اضمحلال، بينما حسّنت Kimi Linear من Moonshot AI هذه البوابة لتعمل على كل قناة على حدة.

تتناوب النماذج الإنتاجية بين هذه الطبقات وطبقات الانتباه الكامل، كي تحافظ بضعةُ طبقات softmax على الاستدعاء الدقيق. تكرر Qwen3-Next وعائلة Qwen3.5 كتلةً من ثلاث طبقات Gated DeltaNet تتبعها طبقة واحدة من انتباه softmax بوّابي، وتستخدم Kimi Linear مزيجًا مشابهًا بنسبة 3:1 من Kimi Delta Attention والانتباه الكامن متعدد الرؤوس:

الانتباه الخطي مقارنةً بالأساليب ذات الصلة#

• الانتباه الذاتي: صيغة softmax الدقيقة التي تقيّم كل أزواج الرموز، بزمن تربيعي وذاكرة KV مؤقتة يزداد حجمها مع التسلسل.
• انتباه Flash: نواة GPU تحسب انتباه softmax الدقيق على كتل محفوظة في الذاكرة الموجودة على الشريحة. تقلل حركة البيانات في الذاكرة، بينما يظل عدد العمليات تربيعيًا.
• الانتباه المتناثر: يُبقي softmax ولا يقيّم إلا أزواجًا محددة، مثل نطاق محلي من الرموز الحديثة.
• انتباه الاستعلامات المجمعة (GQA): يشارك المفاتيح والقيم بين رؤوس الاستعلام لتقليص ذاكرة KV المؤقتة بعامل ثابت، مع الحفاظ على انتباه softmax الكامل.

مواضع استخدام الانتباه الخطي#

تُعد نماذج اللغة ذات السياق الطويل أكبر مجالات الاستخدام، لأن الطبقات الخطية في النموذج الهجين تحتفظ بحالة ثابتة الحجم أثناء فك الترميز، ولا تحمل ذاكرة KV المؤقتة المتنامية إلا طبقات softmax القليلة. ويأتي مجال الرؤية ثانيًا، لأن عدد الرموز يزداد مع دقة الصورة. يستخدم EfficientViT انتباهًا خطيًا قائمًا على ReLU من أجل التجزئة الدلالية عالية الدقة، وتبني SANA من NVIDIA محوّل انتشار خطيًا يولّد صورًا تصل أبعادها إلى 4096 × 4096 بكسل. وفي اكتشاف الأجسام، يعمل الانتباه عادةً حيث تكون خرائط الميزات أصغر ما يمكن. يُبقي YOLO26 على انتباه softmax القياسي، ولا يشغّله إلا في كتلة C2PSA وكتلة C3k2 واحدة مفعّل فيها الانتباه، وكلتاهما على خريطة الميزات ذات الخطوة 32 والأبعاد 20 × 20 لصورة بدقة 640 بكسل؛ لذا ترى كل طبقة انتباه 400 رمز ومصفوفة درجات كاملة تضم 160,000 قيمة لكل رأس.