Sparse Attention

الانتباه المتناثر عائلة من آليات الانتباه تحسب فيها كل استعلام درجات لمجموعة مختارة فقط من المفاتيح، بدلًا من جميع مفاتيح التسلسل. يحسب الانتباه الذاتي الكامل على N من الرموز عدد N² من الدرجات لكل رأس، لذلك تؤدي مضاعفة طول المستند إلى زيادة تكلفة الانتباه أربعة أضعاف، بينما لا تتجاوز تكلفة النمط الذي ينتبه فيه كل رمز إلى k رموز أخرى N·k. ويمكن تحديد النمط مسبقًا، مثل نافذة محلية، أو اختياره من المحتوى، مثل المفاتيح ذات أعلى الدرجات لكل استعلام. استخدم Sparse Transformer من OpenAI عام 2019 أنماطًا متباعدة بتكلفة O(N√N) لنمذجة تسلسلات يصل طولها إلى عشرات الآلاف من الخطوات، وتستخدم النماذج اللغوية الكبيرة (LLMs) الحالية طبقات متناثرة لدعم نوافذ سياق تتجاوز 100,000 رمز.

أنماط التناثر الشائعة#

تحدد الأنماط الثابتة مسبقًا أزواج العناصر التي ستُحسب درجاتها. يتيح انتباه النافذة المنزلقة لكل رمز الاطلاع على الرموز الـw السابقة فقط: يستخدم Mistral 7B نافذة من 4,096 رمزًا، وتناوب نماذج gpt-oss مفتوحة الأوزان من OpenAI بين طبقات كثيفة وطبقات نافذة من 128 رمزًا، وهو التناوب نفسه بين الطبقات الكثيفة والمحلية النطاق الذي استخدمه GPT-3. تنقل كل طبقة ذات نافذة المعلومات إلى الأمام بمقدار w من الرموز، لذا تظل الرموز البعيدة مترابطة في مكدس عميق. وتضيف الأنماط المتباعدة كل رمز سابق رقم s، لكي تقفز المعلومات أيضًا مسافات طويلة في طبقة واحدة. تنتبه الرموز العامة إلى كل موضع، كما ينتبه كل موضع إليها: يخصص Longformer هذه الرموز لرموز المهام، مثل رمز التصنيف، ويضيف BigBird اتصالات عشوائية أيضًا، بينما تُبقي مغاسل الانتباه الرموز الأولى القليلة مرئية لكل استعلام، للحفاظ على استقرار التوليد المتدفق.

تختار الأنماط القائمة على المحتوى الأزواج من البيانات. يجمع Native Sparse Attention من DeepSeek (NSA، 2025) بين ملخصات مضغوطة لكتل المفاتيح واختيار الكتل الأشد صلة ونافذة منزلقة، مع تدريب جميع المكونات من البداية إلى النهاية. ويشغّل DeepSeek Sparse Attention في DeepSeek-V3.2 أداة فهرسة صغيرة سريعة تحسب درجة كل رمز سابق لكل استعلام، ثم تحسب الانتباه الكامل لأعلى 2,048 رمزًا فقط؛ وبذلك تظل تكلفة الانتباه الرئيسية لكل استعلام ثابتة مهما طال السياق. وغالبًا ما تجمع نماذج الإنتاج بين هذه القواعد:

تحويل النمط إلى توفير#

لا يزال تطبيق قناع على مصفوفة درجات كثيفة يحسب كل الدرجات، لذا تأتي تسريعات الأداء من النوى التي تتخطى كتل المصفوفة الفارغة. تدعم نوى انتباه Flash النوافذ المنزلقة مباشرةً، ويحوّل FlexAttention في PyTorch أي دالة قناع إلى نواة متناثرة على GPU. يوضّح create_block_mask الكتل التي تتخطاها هذه النواة لنافذة من 1,024 رمزًا إضافةً إلى أربعة رموز مغسلة:

from torch.nn.attention.flex_attention import create_block_mask

seq_len, window, sinks = 8192, 1024, 4


def local_plus_sinks(b, h, q_idx, kv_idx):
    """Causal attention to the previous 1,024 tokens plus the first 4 tokens."""
    causal = q_idx >= kv_idx
    return causal & ((q_idx - kv_idx <= window) | (kv_idx < sinks))


# ⁨يقسّم FlexAttention القناع إلى كتل بحجم 128 x 128، حتى تتمكن أنويته من تخطي الكتل الفارغة⁩
block_mask = create_block_mask(local_plus_sinks, B=None, H=None, Q_LEN=seq_len, KV_LEN=seq_len, device="cpu")
print(block_mask)

تعرض المخرجات sparsity=85.47%، أي نسبة كتل 128 × 128 في مصفوفة الدرجات 8,192 × 8,192 التي لا تحتوي على أي زوج مسموح به، وترسم النمط على هيئة شريط قطري للنافذة وعمود على اليسار لرموز المغسلة. عندما يعمل flex_attention ضمن torch.compile، تتخطى نواته تلك الكتل بالكامل.

الانتباه المتناثر ومصطلحات ذات صلة#

• انتباه Flash: نواة تراعي حركة الإدخال والإخراج، وتحسب الانتباه الدقيق لكل زوج عبر تقسيم العمل إلى كتل في ذاكرة سريعة على الشريحة. وتُعد كتلها أيضًا الوحدة التي تتخطاها الأنوية المتناثرة على مستوى الكتل.
• الانتباه الخطي: يحتفظ بكل الأزواج، لكنه يستبدل softmax بخريطة سمات، بحيث تُضغط جميع المفاتيح والقيم السابقة في حالة ثابتة الحجم.
• الانتباه القابل للتشوه: آلية للرؤية ينتبه فيها كل استعلام إلى بضع نقاط أخذ عينات عند إزاحات متعلَّمة في خريطة السمات، بدلًا من اتباع نمط ثابت.
• مزيج الخبراء (MoE): تناثر في المعلمات، حيث ينشّط كل رمز عددًا قليلًا من شبكات الخبراء، بينما يظل نمط الانتباه كثيفًا.

التطبيقات#

تُعد نماذج اللغة ذات السياق الطويل الاستخدام الرئيسي: إذ تحدّ الطبقات المتناثرة من الحوسبة، كما تحدّ طبقات النوافذ من ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache)، ما يتيح للنماذج تلخيص تقارير طويلة أو البحث في قواعد شيفرة كبيرة ضمن طلب واحد. طبّق BigBird نمطه المتناثر على تسلسلات الحمض النووي، حيث يكون الإدخال المؤلف من آلاف أزواج القواعد أطول بكثير من جملة اعتيادية، للتنبؤ بمناطق المحفزات. وفي الرؤية الحاسوبية، يزداد عدد الرموز مع دقة الصورة، لذلك تقصر النماذج الانتباه على مناطق محلية: إذ ينتبه Swin Transformer ضمن نوافذ متحركة. ويستخدم YOLO12، وهو كاشف يرتكز على الانتباه طوّره باحثون في University at Buffalo وUniversity of Chinese Academy of Sciences ويعمل ضمن حزمة Ultralytics، انتباه المناطق: إذ تقسّم مرحلة العمود الفقري ذات الخطوة 16 خريطة السمات بحجم 40 × 40 لصورة طول ضلعها 640 بكسل إلى أربعة شرائط أفقية، يتكون كل منها من 400 رمز، ولا يحسب الانتباه إلا ضمن كل شريط؛ أي إنه يحسب ربع الأزواج البالغ عددها 2.56 مليونًا التي يتطلبها الانتباه الكامل على الرموز الـ1,600 جميعها.