Sparse Attention

الانتباه المبعثر هو تقنية تحسين متقدمة في التعلم العميق (DL) مصممة لتقليل العبء الحسابي بشكل كبير عند معالجة تسلسلات طويلة من البيانات. في بنيات Transformer التقليدية، تحسب النماذج التفاعلات بين كل قطعة بيانات مفردة، مثل كل كلمة في مستند أو كل بكسل في صورة. ومع زيادة حجم المدخلات، يتسبب هذا في عبء حسابي هائل ويتجاوز بسرعة قيود ذاكرة GPU. يعالج الانتباه المبعثر عنق الزجاجة هذا من خلال تبني مبادئ من الشبكات العصبية المبعثرة. فبدلاً من مقارنة كل شيء بكل شيء، يحد النموذج استراتيجيًا من تركيزه على مجموعة فرعية ديناميكية وأصغر من نقاط البيانات الأكثر صلة. وهذا يسمح بمعالجة فعالة للمدخلات الطويلة بشكل لا يصدق دون التضحية بدقة النموذج.

Link to this sectionالتمييز بين أنماط الانتباه#

يتطلب فهم كيفية توافق الانتباه المبعثر مع الذكاء الاصطناعي الحديث تمييزه عن آليات الانتباه ذات الصلة. بينما يحسب الانتباه الذاتي (Self-Attention) القياسي خريطة كثيفة وعالمية لجميع تفاعلات الرموز (tokens)، يقوم الانتباه المبعثر صراحةً بإخفاء الاتصالات الأقل أهمية باستخدام أنماط محددة مسبقًا مثل النوافذ المنزلقة أو الشبكات المبعثرة الكتلية.

يختلف هذا جوهريًا عن Flash Attention، وهو تحسين على مستوى الأجهزة يسرع الانتباه الدقيق القياسي عن طريق تقليل عمليات القراءة/الكتابة في الذاكرة على شريحة GPU نفسها. علاوة على ذلك، فهو يختلف عن الانتباه القابل للتشوه (Deformable Attention). حيث تتعلم الشبكات القابلة للتشوه مواقع أخذ العينات المكانية الديناميكية أثناء التشغيل، بينما يعتمد الانتباه المبعثر عادةً على أنماط تشتت هيكلية وخوارزمية لتصفية الاتصالات غير ذات الصلة.

تُستخدم هذه الآليات عالية الكفاءة بشكل نشط في أطر عمل PyTorch ecosystem الحديثة وتطبيقات TensorFlow. ومع ذلك، يمكن للبنيات المعتمدة كليًا على الانتباه أن تقدم أحيانًا تعقيدات في النشر على أجهزة الحافة (edge devices). للمطورين الذين يبحثون عن أداء فائق السرعة ومُحسّن للحافة دون العبء الكبير لـ Transformer، فإن Ultralytics YOLO26 هو المعيار الموصى به لمهام مثل اكتشاف الكائنات وتجزئة الصور.

Link to this sectionتطبيقات العالم الحقيقي#

يُعد الانتباه المبعثر حجر الزاوية للتطبيقات الموثقة في منشورات IEEE الأكاديمية الأخيرة، وقد كانت رائدة فيه منظمات مثل تطورات رؤية OpenAI وأبحاث Anthropic المتقدمة.

• نماذج اللغة الكبيرة (LLMs) والمستندات الطويلة: من خلال الاستفادة من التفاعلات المبعثرة، يمكن لنماذج النصوص الحديثة تحقيق نافذة سياق هائلة. وهذا يمكّن الذكاء الاصطناعي من استيعاب وتلخيص كتب مدرسية كاملة، أو قواعد أكواد قانونية، أو تقارير مالية معقدة في تمريرة واحدة دون التعطل بسبب قيود الذاكرة.
• تحليل الصور الطبية عالية الدقة: في علم الأمراض والأشعة، يجب على أنظمة الذكاء الاصطناعي معالجة مسوحات أنسجة بدقة جيجابكسل. تسمح التقنيات المبعثرة لمحوّلات الرؤية بتحليل الصور الضخمة بدقتها الأصلية، مما يتيح اكتشاف الشذوذات الخلوية الدقيقة دون تقليل الدقة وفقدان تفاصيل التشخيص الحيوية.
• رسم خرائط التسلسل الجينومي: في المعلوماتية الحيوية، يتضمن تحليل DNA مقارنة تسلسلات طويلة للغاية من الكود الجيني. يساعد الانتباه المبعثر نماذج الذكاء الاصطناعي في العثور على الأنماط الهيكلية في مليارات أزواج القواعد بكفاءة، مما يسرع اكتشاف الأدوية وأبحاث الأمراض.

Link to this sectionمحاكاة أقنعة الانتباه المبعثر#

يتمثل أحد المكونات الأساسية لتنفيذ الانتباه المبعثر في إنشاء قناع يقيّد النموذج من النظر إلى كل رمز (token). يوضح كود PyTorch التالي كيفية إنشاء قناع مبعثر محلي، مما يضمن أن الرمز لا ينتبه إلا لجيرانه المباشرين.

import torch

# Simulate a sequence of 6 tokens
seq_len = 6

# Create a sparse mask where True allows attention (local window of size 1)
sparse_mask = torch.eye(seq_len, dtype=torch.bool)
sparse_mask.diagonal(1).fill_(True)
sparse_mask.diagonal(-1).fill_(True)

print("Sparse Attention Mask:\n", sparse_mask.int())

عند توسيع نطاق مشاريع رؤية الكمبيوتر (CV) إلى الإنتاج، غالبًا ما يستفيد المطورون من منصة Ultralytics. يعمل هذا الحل السحابي الشامل على تبسيط عملية تدريب وتتبع ونشر النماذج المتطورة، مما يغني عن التعامل مع البنية التحتية المعقدة المطلوبة للتحسينات المتقدمة مثل نوى الانتباه المخصصة.