Sparse Attention

الانتباه المتناثر هو تقنية تحسين متقدمة في التعلّم العميق (DL) مصممة لتقليل العبء الحسابي لمعالجة سلاسل البيانات الطويلة بشكل كبير. في بنيات Transformer التقليدية، تحسب النماذج التفاعلات بين كل جزء من البيانات—مثل كل كلمة في مستند أو كل بكسل في صورة. ومع ازدياد حجم الإدخال، يؤدي ذلك إلى عبء حسابي زائد هائل، ويتجاوز سريعًا قيود ذاكرة GPU. يعالج الانتباه المتناثر عنق الزجاجة هذا من خلال تبنّي مبادئ الشبكات العصبية المتناثرة. فبدلًا من مقارنة كل شيء بكل شيء، يحد النموذج تركيزه استراتيجيًا على مجموعة فرعية أصغر وديناميكية من نقاط البيانات ذات الصلة العالية. ويتيح ذلك معالجة فعالة لمدخلات طويلة للغاية من دون التضحية بدقة النموذج.

التمييز بين أنماط الانتباه#

يتطلب فهم موضع الانتباه المتناثر ضمن الذكاء الاصطناعي الحديث تمييزه عن آليات الانتباه ذات الصلة. ففي حين يحسب الانتباه الذاتي القياسي خريطة كثيفة وشاملة لجميع تفاعلات الرموز، يحجب الانتباه المتناثر صراحةً الاتصالات الأقل أهمية باستخدام أنماط محددة مسبقًا، مثل النوافذ المنزلقة أو الشبكات المتناثرة على شكل كتل.

يختلف هذا اختلافًا جوهريًا عن Flash Attention، وهو تحسين على مستوى العتاد يسرّع الانتباه الدقيق القياسي من خلال تقليل عمليات قراءة البيانات وكتابتها في شريحة GPU نفسها. علاوة على ذلك، فهو يختلف عن الانتباه القابل للتشوه. إذ تتعلم الشبكات القابلة للتشوه مواقع أخذ عينات مكانية ديناميكية أثناء التشغيل، بينما يعتمد الانتباه المتناثر عادةً على أنماط تناثر منظمة وخوارزمية لتصفية الاتصالات غير ذات الصلة.

تُستخدم هذه الآليات عالية الكفاءة بنشاط في أطر عمل حديثة ضمن منظومة PyTorch وتطبيقات TensorFlow. ومع ذلك، قد تؤدي البنى المعتمدة بالكامل على الانتباه أحيانًا إلى تعقيدات في النشر على الأجهزة الطرفية. وبالنسبة إلى المطورين الذين يبحثون عن أداء فائق السرعة ومحسّن للأجهزة الطرفية من دون العبء الكبير لـ Transformer، فإن Ultralytics YOLO26 هو المعيار الموصى به لمهام مثل اكتشاف الكائنات وتجزئة الصور.

التطبيقات الواقعية#

يُعد الانتباه المتناثر ركيزة أساسية للتطبيقات الموثقة في المنشورات الأكاديمية الحديثة الصادرة عن IEEE، وقد طوّرته مؤسسات مثل تطورات الرؤية لدى OpenAI والأبحاث المتقدمة لدى Anthropic.

• النماذج اللغوية الكبيرة (LLMs) والمستندات الطويلة: من خلال الاستفادة من التفاعلات المتناثرة، تستطيع النماذج النصية الحديثة تحقيق نافذة سياق ضخمة. ويتيح ذلك للذكاء الاصطناعي استيعاب كتب دراسية كاملة أو قواعد شفرات قانونية أو تقارير مالية معقدة وتلخيصها في تمريرة واحدة، من دون التعطل بسبب حدود الذاكرة.
• تحليل الصور الطبية عالية الدقة: في علم الأمراض والأشعة، يجب على أنظمة الذكاء الاصطناعي معالجة مسوحات نسيجية بحجم غيغابكسل. وتتيح التقنيات المتناثرة لمحولات الرؤية تحليل صور ضخمة بدقتها الأصلية، واكتشاف الشذوذات الخلوية الصغيرة من دون تصغير الصورة وفقدان التفاصيل التشخيصية الحيوية.
• تعيين التسلسلات الجينومية: في المعلوماتية الحيوية، يتضمن تحليل DNA مقارنة تسلسلات طويلة للغاية من الشفرة الجينية. ويساعد الانتباه المتناثر نماذج الذكاء الاصطناعي على العثور بكفاءة على الأنماط البنيوية في مليارات أزواج القواعد، مما يسرّع اكتشاف الأدوية وأبحاث الأمراض.

محاكاة أقنعة الانتباه المتناثر#

يتمثل أحد المكونات الأساسية لتطبيق الانتباه المتناثر في إنشاء قناع يقيّد النموذج ويمنعه من النظر إلى كل رمز. يوضح كود PyTorch التالي كيفية إنشاء قناع متناثر محلي، بما يضمن أن يركّز الرمز على جيرانه المباشرين فقط.

import torch

# Simulate a sequence of 6 tokens
seq_len = 6

# Create a sparse mask where True allows attention (local window of size 1)
sparse_mask = torch.eye(seq_len, dtype=torch.bool)
sparse_mask.diagonal(1).fill_(True)
sparse_mask.diagonal(-1).fill_(True)

print("Sparse Attention Mask:\n", sparse_mask.int())

عند توسيع مشاريع الرؤية الحاسوبية (CV) إلى بيئة الإنتاج، غالبًا ما يستفيد المطورون من منصة Ultralytics. ويبسّط هذا الحل السحابي الشامل عملية تدريب النماذج المتقدمة وتتبعها ونشرها، مع إخفاء البنية التحتية المعقدة المطلوبة لتحسينات متقدمة مثل نوى الانتباه المخصصة.