الانتباه المتقطع

تعد تقنية "الانتباه المتفرق" (Sparse Attention) تقنية تحسين متقدمة في التعلم العميق (DL) مصممة لتقليل العبء الحسابي لمعالجة تسلسلات البيانات الطويلة بشكل كبير. في بنيات "ترانسفورمر" التقليدية، تقوم النماذج بحساب التفاعلات بين كل عنصر من عناصر البيانات — مثل كل كلمة في مستند أو كل بكسل في صورة. مع زيادة حجم المدخلات، يتسبب هذا في عبء حسابي هائل ويتجاوز بسرعة قيودGPU . تعمل تقنية "الانتباه المتفرق" على حل هذا العائق من خلال اعتماد مبادئ من الشبكات العصبية المتفرقة. بدلاً من مقارنة كل شيء بكل شيء، يحد النموذج تركيزه بشكل استراتيجي على مجموعة فرعية ديناميكية أصغر من نقاط البيانات ذات الصلة العالية. وهذا يسمح بالمعالجة الفعالة للمدخلات الطويلة للغاية دون التضحية بدقة النموذج.

التمييز بين أنماط الانتباه

لفهم كيفية اندماج "الانتباه المتفرق" (Sparse Attention) في الذكاء الاصطناعي الحديث، يتعين تمييزه عن آليات الانتباه ذات الصلة. ففي حين أن "الانتباه الذاتي" (Self-Attention) القياسي يحسب خريطة شاملة وكثيفة لجميع تفاعلات الرموز، فإن "الانتباه المتفرق" يقوم صراحةً بإخفاء الروابط الأقل أهمية باستخدام أنماط محددة مسبقًا مثل النوافذ المنزلقة أو الشبكات المتفرقة على مستوى الكتل.

وهذا يختلف اختلافًا جوهريًا عن «Flash Attention»، وهي عملية تحسين على مستوى الأجهزة تعمل على تسريع عملية «Attention» القياسية الدقيقة من خلال تقليل عمليات قراءة/كتابة الذاكرة على GPU نفسها. علاوة على ذلك، فهي تختلف عن «Deformable Attention». فالشبكات القابلة للتشوه تتعلم مواقع أخذ العينات المكانية الديناميكية أثناء التشغيل، في حين تعتمد «Sparse Attention» عادةً على أنماط ندرة خوارزمية منظمة لتصفية الروابط غير ذات الصلة.

تُستخدم هذه الآليات عالية الكفاءة بشكل فعال في أطر PyTorch الحديثة و TensorFlow . ومع ذلك، فإن البنى المعمارية القائمة على آلية "الانتباه" (attention) بشكل كامل قد تؤدي أحيانًا إلى تعقيدات في النشر على الأجهزة الطرفية. وبالنسبة للمطورين الذين يسعون إلى أداء فائق السرعة ومُحسَّن للأجهزة الطرفية دون عبء إضافي كبير من محولات "ترانسفورمر"، يُعد Ultralytics المعيار الموصى به للمهام مثل كشف الأجسام و تجزئة الصور.

تطبيقات واقعية

يُعد "الانتباه المتفرق" حجر الزاوية للتطبيقات التي تم توثيقها في المنشورات الأكاديمية الحديثة الصادرة عن IEEE ، والتي كانت منظمة OpenAI رائدة في تطويرها في مجال الرؤية، بالإضافة إلى الأبحاث المتقدمةAnthropic.

• نماذج اللغة الضخمة (LLMs) والوثائق الطويلة: من خلال الاستفادة من التفاعلات المتفرقة، يمكن لنماذج النص الحديثة تحقيق نافذة سياقية ضخمة. وهذا يمكّن الذكاء الاصطناعي من استيعاب وتلخيص كتب مدرسية كاملة، أو قواعد قانونية، أو تقارير مالية معقدة في عملية واحدة دون التعطل بسبب حدود الذاكرة.
• تحليل الصور الطبية عالية الدقة: في مجالي علم الأمراض والأشعة، يتعين على أنظمة الذكاء الاصطناعي معالجة صور الأنسجة التي تبلغ دقتها جيجابكسل. وتسمح تقنيات "سبارس" لمحولات الرؤية بتحليل الصور الضخمة بدقتها الأصلية — مما يتيح الكشف عن التشوهات الخلوية الدقيقة دون تقليص الدقة وفقدان التفاصيل التشخيصية الحيوية.
• تخطيط التسلسل الجيني: في علم المعلوماتية الحيوية، يتضمن تحليل الحمض النووي مقارنة تسلسلات طويلة للغاية من الشفرة الجينية. وتساعد تقنية «الانتباه المتفرق» نماذج الذكاء الاصطناعي على اكتشاف الأنماط الهيكلية في مليارات أزواج القواعد النووية بكفاءة، مما يسرع من عملية اكتشاف الأدوية والأبحاث المتعلقة بالأمراض.

محاكاة أقنعة الانتباه المتفرقة

يتمثل أحد المكونات الأساسية لتنفيذ "الانتباه المتفرق" (Sparse Attention) في إنشاء قناع يمنع النموذج من النظر إلى كل رمز. يوضح PyTorch التالي كيفية إنشاء قناع متفرق محدد الموقع، بحيث يضمن أن الرمز لا ينتبه إلا إلى جيرانه المباشرين.

import torch

# Simulate a sequence of 6 tokens
seq_len = 6

# Create a sparse mask where True allows attention (local window of size 1)
sparse_mask = torch.eye(seq_len, dtype=torch.bool)
sparse_mask.diagonal(1).fill_(True)
sparse_mask.diagonal(-1).fill_(True)

print("Sparse Attention Mask:\n", sparse_mask.int())

عند توسيع نطاق مشاريع الرؤية الحاسوبية (CV) لتصل إلى مرحلة الإنتاج، غالبًا ما يلجأ المطورون إلى Ultralytics . فهذا الحل السحابي الشامل يبسط عملية تدريب النماذج المتطورة وتتبعها ونشرها، مما يغني عن الحاجة إلى البنية التحتية المعقدة المطلوبة لإجراء عمليات التحسين المتقدمة مثل نوى الانتباه المخصصة.