Attention Sinks

تُعد مصارف الانتباه ظاهرة حرجة تم اكتشافها في بنية النماذج اللغوية الكبيرة (LLMs) ونماذج الرؤية واللغة (VLMs) الحديثة، والتي تضمن الاستقرار أثناء توليد النصوص أو البيانات الطويلة والمستمرة. في آلية الانتباه، تقوم الشبكات العصبية بتعيين "أوزان" ديناميكية لأجزاء مختلفة من المدخلات. لاحظ الباحثون أن النماذج ذات الانحدار الذاتي تقوم تلقائياً بتفريغ كمية هائلة من درجات الانتباه الزائدة على أول بضعة رموز (tokens) في التسلسل، بغض النظر عن معناها الدلالي الفعلي. تعمل هذه الرموز الأولية كـ "مصرف انتباه"، مما يوفر مرساة رياضية تمنع انهيار درجات انتباه النموذج. من خلال الاحتفاظ الدائم برموز المصرف هذه في ذاكرة التخزين المؤقت KV الخاصة بالنموذج، يمكن للمطورين تمكين توليد تسلسلات غير محدودة دون انخفاض الدقة أو حدوث أعطال بسبب قيود الذاكرة.

Link to this sectionكيف تعمل مصارف الانتباه على استقرار النماذج#

تنشأ الحاجة إلى مصارف الانتباه من عملية Softmax المستخدمة في Transformers. نظراً لأن درجات الانتباه يجب أن تبلغ مجموعها دائماً 1، يحتاج النموذج إلى مكان لتخصيص الانتباه غير الضروري عند معالجة بيانات موضعية للغاية. تمتص الرموز الأولى في المطالبة (prompt) هذه الزيادة بشكل طبيعي.

تاريخياً، عند توليد تسلسلات طويلة جداً، استخدم المهندسون تقنيات النافذة التي كانت تقوم بإخراج الرموز الأقدم من الذاكرة. ومع ذلك، كان التخلي عن رموز المصرف الأولية يؤدي إلى انهيار فوري في الأداء. تعمل التطبيقات الحديثة، مثل StreamingLLM، على الاحتفاظ بهذه الرموز الأولية بشكل صريح بجانب أحدث الرموز. هذا النهج المحسن للغاية لإدارة الذاكرة يتم استكشافه بنشاط في تطويرات الرؤية في OpenAI وأبحاث Google DeepMind، وهو مدعوم أصلاً داخل نظام PyTorch.

Link to this sectionالتمييز بين مفاهيم الانتباه ذات الصلة#

لفهم كيفية تحسين نماذج الذكاء الاصطناعي للسياق بشكل كامل، من المفيد مقارنة مصارف الانتباه باستراتيجيات الذاكرة والأجهزة الأخرى:

• مصارف الانتباه مقابل انتباه النافذة المنزلقة (Sliding Window Attention): يقتصر انتباه النافذة المنزلقة على تركيز النموذج على عدد ثابت من الرموز الأخيرة لتوفير الذاكرة. ومع ذلك، تتجاهل النوافذ المنزلقة الصارمة الرموز الأولى، مما يؤدي إلى عدم الاستقرار. تعمل مصارف الانتباه على تعديل ذلك عن طريق تثبيت النافذة بتلك الرموز الأولى الحاسمة.
• مصارف الانتباه مقابل Flash Attention: يُعد Flash Attention تحسيناً على مستوى الأجهزة يسرع عمليات القراءة والكتابة في الذاكرة على وحدة معالجة الرسوميات (GPU). في المقابل، تُعد مصارف الانتباه اكتشافاً معمارياً حول أي الرموز يجب الاحتفاظ بها في الذاكرة للحفاظ على الاستقرار المنطقي.

Link to this sectionتطبيقات العالم الحقيقي#

لقد أدى اكتشاف مصارف الانتباه إلى فتح إمكانيات معالجة مستمرة وعالية الكفاءة عبر مختلف الصناعات.

1. وكلاء الذكاء الاصطناعي وروبوتات الدردشة المستمرة: من خلال الاحتفاظ بمصارف الانتباه، يمكن لـ وكيل الذكاء الاصطناعي أو روبوت خدمة العملاء بث حوار متواصل لساعات. فهو ينسى بشكل انتقائي الرموز الوسطى مع الاحتفاظ بالمصرف الأولي والسياق الحديث، مما يمنع أخطاء نفاد الذاكرة مع الحفاظ على تماسك المحادثة.

2. فهم الفيديو في الوقت الفعلي: في المراقبة الذكية والمراقبة المستمرة، يعد الحفاظ على نافذة سياق مستقرة أمراً بالغ الأهمية. يمكن للنماذج تحليل خلاصات الفيديو المستمرة لأيام، مما يطابق كفاءة بنيات الرؤية المحسنة للحافة.

Link to this sectionتنفيذ استنتاج مستمر وفعال#

بينما تعمل مصارف الانتباه بشكل أساسي على تحسين النماذج التوليدية الضخمة، فإن تطبيق حلقات استنتاج فعالة وواعية بالذاكرة أمر مهم عالمياً في رؤية الكمبيوتر (CV). عند معالجة تدفقات الفيديو المستمرة باستخدام Ultralytics YOLO26، يضمن الاستفادة من مولدات Python استقرار الذاكرة على فترات طويلة، وهو ما يشبه إدارة نافذة سياق موضعية.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for efficient, real-time edge processing
model = YOLO("yolo26n.pt")

# Process a continuous video stream efficiently without memory overflow
results = model.predict(source="rtsp://continuous_camera_stream", stream=True)

# Iterate through the generator to maintain a stable memory footprint over time
for frame_result in results:
    print(f"Detected {len(frame_result.boxes)} objects in the current frame.")

يتطلب توسيع نطاق خطوط أنابيب كشف الأشياء المستمرة والفعالة هذه للاستخدام المؤسسي أدوات إدارة قوية. يمكن للمطورين الاستفادة من منصة Ultralytics لتبسيط نشر النماذج وإدارة مجموعات البيانات الآلية، مما يسمح للفرق ببناء تطبيقات رؤية مستقرة وطويلة الأمد بسهولة.