Attention Sinks

مصارف الانتباه ظاهرة بالغة الأهمية اكتُشفت في بنية نماذج اللغة الكبيرة (LLMs) الحديثة ونماذج الرؤية واللغة (VLMs)، وتضمن الاستقرار أثناء توليد النصوص أو البيانات بصورة مستمرة وطويلة. في آلية الانتباه، تعيّن الشبكات العصبية «أوزانًا» لأجزاء مختلفة من الإدخال بصورة ديناميكية. لاحظ الباحثون أن النماذج ذاتية الانحدار تُسند بطبيعتها قدرًا هائلًا من درجات الانتباه الزائدة إلى الرموز القليلة الأولى جدًا من التسلسل، بغض النظر عن معناها الدلالي الفعلي. تعمل هذه الرموز الأولية «كمصرف للانتباه»، إذ توفر مرساة رياضية تمنع درجات انتباه النموذج من الانهيار. ومن خلال الإبقاء على رموز المصرف هذه بشكل دائم في ذاكرة KV المؤقتة للنموذج، يمكن للمطورين تمكين توليد تسلسلات لا نهائية من دون تدهور الدقة أو حدوث أعطال بسبب حدود الذاكرة.

كيف تعمل مصارف الانتباه على استقرار النماذج#

تنشأ الحاجة إلى مصارف الانتباه من عملية Softmax المستخدمة في نماذج Transformer. ونظرًا إلى أن درجات الانتباه يجب أن يساوي مجموعها دائمًا 1، يحتاج النموذج إلى موضع يخصص فيه الانتباه غير الضروري عند معالجة البيانات شديدة التمركز. وتمتص الرموز الأولى في المطالبة هذا الفائض بصورة طبيعية.

تاريخيًا، عند توليد تسلسلات طويلة جدًا، استخدم المهندسون تقنيات تقسيم النوافذ التي تطرد الرموز الأقدم من الذاكرة. إلا أن إسقاط رموز المصرف الأولية كان يؤدي إلى انهيار فوري في الأداء. أما التطبيقات الحديثة، مثل StreamingLLM، فتحتفظ صراحةً بهذه الرموز الأولية إلى جانب أحدث الرموز. ويجري استكشاف هذا النهج المحسّن للغاية لإدارة الذاكرة بنشاط في تطورات OpenAI في مجال الرؤية وأبحاث Google DeepMind، كما يحظى بدعم أصلي ضمن منظومة PyTorch.

التمييز بين مفاهيم الانتباه ذات الصلة#

لفهم كيفية تحسين نماذج الذكاء الاصطناعي للسياق فهمًا كاملًا، من المفيد مقارنة مصارف الانتباه باستراتيجيات الذاكرة والأجهزة الأخرى:

• مصارف الانتباه مقابل انتباه النافذة المنزلقة: يقيّد انتباه النافذة المنزلقة تركيز النموذج بعدد ثابت من الرموز الحديثة لتوفير الذاكرة. إلا أن النوافذ المنزلقة الصارمة تتجاهل الرموز الأولى، مما يؤدي إلى عدم الاستقرار. وتعدّل مصارف الانتباه هذا السلوك من خلال تثبيت النافذة بالرموز الأولى المهمة.
• مصارف الانتباه مقابل Flash Attention: يمثل Flash Attention تحسينًا على مستوى الأجهزة يسرّع عمليات قراءة الذاكرة وكتابتها على GPU. أما مصارف الانتباه، فعلى العكس، فهي اكتشاف معماري يتعلق بـأي الرموز يجب الحفاظ عليها في الذاكرة للحفاظ على الاستقرار المنطقي.

التطبيقات الواقعية#

أدى اكتشاف مصارف الانتباه إلى إتاحة إمكانات معالجة مستمرة وعالية الكفاءة عبر مختلف القطاعات.

1. وكلاء الذكاء الاصطناعي وروبوتات المحادثة المستمرة: من خلال الاحتفاظ بمصارف الانتباه، يمكن لـوكيل ذكاء اصطناعي أو روبوت خدمة عملاء بث حوار متواصل لساعات. فهو ينسى رموز الوسط انتقائيًا، مع الاحتفاظ بالمصرف الأولي والسياق الحديث، مما يمنع أخطاء نفاد الذاكرة ويحافظ على اتساق المحادثة.

2. الفهم الآني للفيديو: في المراقبة الذكية والرصد المستمر، يُعد الحفاظ على نافذة سياق مستقرة أمرًا بالغ الأهمية. ويمكن للنماذج تحليل تدفقات الفيديو المستمرة لأيام، مع تحقيق كفاءة مماثلة لبنى الرؤية المحسّنة للعمل على الحافة.

تنفيذ الاستدلال المستمر بكفاءة#

مع أن مصارف الانتباه تحسّن أساسًا النماذج التوليدية الضخمة، فإن تطبيق حلقات استدلال فعالة وواعية بالذاكرة مهم على نحو شامل في الرؤية الحاسوبية (CV). وعند معالجة تدفقات الفيديو المستمرة باستخدام Ultralytics YOLO26، يضمن الاستفادة من مولدات Python استقرار الذاكرة لفترات طويلة، بما يشبه إدارة نافذة سياق محلية.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for efficient, real-time edge processing
model = YOLO("yolo26n.pt")

# Process a continuous video stream efficiently without memory overflow
results = model.predict(source="rtsp://continuous_camera_stream", stream=True)

# Iterate through the generator to maintain a stable memory footprint over time
for frame_result in results:
    print(f"Detected {len(frame_result.boxes)} objects in the current frame.")

يتطلب توسيع نطاق مسارات اكتشاف الأجسام الفعالة والمستمرة لاستخدام المؤسسات أدوات قوية للإدارة. ويمكن للمطورين استخدام منصة Ultralytics لتبسيط نشر النماذج وإدارة مجموعات البيانات آليًا، مما يتيح للفرق إنشاء تطبيقات رؤية مستقرة وطويلة التشغيل بسهولة.