Sliding Window Attention

يُعدّ انتباه النافذة المنزلقة إصدارًا مُحسّنًا من آلية الانتباه القياسية المستخدمة في بُنى المحولات الحديثة لتحسين الكفاءة الحسابية بدرجة كبيرة. في الانتباه الذاتي التقليدي، يجب على كل رمز في التسلسل معالجة كل رمز آخر، ما يؤدي إلى تكاليف في الذاكرة والحوسبة تتزايد تربيعيًا مع طول التسلسل. يعالج انتباه النافذة المنزلقة عنق الزجاجة هذا من خلال تقييد تركيز الرمز على نطاق محلي ثابت الحجم، أو «نافذة»، من الرموز المحيطة. ويقلل هذا النهج التعقيد من تربيعي إلى خطي، ما يجعله مكوّنًا أساسيًا لتوسيع نافذة السياق في نماذج الذكاء الاصطناعي (AI) الضخمة.

من خلال تكديس طبقات متعددة من الشبكات العصبية التي تستخدم هذه التقنية، يمكن للنماذج بناء فهم شامل لبيانات الإدخال تدريجيًا، إذ تتداخل النوافذ المحلية وتتشارك المعلومات كلما تعمّقنا في الشبكة. ويحظى هذا المفهوم التأسيسي بدعم واسع من أبحاث Google DeepMind، ويُطبّق بنشاط في أطر العمل الحديثة مثل PyTorch.

التطبيقات الواقعية#

تتيح القدرة على معالجة تسلسلات هائلة من البيانات دون استنفاد الذاكرة الحاسوبية إمكانات متقدمة في مختلف مجالات الذكاء الاصطناعي:

• تلخيص المستندات الطويلة في معالجة اللغة الطبيعية (NLP): بالنسبة إلى نماذج اللغة الكبيرة (LLMs) التي تحلل عقودًا قانونية مطولة أو مستودعات شيفرات مصدرية أو تقارير مالية، يضمن انتباه النافذة المنزلقة قدرة النموذج على قراءة آلاف الرموز في الوقت نفسه. ويمنع ذلك أعطال الذاكرة مع الحفاظ على الاتساق السردي اللازم لتحقيق تلخيص دقيق للنصوص.
• مهام الرؤية عالية الدقة: في الرؤية الحاسوبية (CV)، تؤدي معالجة الصور ذات المليارات من البكسلات—مثل الصور المستخدمة في تحليل الصور الطبية أو تحليل صور الأقمار الصناعية—إلى إنشاء تسلسلات ضخمة من البيانات. ومن خلال جعل الانتباه محليًا، تستطيع النماذج تنفيذ تجزئة الصور التفصيلية وتحديد الحالات الشاذة الدقيقة دون تصغير دقة الصورة الأصلية بشكل مفرط.

تمييز المصطلحات ذات الصلة#

لفهم كيفية تحسين بُنى الشبكات لمعالجة البيانات، من المفيد تمييز انتباه النافذة المنزلقة عن الآليات المماثلة:

• انتباه النافذة المنزلقة مقابل الانتباه القابل للتشوه: بينما يستخدم انتباه النافذة المنزلقة كتلة متجاورة صارمة من الرموز استنادًا إلى قربها في التسلسل، يتيح الانتباه القابل للتشوه للشبكة تعلّم نقاط أخذ عينات ديناميكية. ويركز الانتباه القابل للتشوه على مواقع متفرقة اعتباطية استنادًا إلى المحتوى المرئي الفعلي بدلًا من شبكة ثابتة.
• انتباه النافذة المنزلقة مقابل الانتباه المتناثر: تُعدّ النافذة المنزلقة مجموعة فرعية محددة من الانتباه المتناثر. وبينما يُعدّ الانتباه المتناثر مصطلحًا واسعًا يشمل أنماط الرموز العشوائية أو متباعدة الخطوات أو الشاملة لتقليل استخدام الذاكرة، يحدّ نهج النافذة المنزلقة الانتباه بدقة إلى الرموز المكانية أو الزمنية المجاورة.

تنفيذ البُنى الفعّالة#

بالنسبة إلى المطورين الذين يبنون أنظمة عالية السرعة لـاكتشاف الأجسام، من الضروري الاستفادة من بُنى محسّنة بدرجة كبيرة. وعلى الرغم من قوة آليات الانتباه الأولية، توفر النماذج الشاملة من البداية إلى النهاية مثل Ultralytics YOLO26 أداءً رائدًا في المجال من خلال تحقيق توازن بين استخراج السمات المتقدم والكفاءة على أجهزة الحافة.

from ultralytics import YOLO

# Load the recommended YOLO26 model for high-resolution vision tasks
model = YOLO("yolo26x.pt")

# Perform inference on a large image, utilizing optimized internal processing
results = model.predict(source="large_aerial_map.jpg", imgsz=1024, show=True)

# Output the number of detected instances
print(f"Detected {len(results[0].boxes)} objects in the high-resolution input.")

يتطلب توسيع نطاق مسارات المعالجة المتقدمة هذه، من النمذجة الأولية المحلية إلى الإنتاج المؤسسي، بنية تحتية قوية. وتبسّط منصة Ultralytics هذه العملية بالكامل، إذ توفر واجهة بديهية لإضافة التعليقات التوضيحية إلى مجموعات البيانات آليًا، والتدريب السحابي السلس، ومراقبة النماذج في الوقت الفعلي. ويتيح ذلك للفرق الاستفادة بسلاسة من مزايا النماذج عالية الكفاءة ذات السياق الواسع عبر بيئات متنوعة من العتاد.