آلية الانتباه الذاتي (Self-Attention)

الانتباه الذاتي هو آلية أساسية في التعلم العميق تمكن النماذج من تقييم أهمية العناصر المختلفة ضمن تسلسل المدخلات بالنسبة لبعضها البعض. على عكس البنى التقليدية التي تعالج البيانات بشكل تسلسلي أو تركز فقط على المناطق المجاورة المحلية، يتيح الانتباه الذاتي للشبكة العصبية فحص السياق بأكمله في وقت واحد. تساعد هذه القدرة الأنظمة على تحديد العلاقات المعقدة بين أجزاء بعيدة من البيانات، مثل الكلمات في جملة أو مناطق متميزة في صورة. وهي بمثابة اللبنة الأساسية لبناء بنية Transformer، التي أدت إلى تقدم هائل في مجال الذكاء الاصطناعي التوليدي وأنظمة الإدراك الحديثة .

كيف يعمل الانتباه الذاتي (Self-Attention)

تحاكي الآلية التركيز المعرفي من خلال تعيين وزن، يُسمى غالبًا "درجة الانتباه"، لكل ميزة إدخال . لحساب هذه الدرجات، يحول النموذج بيانات الإدخال — التي يتم تمثيلها عادةً على شكل تضمينات— إلى ثلاثة متجهات متميزة: الاستعلام والمفتاح والقيمة.

• الاستعلام (Q): يمثل العنصر الحالي الذي يبحث عن السياق ذي الصلة من بقية التسلسل.
• المفتاح (K): يعمل كعلامة أو معرف لكل عنصر في التسلسل الذي يتم مطابقة الاستعلام معه .
• القيمة (V): تحتوي على المحتوى المعلوماتي الفعلي للعنصر الذي سيتم تجميعه.

يقارن النموذج استعلام عنصر واحد بمفاتيح جميع العناصر الأخرى لتحديد التوافق. يتم توحيد درجات التوافق هذه باستخدام دالة softmax لإنشاء أوزان شبيهة بالاحتمالات. ثم يتم تطبيق هذه الأوزان على القيم، مما ينتج عنه تمثيل غني بالسياق. تتيح هذه العملية لنماذج اللغة الكبيرة (LLMs) وأنظمة الرؤية إعطاء الأولوية للمعلومات المهمة مع تصفية الضوضاء.

تطبيقات واقعية

أدى تنوع استخدامات الانتباه الذاتي إلى انتشاره على نطاق واسع في مختلف مجالات الذكاء الاصطناعي (AI).

• معالجة اللغة الطبيعية (NLP): في مهام مثل الترجمة الآلية، تحل الانتباه الذاتي الغموض عن طريق ربط الضمائر بمراجعها. على سبيل المثال، في الجملة "الحيوان لم يعبر الشارع لأنه كان متعبًا جدًا"، يستخدم النموذج الانتباه الذاتي لربط "هو" بقوة بـ "الحيوان" بدلاً من "الشارع". هذا الوعي السياقي يدعم أدوات مثل Google .
• سياق الصورة العالمية: في الرؤية الحاسوبية (CV)، تقسم البنى مثل Vision Transformer (ViT) الصور إلى رقع وتطبق الانتباه الذاتي لفهم المشهد بشكل شامل. وهذا أمر حيوي للكشف عن الأشياء في البيئات المعقدة حيث يعتمد تحديد الشيء على فهم محيطه.

التمييز بين المصطلحات ذات الصلة

على الرغم من أن هذه المصطلحات غالبًا ما تُناقش جنبًا إلى جنب مع مفاهيم مشابهة، إلا أن لها تعريفات تقنية متميزة:

• آلية الانتباه: فئة واسعة من التقنيات التي تسمح للنماذج بالتركيز على أجزاء معينة من البيانات. وهي تشمل الانتباه المتبادل، حيث يستخدم النموذج تسلسلاً واحداً (مثل إخراج وحدة فك التشفير) للاستعلام عن تسلسل مختلف (مثل إدخال وحدة التشفير).
• الانتباه الذاتي: نوع محدد من الانتباه حيث تنشأ الاستعلامات والمفاتيح والقيم جميعها من نفس تسلسل المدخلات. وهو مصمم لتعلم التبعيات الداخلية داخل مجموعة بيانات واحدة.
• Flash Attention: خوارزمية تحسين طورها باحثون في جامعة ستانفورد تجعل حساب الانتباه الذاتي أسرع بكثير وأكثر كفاءة من حيث الذاكرة على وحدات معالجة الرسومات (GPU) دون تغيير الناتج الرياضي.

مثال على الرمز

يوضح Python التالي Python كيفية استخدام RTDETR، وهو كاشف كائنات قائم على محول مضمن في ultralytics الحزمة. على عكس الشبكات التلافيفية القياسية، يعتمد هذا النموذج بشكل كبير على الانتباه الذاتي لمعالجة السمات البصرية.

from ultralytics import RTDETR

# Load the RT-DETR model which utilizes self-attention for detection
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects with global context
# Self-attention helps the model understand relationships between distant objects
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of objects detected
print(f"Detected {len(results[0].boxes)} objects using Transformer attention.")

التطور والتأثير المستقبلي

حلت ميزة الانتباه الذاتي بشكل فعال مشكلة التدرج المتلاشي التي كانت تعيق الشبكات العصبية المتكررة (RNNs) في السابق، مما مكن من تدريب نماذج أساسية ضخمة. على الرغم من فعاليتها العالية، فإن التكلفة الحسابية للانتباه الذاتي القياسي تزداد بشكل تربيعي مع طول التسلسل. لمعالجة هذه المشكلة، تركز الأبحاث الحالية على آليات الانتباه الخطي الفعالة.

Ultralytics هذه التطورات في نماذج متطورة مثل YOLO26، التي تجمع بين سرعة شبكات CNNs وقوة الانتباه السياقي للحصول على استنتاجات فائقة في الوقت الفعلي. يمكن تدريب هذه النماذج المُحسّنة ونشرها بسهولة عبر Ultralytics مما يؤدي إلى تبسيط سير العمل للمطورين الذين يعملون على بناء الجيل التالي من التطبيقات الذكية.