Flash Attention

يعد Flash Attention خوارزمية محسنة بشكل كبير مصممة لتسريع تدريب واستهلال نماذج Transformer من خلال إدارة الوصول إلى الذاكرة بشكل أكثر كفاءة. في التعلم العميق (DL) الحديث، لا سيما مع النماذج الكبيرة، غالبًا ما تكون عنق الزجاجة الأساسية ليست سرعة حساب المعالج، بل الوقت المستغرق لنقل البيانات بين وحدة تخزين الذاكرة ووحدات الحساب. يتعامل Flash Attention مع "جدار الذاكرة" هذا من خلال إعادة تنظيم كيفية معالجة آليات الانتباه للبيانات، مما ينتج عنه أداء أسرع واستخدام أقل للذاكرة دون التضحية بـ الدقة.

كيف تعمل Flash Attention#

لفهم Flash Attention، من المفيد إلقاء نظرة على بنية GPU (وحدة معالجة الرسومات). تمتلك وحدة معالجة الرسومات (GPU) ذاكرة نطاق ترددي عالٍ (HBM) عالية السعة ولكنها أبطأ، وذاكرة وصول عشوائي ثابتة (SRAM) على الشريحة منخفضة السعة ولكنها سريعة بشكل لا يصدق. تقوم تطبيقات الانتباه القياسية بقراءة وكتابة مصفوفات كبيرة بشكل متكرر إلى ذاكرة HBM البطيئة، مما يؤدي إلى إنشاء تراكم.

يستخدم Flash Attention تقنية تسمى "التجانب" (tiling) بتقسيم مصفوفة الانتباه الكبيرة إلى كتل أصغر تتناسب تمامًا داخل ذاكرة SRAM السريعة. من خلال الاحتفاظ بهذه الكتل في الذاكرة السريعة وإجراء المزيد من الحسابات هناك قبل كتابة النتيجة مرة أخرى، تقلل الخوارزمية بشكل كبير من عدد عمليات القراءة والكتابة إلى HBM. هذا الابتكار، الذي قدمه باحثون في جامعة ستانفورد، يجعل العملية "واعية بالإدخال والإخراج" (IO-aware)، مما يعني أنها تأخذ في الاعتبار صراحة تكلفة نقل البيانات. يمكنك استكشاف التفاصيل الفنية في ورقة البحث الأصلية.

التمييز عن المصطلحات ذات الصلة#

من المهم التمييز بين Flash Attention والمفاهيم المماثلة في مسرد الذكاء الاصطناعي (AI):

• الانتباه القياسي: التنفيذ التقليدي الذي يحسب مصفوفة الانتباه الكاملة. إنه يتطابق رياضيًا مع Flash Attention في المخرجات ولكنه غالبًا ما يكون أبطأ ويستهلك الكثير من الذاكرة لأنه لا يحسن إدخال/إخراج الذاكرة.
• Flash Attention: تحسين دقيق للانتباه القياسي. إنه لا يقارب؛ بل يوفر نفس النتائج العددية تمامًا، ولكن بشكل أسرع بكثير.
• الانتباه المتناثر: تقريب تقريبي يتجاهل اتصالات معينة لتوفير طاقة الحساب. على عكس Flash Attention، تتبادل طرق الانتباه المتناثر بعض الدقة مقابل السرعة.

الأهمية في رؤية الحاسوب و YOLO#

على الرغم من تطوره في الأصل لـ معالجة اللغات الطبيعية (NLP) يتعامل مع تسلسلات طويلة من النصوص، أصبح Flash Attention حاسمًا في رؤية الكمبيوتر (CV). تخلق الصور عالية الدقة تسلسلات هائلة من البيانات عند معالجتها بواسطة محولات الرؤية (ViT).

تؤثر هذه التقنية على تطوير كاشفات الكائنات. على سبيل المثال، قدمت بعض النماذج التجريبية مثل YOLO12 المدفوعة مجتمعيًا طبقات انتباه تستفيد من هذه المبادئ. ومع ذلك، يمكن أن تعاني البنى القائمة على الانتباه البحت من عدم استقرار التدريب وسرعات وحدة المعالجة المركزية البطيئة. بالنسبة لمعظم التطبيقات المهنية، يعد Ultralytics YOLO26 المعيار الموصى به. تستخدم YOLO26 بنية محسنة للغاية توازن بين السرعة والدقة لـ اكتشاف الكائنات الشامل وتقسيم الصور، مما يتجنب العبء المرتبط غالبًا بطقات الانتباه الثقيلة على الأجهزة الطرفية.

تطبيقات العالم الحقيقي#

مكاسب الكفاءة من Flash Attention تتيح تطبيقات كانت في السابق باهظة التكلفة أو بطيئة للغاية في التشغيل.

1. الذكاء الاصطناعي التوليدي طويل السياق: في عالم نماذج اللغات الكبيرة (LLMs) مثل GPT-4، يتيح Flash Attention للنموذج "تذكر" كميات هائلة من المعلومات. يتيح ذلك نافذة سياق هائلة، مما يسمح للمستخدمين بتحميل كتب كاملة أو قواعد أكواد قانونية لـ تلخيص النص دون تعطل النموذج بسبب قيود الذاكرة.

2. التشخيص الطبي عالي الدقة: في تحليل الصور الطبية، التفاصيل مهمة. يحلل أخصائيو الأمراض عمليات مسح جيجابكسل لعينات الأنسجة. يسمح Flash Attention للنماذج بمعالجة هذه الصور الضخمة بدقتها الأصلية، وتحديد الشذوذ الدقيقة مثل أורام المخ في مراحلها المبكرة دون تصغير الصورة وفقدان البيانات الحيوية.

مثال برمجي#

بينما يكون Flash Attention غالبًا تحسينًا داخليًا داخل مكتبات مثل PyTorch، يمكنك الاستفادة من النماذج القائمة على الانتباه بسهولة باستخدام Ultralytics. يوضح المقتطف التالي كيفية تحميل نموذج RT-DETR، الذي يستخدم آليات الانتباه، لإجراء الاستدلال على صورة.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which utilizes transformer attention
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects
results = model("https://ultralytics.com/images/bus.jpg")

# Display the number of detected objects
print(f"Detected {len(results[0].boxes)} objects.")

باستخدام أدوات مثل منصة Ultralytics، يمكن للمطورين تدريب ونشر هذه النماذج المتطورة دون الحاجة إلى تنفيذ نوافذ معالجة الرسوم (GPU) المعقدة يدويًا. تدير المنصة البنية التحتية، مما يسمح للفرق بالتركيز على تنظيم مجموعات بيانات عالية الجودة وتفسير النتائج.