Grouped Query Attention (GQA)

الانتباه للاستعلامات المجمّعة (GQA) هو تصميم للانتباه تشترك فيه رؤوس استعلامات متعددة في مجموعة أصغر من رؤوس المفاتيح والقيم. ويحافظ هذا التصميم على وجهات النظر المتنوعة للاستعلامات متعددة الرؤوس، مع تقليل الذاكرة وحركة البيانات اللازمتين للمفاتيح والقيم. وتكتسب GQA أهمية خاصة أثناء الاستدلال التوليدي الذاتي، حيث ينشئ النموذج رمزًا واحدًا في كل مرة ويقرأ حالات الانتباه المخزنة مرارًا.

كيفية عمل GQA#

ضمن آلية الانتباه، يُحوَّل كل رمز إلى ثلاثة تمثيلات:

• الاستعلام: يصف المعلومات التي يبحث عنها الرمز الحالي.
• المفتاح: يصف ما يمثله كل رمز متاح.
• القيمة: تحتوي على المعلومات المسترجعة عندما يتطابق استعلام مع مفتاح.

في الانتباه الذاتي التقليدي، تُقسَّم هذه الإسقاطات إلى رؤوس كي يتعلم النموذج علاقات مختلفة بالتوازي. تحتفظ GQA بعدد كبير من رؤوس الاستعلامات، لكنها تسند مجموعات منها إلى رؤوس مفاتيح وقيم مشتركة. فعلى سبيل المثال، قد تستخدم طبقة انتباه ثمانية رؤوس للاستعلام ورأسين للمفاتيح والقيم. وعندئذ يخدم كل رأس للمفاتيح والقيم أربعة رؤوس للاستعلام.

يبقى حساب الانتباه نفسه انتباهًا بضرب قياسي مُقاسًا. وما يتغير هو ترتيب الرؤوس وكمية بيانات المفاتيح والقيم التي تُنتَج وتُخزَّن وتُقرأ. ولذلك تتطلب أطر العمل مثل الانتباه بالضرب القياسي المُقاس في PyTorch أن يكون عدد رؤوس الاستعلامات قابلًا للقسمة على عدد رؤوس المفاتيح والقيم عند تفعيل GQA. (docs.pytorch.org)

GQA مقابل الانتباه متعدد الرؤوس والانتباه متعدد الاستعلامات#

تقع GQA بين الانتباه متعدد الرؤوس والانتباه متعدد الاستعلامات:

• الانتباه متعدد الرؤوس: لكل رأس استعلام رأساه الخاصان للمفتاح والقيمة. ويوفر ذلك أقصى استقلالية للرؤوس، لكنه ينشئ أكبر متطلبات لذاكرة المفاتيح والقيم.
• الانتباه للاستعلامات المجمّعة: تشترك عدة رؤوس استعلامات في كل رأس للمفاتيح والقيم. ويوازن ذلك بين القدرة التمثيلية وكفاءة الذاكرة.
• الانتباه متعدد الاستعلامات: تشترك جميع رؤوس الاستعلامات في رأس مفتاح واحد ورأس قيمة واحد. ويقلل ذلك تخزين المفاتيح والقيم إلى الحد الأدنى، لكنه يوفر تنوعًا أقل للمفاتيح والقيم.

إذا كانت الطبقة تحتوي على 32 رأسًا للاستعلامات، فقد يستخدم الانتباه متعدد الرؤوس أيضًا 32 رأسًا للمفاتيح والقيم، بينما قد تستخدم GQA ثمانية، ويستخدم الانتباه متعدد الاستعلامات رأسًا واحدًا. ولا تُعد GQA بديلًا عن بنية Transformer الأوسع؛ بل هي إحدى التكوينات الممكنة داخل طبقة انتباه في Transformer. وتوضح وثائق NVIDIA حول الانتباه متعدد الرؤوس ومتعدد الاستعلامات والاستعلامات المجمّعة أن هذه الأنواع تختلف أساسًا في عدد رؤوس المفاتيح والقيم التي تخدم رؤوس الاستعلامات. (nvidia.github.io)

أهمية GQA#

أثناء التوليد التوليدي الذاتي، يخزن النموذج المفاتيح والقيم السابقة في ذاكرة التخزين المؤقت KV. ومع الانتباه متعدد الرؤوس القياسي، يساهم كل رأس انتباه بمفاتيح وقيم مخزنة مؤقتًا ومنفصلة. ولذلك قد تستهلك التسلسلات الطويلة، والأحجام الدفعية الكبيرة، والطبقات الكثيرة في النموذج قدرًا كبيرًا من ذاكرة GPU.

نظرًا إلى أن GQA تستخدم عددًا أقل من رؤوس المفاتيح والقيم، تكون ذاكرتها المؤقتة أصغر بما يتناسب مع انخفاض عدد هذه الرؤوس. ويمكن أن يحسن ذلك ما يلي:

• سعة الذاكرة: يمكن أن تستوعب الذاكرة المتاحة مطالبات أطول أو عددًا أكبر من الطلبات المتزامنة.
• إنتاجية التوليد: يلزم قراءة قدر أقل من بيانات المفاتيح والقيم لكل رمز مُولَّد.
• زمن انتقال الاستدلال: يمكن أن تؤدي حركة الذاكرة المنخفضة إلى تقصير زمن المعالجة بين رمز وآخر.
• قابلية توسيع نافذة السياق: تصبح خدمة التسلسلات الطويلة أكثر عملية.

تعتمد هذه المكاسب على العتاد، وطول التسلسل، وحجم الدفعة، ودعم نواة التنفيذ. ولا تزال بيئات التشغيل الإنتاجية بحاجة إلى تخصيص فعال لذاكرة التخزين المؤقت؛ فعلى سبيل المثال، يجمع نظام ذاكرة التخزين المؤقت KV في TensorRT-LLM من NVIDIA بين دعم GQA والتخزين المؤقت القائم على الكتل، وإعادة الاستخدام، والتفريغ. (nvidia.github.io)

التطبيقات الواقعية#

المساعدون ذوو السياق الطويل: قد يعالج مساعد برمجي آلاف الرموز من الشيفرة المصدرية قبل إنشاء إجابة. تقلل GQA حالة المفاتيح والقيم المخزنة مؤقتًا والمرتبطة بذلك السجل، مما يتيح للخادم التعامل مع ملفات أطول أو عدد أكبر من المستخدمين المتزامنين من دون زيادة متناسبة في ذاكرة GPU.

المساعدون متعددو الوسائط للصور والفيديو: يمكن لـنموذج الرؤية واللغة تمثيل رقع الصور أو إطارات الفيديو كتسلسلات طويلة من الرموز. وتقلل GQA الضغط على ذاكرة التخزين المؤقت للانتباه بعد دخول هذه الرموز المرئية إلى مفكك ترميز اللغة، مما قد يتيح مزيدًا من الذاكرة للصور أو الإطارات أو الطلبات الإضافية. ويختلف ذلك عن Transformer للرؤية القياسي، حيث قد يعالج الانتباه جميع رقع الصور بالتوازي من دون تخزين KV مؤقتًا بطريقة توليدية ذاتية.

التنفيذ العملي والمفاضلات#

يتيح PyTorch استخدام GQA من خلال enable_gqa=True. ويستخدم مثال CUDA الموثق هذا ثمانية رؤوس للاستعلامات ورأسين مشتركين للمفاتيح والقيم:

import torch
import torch.nn.functional as F
from torch.nn.attention import SDPBackend, sdpa_kernel

assert torch.cuda.is_available(), "A CUDA device is required."

query = torch.randn(1, 8, 16, 32, device="cuda")
key = torch.randn(1, 2, 16, 32, device="cuda")
value = torch.randn(1, 2, 16, 32, device="cuda")

# Four query heads share each key-value head.
with sdpa_kernel(SDPBackend.MATH):
    output = F.scaled_dot_product_attention(
        query,
        key,
        value,
        enable_gqa=True,
    )

print(output.shape)

يحتفظ الناتج بثمانية رؤوس للاستعلامات، بينما تستخدم المفاتيح والقيم رأسين فقط. ويمكن لـمحدِّد الواجهة الخلفية للانتباه في PyTorch التحكم في نواة التنفيذ المدعومة التي تنفذ العملية، بينما يوفر دليل اللبنات الأساسية لـ Transformer في PyTorch سياقًا أوسع للتنفيذ. (docs.pytorch.org)

يجب اختيار GQA عند تصميم النموذج أو تكييفه؛ فهي ليست عمومًا مفتاحًا يُبدَّل وقت الاستدلال لنقطة تحقق موجودة. وينبغي للمطورين التحقق من دعم إطار العمل، وقابلية قسمة عدد الرؤوس، والسلوك العددي، واستخدام الذاكرة، وجودة المهمة. وبالنسبة إلى نشر الرؤية الحاسوبية، تساعد عمليات العمل التكميلية مثل تكامل Ultralytics مع TensorRT ووضع المعايير المرجعية في Ultralytics على قياس ما إذا كانت التحسينات المعمارية وتحسينات بيئة التشغيل تحقق تحسينات ملموسة على العتاد المستهدف.