PagedAttention

PagedAttention هي خوارزمية إدارة ذاكرة عالية الكفاءة مصممة لتحسين سرعة الاستنتاج والإنتاجية لنماذج اللغات الكبيرة (LLMs). مستوحاة من مفاهيم الذاكرة الافتراضية والتقسيم إلى صفحات (paging) في أنظمة التشغيل التقليدية، تعالج هذه التقنية الاستهلاك الهائل للذاكرة المرتبط بذاكرة التخزين المؤقت للمفاتيح والقيم (يشار إليها غالبًا باسم KV cache) أثناء توليد النصوص. من خلال تقسيم كتل الذاكرة المتصلة المطلوبة لذاكرة التخزين المؤقت إلى "صفحات" أصغر وغير متصلة، تقضي PagedAttention فعلياً على تجزئة الذاكرة الداخلية والخارجية. وهذا يسمح لخوادم الذكاء الاصطناعي بمعالجة عدد أكبر بكثير من الطلبات في وقت واحد، مما يزيد من استخدام GPU إلى أقصى حد.

Link to this sectionPagedAttention مقابل Flash Attention#

على الرغم من أن كلتا التقنيتين تعملان على تحسين أداء الشبكات العصبية، إلا أنهما تستهدفان اختناقات مختلفة. Flash Attention هي عملية تحسين على مستوى الحوسبة تعمل على تسريع آلية الانتباه نفسها من خلال تقليل عمليات قراءة وكتابة الذاكرة البطيئة عبر تسلسل هرمي GPU. في المقابل، PagedAttention هي استراتيجية لتخصيص الذاكرة. فهي تركز بالكامل على كيفية هيكلة وتخزين الذاكرة الخاصة بـ نافذة السياق، مما يسمح بالتحجيم الديناميكي دون تخصيص مسبق لكتل ذاكرة كبيرة ومهدرة.

Link to this sectionتطبيقات العالم الحقيقي#

لقد أحدثت كفاءة الذاكرة التي وفرتها PagedAttention تحولاً في كيفية نشر النماذج التوليدية واسعة النطاق في بيئات الإنتاج.

1. تقديم واجهة برمجة تطبيقات (API) ذات إنتاجية عالية: تستخدم أنظمة الإنتاج التي تخدم نماذج تشبه GPT-4 تقنية PagedAttention عبر أطر عمل مثل vLLM. من خلال مشاركة كتل الذاكرة عبر طلبات المستخدمين المختلفة، يمكن لمزودي الخدمة خدمة ما يصل إلى أربعة أضعاف عدد المستخدمين على نفس الأجهزة، مما يقلل بشكل كبير من تكلفة تشغيل خدمات الذكاء الاصطناعي المستندة إلى السحابة.

2. استراتيجيات فك التشفير المعقدة: عندما يقوم نموذج الذكاء الاصطناعي بتوليد استجابات متعددة محتملة في وقت واحد (كما هو الحال في البحث الشعاعي beam search أو أخذ العينات المتوازي)، تسمح PagedAttention لهذه التسلسلات المتوازية بمشاركة نفس صفحات الذاكرة الأساسية بأمان. وهذا يمنع النظام من تكرار الذاكرة بشكل زائد، مما يجعل مهام الاستدلال المعقدة أسرع بشكل ملحوظ.

Link to this sectionكفاءة الذاكرة في الرؤية الحاسوبية#

بينما يتم استخدام PagedAttention بشكل أساسي في معالجة اللغات الطبيعية، فإن المبدأ الأساسي للتحسين الصارم للذاكرة يعد أمراً بالغ الأهمية بنفس القدر في الرؤية الحاسوبية (CV). عند نشر النماذج على أجهزة الحافة ذات الموارد المحدودة، يعد تجنب تضخم الذاكرة أمراً ضرورياً. تحقق Ultralytics YOLO26 كفاءة الاستنتاج في الوقت الفعلي بشكل أصلي، متجاوزة الحاجة إلى إدارة ثقيلة لذاكرة التخزين المؤقت من خلال استخدام بنية متكاملة خالية من NMS.

للمطورين الذين يتطلعون إلى التعامل بسلاسة مع متطلبات الذاكرة والتصدير الخاصة بخطوط أنابيب اكتشاف الكائنات، توفر منصة Ultralytics أدوات نشر مؤتمتة تقوم بحزم النماذج لتحقيق التنفيذ الأمثل على الأجهزة.

Link to this sectionمثال برمجي#

تعمل PagedAttention تحت السطح في أطر عمل الخدمة، حيث تستبدل وظائف الانتباه القياسية بنواة Cuda محسنة. فيما يلي مثال مفاهيمي يوضح كيف يمكن للمرء تحديد الانتباه القياسي في PyTorch، وهي الأنظمة التي تقوم vLLM باعتراضها وتحسينها تلقائياً باستخدام التقسيم إلى صفحات أثناء نشر النموذج.

import torch
import torch.nn.functional as F

# Simulated Key, Query, and Value tensors for a standard attention block
batch_size, num_heads, sequence_length, head_dim = 1, 8, 1024, 64
query = torch.randn(batch_size, num_heads, sequence_length, head_dim)
key = torch.randn(batch_size, num_heads, sequence_length, head_dim)
value = torch.randn(batch_size, num_heads, sequence_length, head_dim)

# Standard attention computation (often replaced by PagedAttention kernels in production LLM servers)
attention_output = F.scaled_dot_product_attention(query, key, value)

print(f"Computed attention shape: {attention_output.shape}")

من خلال الاستفادة من استراتيجيات تخصيص الذاكرة المتقدمة، تواصل صناعة الذكاء الاصطناعي دفع حدود ما هو ممكن، مما يضمن إمكانية توسيع نطاق النماذج التأسيسية الضخمة والوصول إليها بكفاءة في جميع أنحاء العالم.