ترخيص YOLO
العودة إلى مسرد Ultralytics

KV Cache

تخزّن ذاكرة KV المؤقتة مفاتيح القيم السابقة ورموزها، كي يتجنب Transformer إعادة حسابها، ما يسرّع توليد نماذج LLM. ويتناول هذا المفهوم آلية عملها وكلفتها من الذاكرة.

يخزّن مخبأ KV (مخبأ المفتاح والقيمة) متجهات المفتاح والقيمة التي سبق أن حسبتها طبقات الانتباه في المحوّل للرموز السابقة، فلا يُعاد حساب هذه المتجهات عندما يولّد النموذج الرمز التالي. وتُنتج النماذج اللغوية الكبيرة (LLMs) نصًا، رمزًا تلو الآخر، ويجب على كل رمز جديد أن ينتبه إلى كل رمز يسبقه. ومع استخدام مخبأ KV، تحسب كل خطوة توليد المفاتيح والقيم للرمز الأحدث فقط، وتسترجع المفاتيح والقيم المتبقية من الذاكرة، ما يجعل توليد الاستجابات الطويلة عمليًا. وتتمثل الكلفة في الذاكرة: إذ ينمو المخبأ مع كل رمز، وغالبًا ما يشغل مساحةً في ذاكرة GPU أكبر من مساحة أوزان النموذج في السياق الطويل أو عند التقديم بدفعات كبيرة.

آلية عمل مخبأ KV#

في كل طبقة انتباه، يُسقط كل رمز إلى استعلام ومفتاح وقيمة. ويُقارن استعلام الرمز بمفاتيح جميع الرموز التي يمكنه رؤيتها، ثم تمزج الأوزان الناتجة قيمها في المخرج. في نموذج LLM ذي مفكك الترميز فقط، لا يستطيع الرمز رؤية سوى نفسه والرموز السابقة، لذا لا تتغير مفاتيح الرموز السابقة وقيمها بعد حسابها. لذلك يجري التوليد على مرحلتين. في مرحلة التهيئة المسبقة، يعالج النموذج المطالبة بأكملها بالتوازي ويملأ المخبأ. وفي مرحلة فك الترميز، يولّد رمزًا واحدًا في كل خطوة، مضيفًا مفتاح ذلك الرمز وقيمته إلى المخبأ، حتى يُصدر رمز نهاية التسلسل أو يبلغ حد الطول:

تحدّ الحسابات من مرحلة التهيئة المسبقة، لأنها تنفذ عمليات ضرب مصفوفات كبيرة على رموز كثيرة دفعة واحدة. أما مرحلة فك الترميز، فتحدّها نطاقات تردد الذاكرة، إذ تقرأ في كل خطوة المخبأ بأكمله وجميع أوزان النموذج لإنتاج رمز واحد.

لماذا يسرّع المخبأ عملية التوليد#

من دون مخبأ، تعيد الخطوة t حساب المفاتيح والقيم لجميع الرموز t المُولّدة حتى تلك اللحظة، لذا يزداد إجمالي العمل تربيعيًا مع طول المخرج. أما باستخدام المخبأ، فتضيف كل خطوة مفتاحًا واحدًا وقيمة واحدة لكل طبقة. يوضح المثال أحادي الرأس أدناه فك ترميز تسلسل من 10 رموز باستخدام مخبأ، ثم يتحقق من مطابقة المخرج النهائي لإعادة الحساب الكاملة:

import torch

torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5  # one attention head's projections
tokens = torch.randn(10, d)  # embeddings of a 10-token sequence

# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
    k_cache = torch.cat([k_cache, (x @ w_k)[None]])
    v_cache = torch.cat([v_cache, (x @ w_v)[None]])
    out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache

# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full

print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")

يطبع Same output: True وcached 10, recomputed 55: يعطي المخبأ نتيجة مطابقة مع إسقاط كل رمز مرة واحدة، بدلًا من 1 + 2 + ... + 10 إسقاطات لو بدأت كل خطوة من جديد.

  • تخزين المطالبات مؤقتًا: يحتفظ بمخبأ KV لبادئة مطالبة مشتركة، مثل مطالبة نظام طويلة أو مستند، ويعيد استخدامه عبر طلبات منفصلة، بحيث تتجاوز الطلبات اللاحقة ذلك الجزء من التهيئة المسبقة.
  • أوزان النموذج: هي المعلمات الثابتة التي يتعلمها النموذج أثناء التدريب، وتُستخدم في جميع الطلبات. أما مخبأ KV، فيخص تسلسلًا واحدًا ويُتخلّص منه عند انتهاء ذلك التسلسل.
  • التضمينات: هي المتجهات التي تمثل كل رمز عند دخوله النموذج. وتشتق كل طبقة مفاتيحها وقيمها من الحالة الخفية للرمز، لذا يحتوي المخبأ على مفتاح واحد وقيمة واحدة لكل رمز في كل طبقة.
  • التخزين المؤقت الدلالي: يخزّن الإجابات الكاملة ويعيدها للاستعلامات اللاحقة المشابهة، متجاوزًا النموذج بالكامل.

مخبأ KV في نماذج الرؤية#

تحوّل نماذج الرؤية واللغة (VLMs) الصورة إلى مئات أو آلاف الرموز المرئية، وتدخل هذه الرموز إلى مخبأ KV كما تفعل النصوص، لذا قد تشغل صورة واحدة عالية الدقة مساحةً في المخبأ تعادل عدة صفحات من النص. وتواجه نماذج الفيديو المتدفق النمو نفسه من النمو مع كل إطار. يطبق SAM 2 من Meta، الذي يعمل ضمن حزمة Ultralytics Python، مخبأً مشابهًا على تقسيم الفيديو: إذ يخزّن بنك الذاكرة السمات المشفّرة للإطارات السابقة، ويقرأها انتباه الذاكرة أثناء تقسيم كل إطار جديد، ما يحافظ على تتبع الكائنات عبر حالات الاحتجاب دون إعادة معالجة الإطارات السابقة.

كلفة الذاكرة وسبل تقليلها#

يحتوي المخبأ على متجهين، أحدهما للمفتاح والآخر للقيمة، لكل رمز في كل طبقة ولكل رأس KV؛ لذا يكون حجمه: 2 × عدد الطبقات × عدد رؤوس KV × بُعد الرأس × عدد البايتات لكل قيمة × عدد الرموز. وبالنسبة إلى Llama 2 7B بدقة FP16، مع 32 طبقة و32 رأسًا وبُعد رأس قدره 128، يعادل ذلك 512 KiB لكل رمز، أو 2 GiB لتسلسل واحد مكوّن من 4,096 رمزًا. وتستخدم أنظمة تقديم النماذج عدة تقنيات لاستيعاب عدد أكبر من التسلسلات في الذاكرة:

  • انتباه الاستعلامات المجمّعة (GQA): تتشارك عدة رؤوس استعلام رأسًا واحدًا للمفتاح والقيمة. يستخدم Llama 3 8B ثمانية رؤوس KV مقابل 32 رأس استعلام، ما يخفض حجم المخبأ إلى 128 KiB لكل رمز.
  • PagedAttention: يخزّن المخبأ في كتل ثابتة الحجم، تشبه صفحات الذاكرة الافتراضية، بحيث تُخصّص الذاكرة مع نمو التسلسلات. وقد رُفع الإنتاج بمقدار 2–4× مقارنةً بالأنظمة السابقة عند طرحه مع محرك التقديم vLLM.
  • تكميم مخبأ KV: يخزّن المفاتيح والقيم بدقة FP8 أو INT8 بدلًا من FP16، ما يخفض حجم المخبأ إلى النصف.
  • انتباه النافذة المنزلقة: لا تنتبه كل طبقة إلا إلى أحدث الرموز، ما يحد حجم المخبأ بحجم النافذة.
  • الانتباه الكامن متعدد الرؤوس (MLA): يضغط المفاتيح والقيم في متجه كامن صغير مشترك قبل تخزينها مؤقتًا. وفي DeepSeek-V2، خفّض حجم مخبأ KV بنسبة 93.3% مقارنةً بنموذج DeepSeek 67B السابق.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة