Speculative Decoding
في فك الترميز التخميني، يقترح نموذج مسودة صغير الرموز، ثم يتحقق منها النموذج الكبير في تمريرة واحدة، ما يسرّع مخرجات نماذج اللغة الكبيرة (LLMs) دون تغييرها.
فك الترميز الاستدلالي تقنية استدلال تسرّع توليد النص في نماذج اللغة الكبيرة (LLMs)، إذ تتيح لنموذج مسودة صغير وسريع تخمين عدة رموز تالية، ثم تطلب من النموذج الهدف الكبير التحقق منها جميعًا في مرور أمامي واحد. وكل تخمين مقبول هو رمز لم يكن على النموذج الكبير إنتاجه خطوةً تلو الأخرى، وتضمن قاعدة القبول أن يتبع المخرج توزيع الاحتمالات نفسه تمامًا الذي يتبعه النموذج الهدف وحده. قدّم Yaniv Leviathan وMatan Kalman وYossi Matias من Google هذه التقنية في Fast Inference from Transformers via Speculative Decoding في نوفمبر 2022، وأفادوا بأنها تسرّع توليد T5-XXL بمقدار 2-3x مع مخرجات مطابقة. ونشر Charlie Chen وزملاؤه في DeepMind الفكرة نفسها باسم أخذ العينات الاستدلالي في فبراير 2023، مع تسريع بمقدار 2-2.5x على Chinchilla ذي المعلمات البالغ عددها 70 مليارًا.
لماذا يتيح فك الترميز مجالًا للتخمين#
ينتج التوليد ذاتي الانحدار رمزًا واحدًا لكل مرور أمامي، ويقرأ كل مرور أوزان النموذج كلها من الذاكرة. وبالنسبة إلى تسلسل واحد، تحدد حركة البيانات من الذاكرة سرعة التنفيذ: إذ تقضي GPU معظم كل خطوة في انتظار عرض نطاق الذاكرة، لذا لا يستغرق تقييم خمسة رموز في مرور واحد وقتًا أطول بكثير من تقييم رمز واحد. ويستغل فك الترميز الاستدلالي القدرة الحاسوبية العاطلة في التحقق. يسهل التنبؤ بكثير من الرموز، مثل بقية عبارة شائعة أو قوس إغلاق في الشيفرة أو اسم منسوخ من المطالبة، وينجح نموذج مسودة لا يتجاوز جزءًا صغيرًا من حجم النموذج الهدف في تخمينها معظم الوقت. والنتيجة هي تقليل زمن استجابة الاستدلال لكل استجابة.
حلقة إعداد المسودة والتحقق منها#
تتكون كل جولة من ثلاث خطوات. يولّد نموذج المسودة k من الرموز المرشحة، وتكون العملية منخفضة التكلفة لصغر حجمه. ثم يعالج النموذج الهدف المسودات الـk كلها في مرور واحد، مع إعادة استخدام ذاكرة تخزين المفتاح والقيمة (KV cache) للسياق السابق، ويعيد احتماله الخاص لكل موضع تمت صياغة مسودة له. وأخيرًا، تُفحص المسودات من اليسار إلى اليمين. ويُقبل رمز المسودة x باحتمال min(1, p(x) / q(x))، حيث p هو احتمال النموذج الهدف وq احتمال نموذج المسودة. وعند أول رفض، تُسحب عينة لرمز بديل من التوزيع المتبقي max(0, p - q) بعد إعادة تطبيعه، وتُهمَل المسودات المتبقية. وإذا نجت المسودات الـk كلها، يكون تنبؤ النموذج الهدف للموضع التالي متاحًا مجانًا من المرور نفسه؛ لذا تنتج الجولة الواحدة من رمز واحد إلى k + 1 رموز.
في فك الترميز الجشع، يتحول الاختبار إلى فحص تطابق يُبقي المسودات ما دامت تساوي الرمز الأعلى احتمالًا للنموذج الهدف. وإذا كان احتمال قبول كل مسودة هو a، فإن الجولة تنتج في المتوسط (1 - a^(k+1)) / (1 - a) رمزًا؛ لذا، عند a = 0.8 وk = 4، يتقدم النموذج الهدف بنحو 3.4 رموز لكل مرور أمامي.
تطبق محاكاة PyTorch هذه قاعدة القبول على خطوة واحدة من فك الترميز، وتحسب الرموز الناتجة:
import torch
torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05]) # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20]) # draft model's probabilities for the same step
# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)
# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)
print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")تقبل العملية 80.1% من المسودات، وهو ما يطابق مقدار التداخل بين التوزيعين، أي مجموع min(p, q) البالغ 0.80. وتعيد تواترات المخرجات 0.5003 و0.2985 و0.1503 و0.0510 إنتاج توزيع النموذج الهدف p، رغم اقتراح نموذج المسودة معظم الرموز.
مصادر المسودات والتقنيات ذات الصلة#
لا يلزم أن تكون المسودة شبكة منفصلة:
- نموذج لغوي صغير من العائلة نفسها: يُعد النموذج الذي يستخدم أداة الترميز نفسها ويُطرح بالتزامن مع النموذج الكبير الخيار التقليدي.
- رؤوس Medusa: تتنبأ رؤوس فك ترميز إضافية في النموذج الهدف بعدة رموز مستقبلية انطلاقًا من حالته المخفية الأخيرة، وتتحقق منها باستخدام انتباه الشجرة.
- البحث في المطالبة: تُنسخ رموز المسودة من مجموعات n-gram مطابقة في المطالبة، وهو ما يناسب التلخيص والإجابات المعززة بالاسترجاع وتعديلات الشيفرة التي تكرر المدخل.
يدرّب تقطير المعرفة نموذجًا صغيرًا ليحل محل نموذج كبير، وهو أيضًا أسلوب شائع لتدريب مسودات تزيد احتمالات قبول النموذج الهدف لتخميناتها. ويخفض تكميم النموذج دقة أوزان النموذج الهدف نفسه، ما يغيّر مخرجاته قليلًا، وغالبًا ما تُقرن به نماذج المسودة المكمّمة.
توفّر محركات تقديم النماذج مثل vLLM وSGLang وTensorRT-LLM وllama.cpp فك الترميز الاستدلالي، وتتيحه مكتبة Transformers من Hugging Face بوصفه توليدًا مساعدًا. ويمكن لمسار عمل YOLO26 الذي يرسل اكتشافاته إلى نموذج لغوي عبر واجهة LLM من Ultralytics توجيه base_url إلى خادم محلي من هذا النوع؛ فتصل تقاريره المُولّدة إلى المستخدمين أسرع، مع الحفاظ على توزيع المخرجات نفسه. ويكون التحسن أكبر عند أحجام الدفعات الصغيرة: فعند كثافة الحركة، تملأ الدفعات المستمرة وحدة GPU بطلبات أخرى، فلا يتبقى إلا قدر ضئيل من القدرة الحاسوبية للتحقق.










