ترخيص YOLO
العودة إلى مسرد Ultralytics

Speculative Decoding

في فك الترميز التخميني، يقترح نموذج مسودة صغير الرموز، ثم يتحقق منها النموذج الكبير في تمريرة واحدة، ما يسرّع مخرجات نماذج اللغة الكبيرة (LLMs) دون تغييرها.

فك الترميز الاستدلالي تقنية استدلال تسرّع توليد النص في نماذج اللغة الكبيرة (LLMs)، إذ تتيح لنموذج مسودة صغير وسريع تخمين عدة رموز تالية، ثم تطلب من النموذج الهدف الكبير التحقق منها جميعًا في مرور أمامي واحد. وكل تخمين مقبول هو رمز لم يكن على النموذج الكبير إنتاجه خطوةً تلو الأخرى، وتضمن قاعدة القبول أن يتبع المخرج توزيع الاحتمالات نفسه تمامًا الذي يتبعه النموذج الهدف وحده. قدّم Yaniv Leviathan وMatan Kalman وYossi Matias من Google هذه التقنية في Fast Inference from Transformers via Speculative Decoding في نوفمبر 2022، وأفادوا بأنها تسرّع توليد T5-XXL بمقدار 2-3x مع مخرجات مطابقة. ونشر Charlie Chen وزملاؤه في DeepMind الفكرة نفسها باسم أخذ العينات الاستدلالي في فبراير 2023، مع تسريع بمقدار 2-2.5x على Chinchilla ذي المعلمات البالغ عددها 70 مليارًا.

لماذا يتيح فك الترميز مجالًا للتخمين#

ينتج التوليد ذاتي الانحدار رمزًا واحدًا لكل مرور أمامي، ويقرأ كل مرور أوزان النموذج كلها من الذاكرة. وبالنسبة إلى تسلسل واحد، تحدد حركة البيانات من الذاكرة سرعة التنفيذ: إذ تقضي GPU معظم كل خطوة في انتظار عرض نطاق الذاكرة، لذا لا يستغرق تقييم خمسة رموز في مرور واحد وقتًا أطول بكثير من تقييم رمز واحد. ويستغل فك الترميز الاستدلالي القدرة الحاسوبية العاطلة في التحقق. يسهل التنبؤ بكثير من الرموز، مثل بقية عبارة شائعة أو قوس إغلاق في الشيفرة أو اسم منسوخ من المطالبة، وينجح نموذج مسودة لا يتجاوز جزءًا صغيرًا من حجم النموذج الهدف في تخمينها معظم الوقت. والنتيجة هي تقليل زمن استجابة الاستدلال لكل استجابة.

حلقة إعداد المسودة والتحقق منها#

تتكون كل جولة من ثلاث خطوات. يولّد نموذج المسودة k من الرموز المرشحة، وتكون العملية منخفضة التكلفة لصغر حجمه. ثم يعالج النموذج الهدف المسودات الـk كلها في مرور واحد، مع إعادة استخدام ذاكرة تخزين المفتاح والقيمة (KV cache) للسياق السابق، ويعيد احتماله الخاص لكل موضع تمت صياغة مسودة له. وأخيرًا، تُفحص المسودات من اليسار إلى اليمين. ويُقبل رمز المسودة x باحتمال min(1, p(x) / q(x))، حيث p هو احتمال النموذج الهدف وq احتمال نموذج المسودة. وعند أول رفض، تُسحب عينة لرمز بديل من التوزيع المتبقي max(0, p - q) بعد إعادة تطبيعه، وتُهمَل المسودات المتبقية. وإذا نجت المسودات الـk كلها، يكون تنبؤ النموذج الهدف للموضع التالي متاحًا مجانًا من المرور نفسه؛ لذا تنتج الجولة الواحدة من رمز واحد إلى k + 1 رموز.

في فك الترميز الجشع، يتحول الاختبار إلى فحص تطابق يُبقي المسودات ما دامت تساوي الرمز الأعلى احتمالًا للنموذج الهدف. وإذا كان احتمال قبول كل مسودة هو a، فإن الجولة تنتج في المتوسط (1 - a^(k+1)) / (1 - a) رمزًا؛ لذا، عند a = 0.8 وk = 4، يتقدم النموذج الهدف بنحو 3.4 رموز لكل مرور أمامي.

تطبق محاكاة PyTorch هذه قاعدة القبول على خطوة واحدة من فك الترميز، وتحسب الرموز الناتجة:

import torch

torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05])  # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20])  # draft model's probabilities for the same step

# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)

# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)

print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")

تقبل العملية 80.1% من المسودات، وهو ما يطابق مقدار التداخل بين التوزيعين، أي مجموع min(p, q) البالغ 0.80. وتعيد تواترات المخرجات 0.5003 و0.2985 و0.1503 و0.0510 إنتاج توزيع النموذج الهدف p، رغم اقتراح نموذج المسودة معظم الرموز.

لا يلزم أن تكون المسودة شبكة منفصلة:

  • نموذج لغوي صغير من العائلة نفسها: يُعد النموذج الذي يستخدم أداة الترميز نفسها ويُطرح بالتزامن مع النموذج الكبير الخيار التقليدي.
  • رؤوس Medusa: تتنبأ رؤوس فك ترميز إضافية في النموذج الهدف بعدة رموز مستقبلية انطلاقًا من حالته المخفية الأخيرة، وتتحقق منها باستخدام انتباه الشجرة.
  • البحث في المطالبة: تُنسخ رموز المسودة من مجموعات n-gram مطابقة في المطالبة، وهو ما يناسب التلخيص والإجابات المعززة بالاسترجاع وتعديلات الشيفرة التي تكرر المدخل.

يدرّب تقطير المعرفة نموذجًا صغيرًا ليحل محل نموذج كبير، وهو أيضًا أسلوب شائع لتدريب مسودات تزيد احتمالات قبول النموذج الهدف لتخميناتها. ويخفض تكميم النموذج دقة أوزان النموذج الهدف نفسه، ما يغيّر مخرجاته قليلًا، وغالبًا ما تُقرن به نماذج المسودة المكمّمة.

توفّر محركات تقديم النماذج مثل vLLM وSGLang وTensorRT-LLM وllama.cpp فك الترميز الاستدلالي، وتتيحه مكتبة Transformers من Hugging Face بوصفه توليدًا مساعدًا. ويمكن لمسار عمل YOLO26 الذي يرسل اكتشافاته إلى نموذج لغوي عبر واجهة LLM من Ultralytics توجيه base_url إلى خادم محلي من هذا النوع؛ فتصل تقاريره المُولّدة إلى المستخدمين أسرع، مع الحفاظ على توزيع المخرجات نفسه. ويكون التحسن أكبر عند أحجام الدفعات الصغيرة: فعند كثافة الحركة، تملأ الدفعات المستمرة وحدة GPU بطلبات أخرى، فلا يتبقى إلا قدر ضئيل من القدرة الحاسوبية للتحقق.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة