Speculative Decoding

يعد فك التشفير التخميني تقنية تحسين متقدمة تُستخدم بشكل أساسي في النماذج اللغوية الكبيرة (LLMs) ومهام التوليد المتسلسل الأخرى لتسريع الاستدلال بشكل كبير دون المساس بجودة المخرجات. في التوليد التراجعي التقليدي، ينتج النموذج رمزاً واحداً في كل مرة، حيث تنتظر كل خطوة اكتمال الخطوة السابقة. قد تكون هذه العملية بطيئة، خاصة على الأجهزة القوية حيث تصبح النطاق الترددي للذاكرة، بدلاً من سرعة الحساب، هي العائق غالباً. يعالج فك التشفير التخميني هذا الأمر من خلال توظيف نموذج "مسودة" أصغر وأسرع للتنبؤ بسلسلة من الرموز المستقبلية بالتوازي، والتي يتم التحقق منها بعد ذلك في تمريرة واحدة بواسطة نموذج "هدف" أكبر وأكثر دقة. إذا كانت المسودة صحيحة، يقبل النظام رموزاً متعددة في وقت واحد، مما يؤدي إلى قفزة فعالة للأمام في عملية التوليد.

Link to this sectionكيف يعمل فك التشفير التخميني#

تعتمد الآلية الأساسية على ملاحظة أن العديد من الرموز في السلسلة - مثل كلمات الوظيفة مثل "ال"، و"و"، أو التكملات الواضحة - يسهل التنبؤ بها ولا تتطلب القوة الحسابية الكاملة لنموذج ضخم. من خلال نقل هذه التنبؤات السهلة إلى نموذج وسيط خفيف الوزن، يقلل النظام من عدد المرات التي يحتاج فيها النموذج الثقيل إلى الاستدعاء.

عندما يقوم النموذج الهدف بمراجعة السلسلة المسودة، فإنه يستخدم خطوة تحقق متوازية. نظراً لأن وحدات معالجة الرسومات (GPUs) محسنة للغاية للمعالجة المجمعة، فإن التحقق من خمسة رموز مسودة في وقت واحد يستغرق تقريباً نفس مقدار الوقت الذي يستغرقه توليد رمز واحد. إذا وافق النموذج الهدف على المسودة، يتم اعتماد تلك الرموز بشكل نهائي. إذا اختلف في أي مرحلة، يتم اقتطاع السلسلة، وإدراج الرمز الصحيح، وتكرار العملية. تضمن هذه الطريقة أن المخرجات النهائية متطابقة رياضياً مع ما كان سينتجه النموذج الهدف بمفرده، مع الحفاظ على الدقة مع تعزيز السرعة بمقدار 2x إلى 3x في العديد من السيناريوهات.

Link to this sectionتطبيقات العالم الحقيقي#

تُحدث هذه التقنية تحولاً في كيفية نشر الصناعات للذكاء الاصطناعي التوليدي، خاصة حيث يكون زمن الوصول أمراً بالغ الأهمية.

• إكمال الكود في الوقت الفعلي: في بيئات التطوير المتكاملة (IDEs)، يجب على مساعدي البرمجة بالذكاء الاصطناعي تقديم اقتراحات فورية أثناء كتابة المطور. يسمح فك التشفير التخميني لهؤلاء المساعدين بصياغة أسطر كاملة من الكود باستخدام نموذج صغير، بينما يقوم نموذج أساسي كبير بالتحقق من القواعد والمنطق في الخلفية. ينتج عن هذا تجربة مستخدم سلسة وسريعة تشبه الكتابة في الوقت الفعلي بدلاً من انتظار استجابة الخادم.
• روبوتات الدردشة التفاعلية على أجهزة الحافة: يعد تشغيل النماذج اللغوية الكبيرة القوية على الهواتف الذكية أو أجهزة الكمبيوتر المحمولة أمراً صعباً بسبب محدودية موارد الأجهزة. باستخدام فك التشفير التخميني، يمكن للجهاز تشغيل نموذج صغير ومكمم محلياً لصياغة الردود، بينما يستعلم أحياناً من نموذج أكبر (سواء كان قائماً على السحابة أو نموذجاً محلياً أثقل) للتحقق. يتيح هذا النهج الهجين تفاعلات مساعد افتراضي عالية الجودة مع حد أدنى من التأخير، مما يجعل ذكاء الحافة الاصطناعي أكثر قابلية للتطبيق للمهام المعقدة.

Link to this sectionالعلاقة بالمفاهيم الأخرى#

من المهم التمييز بين فك التشفير التخميني واستراتيجيات التحسين المماثلة.

• تكميم النموذج: بينما يقلل التكميم من دقة أوزان النموذج (على سبيل المثال، من FP16 إلى INT8) لتوفير الذاكرة وتسريع الحساب، فإنه يغير النموذج بشكل دائم وقد يؤدي إلى تدهور طفيف في الأداء. في المقابل، لا يغير فك التشفير التخميني أوزان النموذج الهدف ويضمن نفس توزيع المخرجات.
• تقطير المعرفة: يتضمن هذا تدريب نموذج طالب أصغر لمحاكاة نموذج معلم أكبر. يحل نموذج الطالب محل المعلم تماماً. في فك التشفير التخميني، يعمل النموذج الصغير (المسودة) والنموذج الكبير (المحقق) جنباً إلى جنب أثناء الاستدلال، بدلاً من أن يحل أحدهما محل الآخر.

Link to this sectionمثال على التنفيذ#

بينما يتم تضمين فك التشفير التخميني غالباً في أطر العمل الخاصة بالخدمة، فإن مفهوم التحقق من التنبؤات يعد أساسياً للذكاء الاصطناعي الفعال. فيما يلي مثال مفاهيمي باستخدام PyTorch لتوضيح كيف يمكن لنموذج أكبر تسجيل أو التحقق من سلسلة من المدخلات المرشحة، على غرار خطوة التحقق في فك التشفير التخميني.

import torch


def verify_candidate_sequence(model, input_ids, candidate_ids):
    """Simulates the verification step where a target model checks candidate tokens."""
    # Concatenate input with candidates for parallel processing
    full_sequence = torch.cat([input_ids, candidate_ids], dim=1)

    with torch.no_grad():
        logits = model(full_sequence)  # Single forward pass for all tokens

    # Get the model's actual predictions (greedy decoding for simplicity)
    predictions = torch.argmax(logits, dim=-1)

    # In a real scenario, we check if predictions match candidate_ids
    return predictions


# Example tensor setup (conceptual)
# input_ids = torch.tensor([[101, 2054, 2003]])
# candidate_ids = torch.tensor([[1037, 3024]])
# verify_candidate_sequence(my_model, input_ids, candidate_ids)

Link to this sectionالتأثير على تطوير الذكاء الاصطناعي في المستقبل#

مع استمرار نمو النماذج في الحجم، يتسع التفاوت بين قدرة الحوسبة والنطاق الترددي للذاكرة - وهو ما يُعرف غالباً باسم "جدار الذاكرة". يساعد فك التشفير التخميني في سد هذه الفجوة من خلال زيادة الكثافة الحسابية لكل وصول إلى الذاكرة إلى أقصى حد. هذه الكفاءة ضرورية للنشر المستدام لـ الذكاء الاصطناعي التوليدي على نطاق واسع، مما يقلل من استهلاك الطاقة والتكاليف التشغيلية.

يستكشف الباحثون حالياً طرقاً لتطبيق مبادئ تخمينية مماثلة على مهام الرؤية الحاسوبية. على سبيل المثال، في توليد الفيديو، يمكن لنموذج خفيف الوزن صياغة إطارات مستقبلية يتم صقلها لاحقاً بواسطة نموذج انتشار عالي الدقة. مع قيام أطر العمل مثل PyTorch و TensorFlow بدمج هذه التحسينات أصلاً، يمكن للمطورين توقع سرعة أكبر في زمن استجابة الاستدلال عبر مجموعة واسعة من الأنماط، من النص إلى البيانات المرئية المعقدة التي تتم معالجتها بواسطة بنى متقدمة مثل Ultralytics YOLO26.

بالنسبة لأولئك الذين يديرون دورة حياة هذه النماذج، فإن استخدام أدوات مثل Ultralytics Platform يضمن أن مجموعات البيانات وخطوط أنابيب التدريب الأساسية قوية، مما يوفر أساساً صلباً لتقنيات الاستدلال المتقدمة. سواء كنت تعمل مع نماذج لغوية كبيرة أو اكتشاف الأجسام المتطور، يظل تحسين خط أنابيب الاستدلال خطوة أساسية في الانتقال من النموذج الأولي إلى الإنتاج.