Speculative Decoding

يعد فك التشفير التخميني تقنية تحسين متقدمة تُستخدم بشكل أساسي في النماذج اللغوية الكبيرة (LLMs) ومهام التوليد المتسلسل الأخرى لتسريع الاستدلال بشكل كبير دون المساس بجودة المخرجات. في التوليد التراجعي التقليدي، ينتج النموذج رمزاً واحداً في كل مرة، حيث تنتظر كل خطوة اكتمال الخطوة السابقة. قد تكون هذه العملية بطيئة، خاصة على الأجهزة القوية حيث تصبح النطاق الترددي للذاكرة، بدلاً من سرعة الحساب، هي العائق غالباً. يعالج فك التشفير التخميني هذا الأمر من خلال توظيف نموذج "مسودة" أصغر وأسرع للتنبؤ بسلسلة من الرموز المستقبلية بالتوازي، والتي يتم التحقق منها بعد ذلك في تمريرة واحدة بواسطة نموذج "هدف" أكبر وأكثر دقة. إذا كانت المسودة صحيحة، يقبل النظام رموزاً متعددة في وقت واحد، مما يؤدي إلى قفزة فعالة للأمام في عملية التوليد.

كيف يعمل فك التشفير التخميني#

تعتمد الآلية الأساسية على ملاحظة أن العديد من الرموز في السلسلة - مثل كلمات الوظيفة مثل "ال"، و"و"، أو التكملات الواضحة - يسهل التنبؤ بها ولا تتطلب القوة الحسابية الكاملة لنموذج ضخم. من خلال نقل هذه التنبؤات السهلة إلى نموذج وسيط خفيف الوزن، يقلل النظام من عدد المرات التي يحتاج فيها النموذج الثقيل إلى الاستدعاء.

عندما يراجع النموذج الهدف التسلسل المُصاغ، فإنه يستخدم خطوة التحقق المتوازي. وبما أن وحدات معالجة الرسومات (GPUs) مُحسّنة للغاية للمعالجة على دفعات، فإن فحص خمسة رموز مُصاغة في نفس الوقت يستغرق تقريباً نفس القدر من الوقت المستغرق لتوليد رمز واحد. إذا وافق النموذج الهدف على المسودة، يتم اعتماد تلك الرموز بشكل نهائي. وإذا لموافق في أي نقطة، يتم تقطير التسلسل، وإدراج الرمز الصحيح، وتكرار العملية. تضمن هذه الطريقة أن الناتج النهائي مطابق رياضياً لما كان سيُنتجه النموذج الهدف بمفرده، مما يحافظ على accuracy مع تعزيز السرعة بمقدار الضعف إلى 3 أضعاف في العديد من السيناريوهات.

تطبيقات العالم الحقيقي#

تُحدث هذه التقنية تحولاً في كيفية نشر الصناعات للذكاء الاصطناعي التوليدي، خاصة حيث يكون زمن الوصول أمراً بالغ الأهمية.

• إكمال الكود في الوقت الفعلي: في بيئات التطوير المتكاملة (IDEs)، يجب على مساعدي البرمجة بالذكاء الاصطناعي تقديم اقتراحات فورية أثناء كتابة المطور. يسمح فك التشفير التخميني لهؤلاء المساعدين بصياغة أسطر كاملة من الكود باستخدام نموذج صغير، بينما يقوم نموذج أساسي كبير بالتحقق من القواعد والمنطق في الخلفية. ينتج عن هذا تجربة مستخدم سلسة وسريعة تشبه الكتابة في الوقت الفعلي بدلاً من انتظار استجابة الخادم.
• الروبوتات الثرثارة التفاعلية على أجهزة الحافة: يُعد تشغيل نماذج اللغات الكبيرة القوية على الهواتف الذكية أو أجهزة الحواسيب المحمولة أمراً صعباً نظراً لمحدودية موارد الأجهزة. ومن خلال استخدام فك التشفير التكهني، يمكن للجهاز تشغيل نموذج صغير مُكمّم محلياً لصياغة الردود، مع الاستعلام أحياناً عن نموذج أكبر (سواء كان قائماً على السحابة أو نموذجاً محلياً أثقل) للتحقق. يتيح هذا النهج الهجين تفاعلات virtual assistant عالية الجودة بأقل قدر من التأخير، مما يجعل edge AI أكثر قابلية للتطبيق للمهام المعقدة.

العلاقة بالمفاهيم الأخرى#

من المهم التمييز بين فك التشفير التخميني واستراتيجيات التحسين المماثلة.

• Model Quantization: في حين أن التكميم يقلل من دقة أوزان النموذج (على سبيل المثال، من FP16 إلى INT8) لتوفير الذاكرة وتسريع الحساب، إلا أنه يغير النموذج بشكل دائم وقد يؤدي إلى تدهور طفيف في الأداء. وعلى العكس من ذلك، لا يغير فك التشفير التكهني أوزان النموذج الهدف ويضمن نفس توزيع المخرجات.
• Knowledge Distillation: يتضمن هذا تدريب نموذج طالب أصغر حجماً لتقليد نموذج معلم أكبر. ويحل نموذج الطالب محل المعلم تماماً. في فك التشفير التكهني، يعمل النموذج الصغير (المنشئ) والنموذج الكبير (المتحقق) جنباً إلى جنب أثناء inference، بدلاً من أن يحل أحدُهما محل الآخر.

مثال على التنفيذ#

بينما يتم تضمين فك التشفير التخميني غالباً في أطر العمل الخاصة بالخدمة، فإن مفهوم التحقق من التنبؤات يعد أساسياً للذكاء الاصطناعي الفعال. فيما يلي مثال مفاهيمي باستخدام PyTorch لتوضيح كيف يمكن لنموذج أكبر تسجيل أو التحقق من سلسلة من المدخلات المرشحة، على غرار خطوة التحقق في فك التشفير التخميني.

import torch


def verify_candidate_sequence(model, input_ids, candidate_ids):
    """Simulates the verification step where a target model checks candidate tokens."""
    # Concatenate input with candidates for parallel processing
    full_sequence = torch.cat([input_ids, candidate_ids], dim=1)

    with torch.no_grad():
        logits = model(full_sequence)  # Single forward pass for all tokens

    # Get the model's actual predictions (greedy decoding for simplicity)
    predictions = torch.argmax(logits, dim=-1)

    # In a real scenario, we check if predictions match candidate_ids
    return predictions


# Example tensor setup (conceptual)
# input_ids = torch.tensor([[101, 2054, 2003]])
# candidate_ids = torch.tensor([[1037, 3024]])
# verify_candidate_sequence(my_model, input_ids, candidate_ids)

التأثير على تطوير الذكاء الاصطناعي في المستقبل#

مع استمرار النماذج في النمو من حيث الحجم، يتسع التباين بين قدرة الحوسبة وعرض النطاق الترددي للذاكرة، والذي يُطلق عليه غالباً "جدار الذاكرة". يساعد فك التشفير التكهني في سد هذه الفجوة من خلال تعظيم الكثافة الحسابية لكل عملية وصول إلى الذاكرة. تُعد هذه الكفاءة أمراً بالغ الأهمية لل نشر المستدام لـ generative AI على نطاق واسع، مما يقلل من استهلاك الطاقة والتكاليف التشغيلية على حد سواء.

يستكشف الباحثون حالياً طرقاً لتطبيق مبادئ تكهنية مماثلة على مهام computer vision. على سبيل المثال، في video generation، يمكن لنموذج خفيف الوزن صياغة إطارات مستقبلية يتم تنقيحها لاحقاً بواسطة نموذج انتشار عالي الدقة. ومع دمج أطر عمل مثل PyTorch و TensorFlow لهذه التحسينات بشكل أصلي، يمكن للمطورين توقع inference latency أسرع عبر نطاق أوسع من الوسائط، بدءاً من النصوص وصولاً إلى البيانات المرئية المعقدة التي تتم معالجتها بواسطة بنيات متقدمة مثل Ultralytics YOLO26.

بالنسبة لأولئك الذين يديرون دورة حياة هذه النماذج، فإن استخدام أدوات مثل Ultralytics Platform يضمن أن مجموعات البيانات الأساسية خطوط أنابيب التدريب تتسم بالمتانة، مما يوفر أساساً صلبباً لتقنيات الاستدلال المتقدمة. وسواء كنت تعمل مع large language models أو أحدث تقنيات object detection، يظل تحسين خط أنابيب الاستدلال خطوة أساسية في الانتقال من النموذج الأولي إلى الإنتاج.