Constrained Decoding

فك الترميز المقيّد هو أسلوب في توليد النص يحدّ من الرموز التي يمكن لنموذج اللغة إنتاجها في كل خطوة، بحيث يُضمن أن يطابق الناتج النهائي تنسيقًا مطلوبًا: تسمية واحدة من مجموعة ثابتة، أو تعبيرًا نمطيًا، أو قواعد نحوية، أو مخطط JSON. يظل النموذج يقيّم كل رمز في مفرداته. وقبل اختيار الرمز، يزيل مفكّك الترميز كل خيار من شأنه مخالفة التنسيق. وتستخدم التطبيقات التي تحلّل مخرجات النموذج، مثل واجهات API الخلفية ووكلاء الذكاء الاصطناعي وخطوط معالجة استخراج البيانات، هذا الأسلوب كي يُحلّل كل رد بنجاح من المحاولة الأولى.

حجب الرموز غير الصالحة#

يولّد نموذج لغوي كبير نصًا بإنتاج رمز واحد في كل مرة. وفي كل خطوة، ينتج درجة، أو قيمة لوغيت، لكل رمز في مفرداته، وتحوّل دالة سوفت ماكس تلك الدرجات إلى احتمالات. يضيف فك الترميز المقيّد عملية واحدة قبل أخذ العينات: تُسند قيمة لوغيت تساوي سالب ما لا نهاية إلى الرموز التي لا يمكن أن تؤدي إلى مخرج صالح، ما يجعل احتمالها صفرًا، ثم يُعاد تطبيع الكتلة الاحتمالية المتبقية على الرموز الصالحة.

import torch

# Raw next-token scores from a model over a toy vocabulary
vocab = ["approved", "rejected", "review", "maybe", "{", "}"]
logits = torch.tensor([1.2, 0.4, 0.9, 2.5, 0.1, 0.3])

# The schema allows only the three status labels at this position
allowed = torch.tensor([True, True, True, False, False, False])
masked_logits = logits.masked_fill(~allowed, float("-inf"))

# Softmax renormalizes probability over the valid tokens only
for name, raw, masked in zip(vocab, logits.softmax(-1), masked_logits.softmax(-1)):
    print(f"{name:>9}: {raw:.2f} -> {masked:.2f}")

يخصص النموذج غير المقيّد 56% من احتمالاته لكلمة «ربما». وبعد تطبيق القناع، تهبط احتمالات «ربما» إلى الصفر، وتتقاسم التسميات الثلاث المسموح بها الاحتمالات بنسبة درجاتها الأصلية، فترتفع احتمالات «موافق عليه» من 15% إلى 46%.

تتعقب محركات الاستدلال الإنتاجية حالة القيد مع تقدم التوليد. وتُحوّل قائمة خيارات ثابتة أو تعبير نمطي إلى آلة حالات منتهية. أما JSON والتنسيقات المتداخلة الأخرى فتحتاج إلى قواعد نحوية مع مكدس، لأن القوس المعقوف الختامي لا يكون صالحًا إلا بعد قوس معقوف افتتاحي مطابق. بعد كل رمز، يحدّث مفكّك الترميز الحالة ويعيد حساب مجموعة الرموز المسموح بها. ينتج عن تجزئة الرموز أجزاء فرعية متفاوتة الأطوال، لذا قد يغطي رمز واحد مثل "}, عدة خطوات نحوية دفعة واحدة. لذلك تحسب المكتبات مسبقًا مدخلات المفردات المسموح بها في كل حالة، ما يبقي تكلفة كل رمز منخفضة حتى مع مفردات تضم أكثر من 100,000 رمز. وصف براندون ويلارد ورِيمي لو هذا الفهرسة للتعبيرات النمطية والقواعد النحوية الخالية من السياق في عام 2023 ضمن ورقة Efficient Guided Generation for Large Language Models، التي تستند إليها مكتبة Outlines.

اختيار القيد#

ينبغي أن يطابق القيد المناسب الناتج الذي يستهلكه التطبيق فعليًا. تناسب قائمة الخيارات مهام التصنيف والتوجيه، حيث يجب أن تكون الإجابة إحدى سلاسل قليلة. وتغطي التعبيرات النمطية القيم القصيرة المنظمة، مثل التواريخ والمعرّفات وأرقام الهواتف. وتصف القواعد النحوية الخالية من السياق SQL والبرامج واللغات الخاصة بالمجالات، ويُعد تنسيق القواعد النحوية GBNF في llama.cpp مثالًا شائع الاستخدام. أما السجلات ذات الحقول المسماة، فيحدد مخطط JSON المفاتيح المطلوبة والأنواع والقيم المحصورة والتداخل. وتقبل واجهات API المستضافة، مثل OpenAI Structured Outputs، مخططًا وتفرضه أثناء التوليد، مع دعم مجموعة فرعية موثقة عادةً من مواصفات مخطط JSON الكاملة.

كثيرًا ما يُخلط بين فك الترميز المقيّد والتقنيات القريبة منه:

• المخرجات المنظّمة: الهدف الأوسع المتمثل في إنتاج ردود قابلة للقراءة آليًا، ويتحقق إما بفك الترميز المقيّد أثناء التوليد أو بالتحقق من المخرجات بعد ذلك وإعادة المحاولة عند الإخفاق.
• وضع JSON: يقيّد المخرجات لتكون JSON صالحة نحويًا بأي بنية، لذا تظل المفاتيح والأنواع والقيم بحاجة إلى التحقق.
• هندسة المطالبات: تطلب تنسيقًا ضمن التعليمات، وتتبع النماذج هذه التعليمات في معظم الأحيان. وعادةً ما تصف الطلبات المقيّدة بمخطط الحقول في المطالبة أيضًا، كي يعرف النموذج معنى كل حقل.
• استدعاء الدوال: تُعد أسماء الأدوات ووسائطها من أكثر الأهداف شيوعًا لقيود المخططات، لأن الشفرة التي تستدعيها تتوقع أسماء حقول دقيقة.

الموازنة بين المفاضلات عمليًا#

ضمان التنسيق لا يضمن شيئًا بشأن المحتوى. فقد يفرض المخطط أن تكون {"total": 1290.00} عددًا، لكن العدد قد يظل خاطئًا، ويمكن لنموذج مقيّد أن يهلوس بطلاقة ضمن حقول صالحة. ويظل على التطبيقات التحقق من قواعد العمل بعد التوليد.

قد تؤدي القيود أيضًا إلى خفض جودة الإجابة عندما تدفع النموذج بعيدًا عن النص الذي سيكتبه بطبيعته. فالمخطط الذي يشترط أن تكون الإجابة النهائية أول حقل لا يترك مجالًا لـالاستدلال الوسيط، لذا غالبًا ما تضع المخططات حقلًا للاستدلال أو الملاحظات بنص حر قبل حقل الإجابة. كما يجب الانتباه إلى طول المخرجات: فإذا بلغ التوليد حد الرموز في منتصف كائن، كانت النتيجة غير صالحة بصرف النظر عن القيد، ولذلك تحدد الطلبات المنظّمة أطوالًا قصوى مع هامش يكفي للبنية كاملة. ويستغرق تجميع المخططات الكبيرة جدًا أو العميقة التكرار وقتًا أطول، وهو أمر مهم للأنظمة التي تنشئ مخططًا جديدًا لكل طلب.

تستخدم تطبيقات الرؤية الآلية الآلية نفسها عندما يتعين على نموذج متعدد الوسائط إرجاع حقول تصف صورة. تمرر واجهة Ultralytics لنماذج اللغة الكبيرة وسيطات الطلب كما هي إلى واجهات API المتوافقة مع OpenAI، لذا يحدّ مخطط JSON الممرر مع طلب يتضمن صورة إجابة نموذج الرؤية واللغة إلى حقول مثل hazard وseverity، لتكون جاهزة للدمج مع اكتشافات YOLO26 من الإطار نفسه.