Constrained Decoding

فك الترمز المقيد هو تقنية استدلال تقيد النموذج التوليدي بمخرجات صالحة أثناء توليد كل رمز. بدلًا من السماح للنموذج بالاختيار من مفرداته بالكامل، يزيل فك الترمز الخيارات التي تخالف قاعدة، مثل قائمة التسميات المسموحة، أو التعبير المنتظم، أو القواعد النحوية، أو مخطط JSON. هذا يجعل استجابات النموذج أسهل وأكثر أمانًا للبرمجيات ليتم تحليلها، لا سيما عندما يتعين على نظام الذكاء الاصطناعي إرجاع بيانات منظمة أو تحديد إجراء مسموح به.

كيف يعمل فك الترمز المقيد#

يولد نموذج اللغة التراجعي الذاتي تسلسلًا رمزًا تلو الآخر. في كل خطوة، يعين درجات تُدعى اللوغتس للرموز التالية المحتملة ويحولها عادةً إلى احتمالات باستخدام سوفت ماكس. يُدرج فك الترمز المقيد خطوة تصفية إضافية:

1. تتبع جزء المخرجات الذي تم توليده بالفعل.
2. تحديد الرموز التالية التي تظل صالحة بموجب القيد.
3. حجب الرموز غير الصالحة لكي تصبح احتماليتها صفرًا.
4. تحديد أو أخذ عينات من الرموز الصالحة المتبقية.
5. تحديث حالة القيد والتكرار.

تتغير المجموعة الصالحة ديناميكيًا. بعد توليد {"status": "، على سبيل المثال، قد يسمح المخطط فقط بالرموز التي يمكنها إكمال "approved" أو "rejected" أو "review". يمكن للمحركات التي توفر مخرجات vLLM المنظمة فرض الخيارات، والتعبيرات المنتظمة، والقواعد النحوية، ومخططات JSON، بينما يمكن لـ توليد JSON لـ Outlines استقراء القيود من المخططات أو نماذج Python المكتوبة.

يصف فك ترمز قيود الرسم البياني التنفيذات التي تمثل التسلسلات الصالحة كمسارات عبر رسم بياني أو آلة حالات. ينقل كل رمز مُتولّد فك الترمز إلى حالة أخرى، تحدد حوافها الصادرة الخيارات الصالحة التالية. هذا النهج مفيد للقواعد النحوية، وعلاقات الكيانات، والقواعد الأخرى المعتمدة على الحالة.

المفاهيم ذات الصلة والفروق الرئيسية#

يرتبط فك الترمز المقيد ارتباطًا وثيقًا بالعديد من مفاهيم الذكاء الاصطناعي، لكنها ليست قابلة للتبادل:

• المخرجات المنظمة: النتيجة المطلوبة، مثل كائن يحتوي على حقول مطلوبة وأنواع بيانات. فك الترمز المقيد هو إحدى الآليات المستخدمة لإنتاج هذه النتيجة. تعرض الخدمات بما في ذلك مخرجات OpenAI المنظمة ومخرجات Claude المنظمة ومخرجات Gemini المنظمة عناصر تحكم مبنية على المخططات.
• وضع JSON: يضمن عادةً بناء جملة JSON صالحًا ولكنه قد لا يفرض مفاتيح أو أنواعًا أو قيمًا مسموحة معينة. يستهدف فك الترمز المقيد بالمخطط بنية محددة.
• استدعاء الدوال واستخدام الأدوات: يحدد كيف يطلب النموذج عملية خارجية. يمكن لفك الترمز المقيد فرض أسماء دوال وأشكال وسائط صالحة، لكن التطبيق لا يزال ينفذ الأداة ويصرح بها.
• هندسة التوجيه: يطلب من النموذج اتباع تنسيق من خلال التعليمات. فهو يؤثر على السلوك ولكنه لا يلغي آليًا الرموز غير الصالحة.
• فك الترمز المضاربي: يسرع عملية التوليد من خلال اقتراح والتحقق من الرموز. هدفه الأساسي هو السرعة، بينما يتحكم فك الترمز المقيد في الصلاحية.

يمكن للأنظمة المكتوبة تحديد المخططات من خلال أدوات مثل مخطط Pydantic JSON بدلاً من كتابة كل قاعدة يدوياً.

التطبيقات الواقعية#

معالجة المستندات: قد يستخرج نظام معالجة الفواتير vendor وinvoice_number وtotal وcurrency من المستندات الممسوحة ضوئياً. يضمن فك الترمز المقيد أن الاستجابة تحتوي على المفاتيح وأنواع البيانات المتوقعة قبل إدخالها في برامج المحاسبة. وهو يمنع الحمولة غير التكوينية، رغم أنه لا يمكنه ضمان أن المجموع المستخرج صحيح واقعياً.

الأتمتة الآمنة المدفوعة بالرؤية: يمكن لنظام استخدام Ultralytics YOLO26 للكشف عن العمال ومعدات الحماية، ثم إرسال الملاحظات ذات الصلة إلى نموذج لغوي. قد يقيد فك الترمز قرار النموذج بـ no_action أو manual_review أو send_alert. في سیر عمل وكلاء منصة Ultralytics، يمكن ربط نماذج الرؤية، والشروط، والنماذج اللغوية، والإجراءات بحيث لا تمضي سوى الصور المؤهلة إلى الخطوات اللاحقة.

مثال عملي لسير العمل#

تنبؤات الرؤية الحاسوبية منظمة بالفعل وليست مُولّدة رمزًا ترمزًا. ينتج سير عمل وضع تنبؤ YOLO التالي JSON الذي يمكن أن يصبح مدخلًا لقرار نموذج لغوي مقيد لاحق:

from ultralytics import YOLO

# Load the recommended object detection model
model = YOLO("yolo26n.pt")

# Run inference and select the first result
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Serialize detections for a downstream constrained decoder
json_output = result.to_json()
print(json_output)

هنا، يؤدي to_json() تسلسلاً حتمياً، وليس فك ترمز مقيداً. ستحدث الخطوة المقيدة لاحقاً إذا قام نموذج توليدي بتحويل عمليات الكشف هذه إلى تقرير أو إجراء محدود المخطط.

الفوائد، والقيود، وأفضل الممارسات#

يقلل فك الترمز المقيد من فشل التحليل، وإعادة المحاولات، والحقول غير المتوقعة، ووسائط الأدوات غير الصالحة. ومع ذلك، لا تلغي الصلاحية الهيكلية هلوسات نموذج اللغة الكبير: فاستجابة مُشكلة تماماً لا تزال تحتوي على حقائق غير صحيحة أو إجراء غير مناسب.

استخدم مخططات ضيقة، وأوصاف حقول ذات معنى، وتعدادات للخيارات المغلقة، وحقول قابلة للقيم الفارغة عندما قد تكون المعلومات غير متاحة. تحقق من القواعد التجارية بعد التوليد، وتعامل مع الرفض والاستجابات المقتطعة، واختبر مجموعة المخططات المدعومة لكل مزود. في الإنتاج، قم أيضاً بقياس التكاليف العامة لتجميع المخططات، وزمن انتقال فك الترمز، والدقة الدلالية بدلاً من تقييم التوافق مع التنسيق وحدها.