Structured Outputs

المخرجات المنظّمة هي استجابات نموذج مقيّدة باتباع تنسيق محدد مسبقاً، عادةً مخطط JSON يسمّي المفاتيح المطلوبة وأنواعها والقيم المسموح بها، لكي تتمكن البرمجيات من تحليل كل رد من دون تنقيح. وعادةً ما يمتثل نموذج لغوي كبير (LLM) إذا طُلب منه بلطف إخراج JSON، لكنه قد يضيف جملة نثرية أو يخطئ في كتابة مفتاح أو يتوقف في منتصف كائن، وكل منها يعطّل البرنامج الذي يقرأ الرد. وتزيل المخرجات المنظّمة هذا الخطر باستخدام فك الترميز المقيّد: ففي كل خطوة من التوليد، لا يسمح محرك الاستدلال إلا بـالرموز التي تُبقي المخرجات متوافقة مع المخطط. وعندما أضافت OpenAI هذه الميزة إلى API لديها في أغسطس 2024، أفادت بأن gpt-4o-2024-08-06 حقق مع المخرجات المنظّمة نتيجة 100% في تقييم اتباع مخططات JSON المعقدة، مقارنةً بأقل من 40% لـGPT-4 (gpt-4-0613) من دونها.

وضع JSON مقارنةً بالمخرجات المنظّمة#

تقدم واجهات API لدى المزوّدين مستويين من الضمان. فوضع JSON، الذي قدمته OpenAI في نوفمبر 2023، يضمن فقط أن يكون الرد JSON صحيحاً من الناحية النحوية، لذا قد تظل المفاتيح مفقودة أو مسماة على نحو خاطئ. أما المخرجات المنظّمة فتضمن مطابقة الرد للمخطط المقدّم. وفي واجهة API للمخرجات المنظّمة من OpenAI، يعرّف المطورون المخطط كنموذج Pydantic في Python أو كائن Zod في JavaScript، ويصل الرفض في حقل منفصل بدلاً من كسر التنسيق. وتحوّل المخرجات المنظّمة في Claude من Anthropic كل مخطط إلى قواعد نحوية، ما يزيد زمن الاستجابة عند استخدام المخطط للمرة الأولى، ثم تخزّن القواعد النحوية المترجمة مؤقتاً لمدة 24 ساعة. ويدعم المزوّدان مجموعة فرعية فقط من JSON Schema؛ فمثلاً، لا يدعم مخطط Anthropic المخططات العودية أو الحدود الرقمية مثل minimum.

آلية عمل فك الترميز المقيّد#

ينتج النموذج اللغوي الكبير في كل خطوة درجة، أو قيمة لوغاريتمية، لكل رمز في مفرداته، ويختار فك الترميز من توزيع سوفت ماكس الناتج. ويجعل فك الترميز المقيّد درجة كل رمز من شأنه كسر التنسيق سالب ما لا نهاية أولاً، بحيث يتعذر اختياره. وأوضح براندون ويلارد وريمي لو كيفية تنفيذ ذلك بكفاءة في التوليد الموجّه الفعّال للنماذج اللغوية الكبيرة: إذ يُحوّل التعبير النمطي أو مخطط JSON إلى آلة حالات منتهية، ويُنشأ مرة واحدة فهرس للمفردات يسرد الرموز الصالحة لكل حالة، ما يجعل كلفة كل خطوة عملية بحث في الفهرس. وتنفّذ مكتبة Outlines مفتوحة المصدر هذه الطريقة، كما توفر محركات تقديم النماذج مثل vLLM التوليد الموجّه بالقواعد النحوية للنماذج المفتوحة.

يطبّق المثال التالي الفكرة يدوياً على GPT-2 من Transformers في Hugging Face. يكتب البرنامج النص الثابت للمخطط، أي الأقواس والمفاتيح وعلامات الاقتباس، ولا يسمح للنموذج عند كل قيمة إلا باختيار الرموز التي يجيزها المخطط:

import json

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
prompt = "Review: The battery died after two days and support never replied.\nJSON:"

# ⁨فك الترميز الجشع غير المقيّد: لا شيء يُلزم الرد باتباع مخطط⁩
ids = tokenizer(prompt, return_tensors="pt").input_ids
free = model.generate(ids, max_new_tokens=16, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print("free:", repr(tokenizer.decode(free[0, ids.shape[1] :])))


def choose(text, options):
    """Return the option GPT-2 scores highest after text, with every other token masked out."""
    logits = model(tokenizer(text, return_tensors="pt").input_ids).logits[0, -1]
    allowed = torch.tensor([tokenizer.encode(option)[0] for option in options])
    masked = torch.full_like(logits, float("-inf"))
    masked[allowed] = logits[allowed]
    return tokenizer.decode(masked.argmax())


# ⁨فك الترميز المقيّد: يكتب المخطط المفاتيح، ولا يُسمح للنموذج إلا باختيار القيم المسموح بها⁩
with torch.no_grad():
    text = prompt + ' {"sentiment": "'
    text += choose(text, ["positive", "negative"]) + '", "stars": '
    text += choose(text, ["1", "2", "3", "4", "5"]) + "}"
print("constrained:", json.loads(text[len(prompt) :]))

يطبع البرنامج free: ' The battery died after two days and support never replied.\n\nJSON: The' وconstrained: {'sentiment': 'positive', 'stars': 1}. وإذا تُرك GPT-2 من دون قيود، كرر المراجعة بدلاً من كتابة JSON، بينما تكون النسخة المقيّدة قابلة للتحليل دائماً. وتُظهر النتيجة المحلّلة أيضاً حدود التقنية: فقد حكم النموذج ذو المعلمات البالغ عددها 124 مليوناً بأن البطارية الفارغة والدعم الصامت إيجابيان، ومنحهما نجمة واحدة. أصلح المخطط التنسيق، لكن القيم الواردة فيه ظلت نابعة من تقدير النموذج نفسه.

الاستخدامات والمفاضلات#

• استخراج البيانات: نقل الأسماء والتواريخ والإجماليات وبنود الفواتير من الفواتير أو العقود أو رسائل البريد الإلكتروني مباشرةً إلى صفوف قاعدة البيانات.
• استدعاء الدوال: استدعاء الأداة مخرج منظّم يكون مخططه معلمات الأداة. ويطبّق الاستخدام الصارم للأدوات في واجهتي API لدى OpenAI وAnthropic الضمان نفسه على وسيطات الأدوات.
• مسارات العمل الوكيلة: تمثيل قرارات التوجيه بقيم تعداد، وتمرير النتائج الوسيطة بين خطوات سلسلة الموجّهات على هيئة كائنات ذات أنواع محددة.
• نماذج الرؤية واللغة: إرجاع الاكتشافات في قوائم من التسميات وإحداثيات المربعات، بحيث تتمكن شيفرة الرسم أو التقييم من استخدامها مباشرةً.

تعتمد التسمية الذكية الموجّهة بالفئات في منصة Ultralytics على هذا النوع الأخير من المخرجات. فهي تطلب من نماذج الرؤية لدى مزودين مثل OpenAI وAnthropic وGoogle كشف فئات مجموعة البيانات، وتضيف كل كائن معاد في صورة صندوق إحاطة قابل للتحرير؛ لذا يجب أن تحدد كل إجابة فئةً وتقدم إحداثيات بصيغة يمكن للشيفرة تحليلها. ولا تعيد هذه النماذج درجات ثقة، لذلك تخفي المنصة إعدادات الثقة وIoU عند تحديد أحدها. وتقارن لوحة صدارة VLM دقة هذه النماذج في كشف الأجسام ضمن مجموعات بيانات واقعية، وترتب صناديق كل نموذج بحسب ترتيب إدراجه لها.

قد تقلل التنسيقات الصارمة الدقة في مهام الاستدلال. ففي دعوني أتكلم بحرية؟، وجد تشي روي تام وزملاؤه انخفاضاً ملحوظاً في استدلال النماذج اللغوية الكبيرة عند فرض قيود التنسيق، مع تسبّب القيود الأشد في انخفاض أكبر. وتُنشئ API لدى OpenAI المفاتيح حسب الترتيب الوارد في المخطط، لذا يتمثل حل شائع في وضع حقل استدلال نصي حر قبل حقل الإجابة، كي يكتب النموذج سلسلة تفكيره قبل تقديم الإجابة المقيّدة.