Prompt Engineering

هندسة المطالبات هي ممارسة تصميم المُدخل المقدَّم إلى نموذج توليدي، بما في ذلك تعليماته وسياقه وأمثلته وتنسيق المخرجات المطلوب، لتوجيه مخرجات النموذج من دون تغيير أوزان النموذج. وقد انتشر هذا النهج مع GPT-3: ففي نماذج اللغة متعلمون من أمثلة قليلة (2020)، أوضحت OpenAI أن نموذجًا يضم 175 مليار مُعامل يمكنه تنفيذ مهام جديدة دون أي تحديثات للتدرجات، عندما تصف المطالبة المهمة وتقدم بضعة أمثلة؛ وتسمّي الورقة هذه القدرة التعلّم ضمن السياق. واليوم، تُعد المطالبة الوسيلة الرئيسية للتحكم في النماذج اللغوية الكبيرة (LLMs) ونماذج الرؤية واللغة (VLMs) ومولّدات النص إلى صورة ونماذج الرؤية القابلة للتوجيه بالمطالبات.

التقنيات الأساسية#

• التعليمات والأدوار: تحدد مطالبة النظام دور النموذج وقواعده وجمهوره، وتفصل المحددات مثل العناوين أو الوسوم بأسلوب XML التعليمات عن البيانات الجاري معالجتها.
• أمثلة قليلة: توضّح أزواج المُدخلات والمخرجات المنجزة المهمة وتنسيق الإجابة بدقة أكبر من الوصف. وتُسمّى المطالبة الخالية من الأمثلة مطالبة صفرية الأمثلة.
• تنسيق المخرجات: تحدد المطالبة التنسيق، مثل قائمة أو JSON بمفاتيح محددة. وعندما يتعين على الكود تحليل النتيجة، تفرض المخرجات المنظَّمة مخططًا أثناء فك الترميز بدلًا من الاعتماد على الطلب.
• المطالبة بسلسلة الأفكار: طلب خطوات الاستدلال الوسيطة قبل الإجابة، ما يرفع الدقة في المسائل متعددة الخطوات.
• تسلسل المطالبات: تقسيم مهمة معقدة إلى عدة مطالبات، لكل منها مهمة محددة النطاق، وربطها بالكود.
• السياق المسترجع: إدراج المستندات أو البيانات التي عُثر عليها بالبحث كي يجيب النموذج استنادًا إلى الحقائق المقدمة بدلًا من ذاكرته.

تقلل الحقائق المقدمة من الهلوسة، كما أن موضعها مهم: فقد وجدت دراسة الضياع في الوسط أن النماذج تستخدم المعلومات على أفضل وجه عندما تظهر في بداية نافذة السياق الطويلة أو نهايتها، وعلى أسوأ وجه عندما تكون مدفونة في وسطها.

يسهل ملاحظة أثر الأمثلة على نموذج أساسي لم يخضع قط لـالضبط الدقيق بالتعليمات. يمنح هذا المقتطف GPT-2، المحمّل باستخدام Transformers من Hugging Face، التعليمات نفسها مرة مع ثلاثة أمثلة ومرة من دونها:

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")

# The same instruction, without and with three worked examples that show the answer format
instruction = "Convert each country to its capital city.\n"
prompts = {
    "zero-shot": instruction + "Italy:",
    "few-shot": instruction + "France: Paris\nJapan: Tokyo\nCanada: Ottawa\nItaly:",
}

for name, prompt in prompts.items():
    inputs = tokenizer(prompt, return_tensors="pt")
    output = model.generate(**inputs, max_new_tokens=4, do_sample=False, pad_token_id=tokenizer.eos_token_id)
    completion = tokenizer.decode(output[0, inputs.input_ids.shape[1] :])
    print(f"{name}: {completion!r}")

يطبع zero-shot: '\n\nItaly is' وfew-shot: ' Rome\nSpain:'. جعلت التعليمات وحدها GPT-2 يكتب نثرًا عن إيطاليا، بينما دفعته الأمثلة الثلاثة إلى الإجابة بـ"Rome" بالتنسيق المتوقع، ثم مواصلة النمط مع البلد التالي.

تصميم المطالبات تجريبي#

قد تؤدي تغييرات طفيفة في الصياغة أو التخطيط إلى اختلافات كبيرة في النتائج. قاس Melanie Sclar وزملاؤه فروقًا في الدقة وصلت إلى 76 نقطة على LLaMA-2-13B نتيجة تغييرات التنسيق وحدها، مثل الفواصل وحالة الأحرف والمسافات، واستمرت الحساسية مع النماذج الأكبر والأمثلة الإضافية والضبط بالتعليمات. لذلك تُطوَّر المطالبات كما تُطوَّر الشيفرة: تُختبر على مجموعة ثابتة من المُدخلات ذات المخرجات الصحيحة المعروفة، وتُنقّح استنادًا إلى الإخفاقات، وتُرقّم إصداراتها، كجزء اعتيادي من عمليات النماذج اللغوية الكبيرة.

يمكن أتمتة هذه الدورة. إذ يجعل مهندس المطالبات التلقائي (APE)، الذي طوّره Yongchao Zhou وزملاؤه، نموذج LLM يقترح تعليمات مرشحة، ثم يحتفظ بالتعليمات التي تحقق أفضل النتائج على الأمثلة؛ وقد عادت تعليماته بنتائج مماثلة أو أفضل من التعليمات التي كتبها أشخاص في 19 مهمة من أصل 24 في النماذج اللغوية الكبيرة مهندسو مطالبات بمستوى البشر.

المطالبات الخاصة بنماذج الرؤية#

تتخذ الموجّهات في الرؤية الحاسوبية أشكالًا متعددة. تستجيب مولدات تحويل النص إلى صورة مثل Stable Diffusion لأوصاف الموضوع والأسلوب والإضاءة والتكوين، إضافةً إلى الموجّهات السلبية التي تسرد ما ينبغي تجنبه. تقبل نماذج التقسيم القابلة للتوجيه موجّهات مرئية مثل النقاط والمربعات، كما يقبل SAM 3 من Meta عبارات اسمية قصيرة ويقسّم كل مثيل للمفهوم المذكور، وهو ما تستخدمه Ultralytics Platform في التعليق التلقائي بموجّه نصي.

تحوّل الكواشف ذات المفردات المفتوحة أسماء الفئات إلى مطالبات. يكتشف Ultralytics YOLOE الفئات التي يسميها set_classes() ويجزّئها، مثل "forklift" أو "double-decker bus"، عبر مقارنة سمات المناطق بتضمينات النصوص الخاصة بتلك الأسماء، لذا تؤثر الصياغة مباشرةً في ما يكتشفه. ولأن المطابقة تعتمد على المظهر، لا تتوفر للمطالبات المرتبطة بالحالة أو الموضع أو المقارنة، مثل "damaged" أو "left-most" أو "the one being carried"، مؤشرات بصرية موثوقة، وتعمل الأسماء القريبة من الفئات الشائعة على أفضل وجه.

هندسة المطالبات والمصطلحات ذات الصلة#

• ضبط المطالبات: يتعلم متجهات مطالبات مستمرة باستخدام الانحدار المتدرج على بيانات معنونة. أما هندسة المطالبات فتصوغ المطالبة يدويًا بلغة طبيعية.
• الضبط الدقيق: يغيّر أوزان النموذج بالتدريب على مجموعة بيانات معنونة. أما هندسة المطالبات فتُبقي النموذج دون تغيير وتعمل وقت الاستدلال.
• هندسة السياق: تشمل كل ما يدخل في سياق النموذج ضمن التطبيق، بما في ذلك المستندات المسترجعة ونتائج الأدوات والذاكرة. وهندسة المطالبات هي الجزء المعني بصياغة التعليمات والأمثلة.
• حقن المطالبات: هجوم يُخفي تعليمات داخل نصوص أو صور يقرأها النموذج، بحيث تتجاوز مطالبة المطوّر.