Prompt Tuning

يكيّف ضبط المطالبات نموذجًا أساسيًا مدرّبًا مسبقًا مع مهمة جديدة عبر تدريب مجموعة صغيرة من المتجهات تُسمى مطالبة لينة، وتوضع قبل المُدخل، بينما تظل كل أوزان النموذج مجمّدة. وتوجد المطالبة اللينة في الفضاء نفسه الذي توجد فيه تضمينات رموز النموذج، لكن متجهاتها تُتعلَّم بواسطة الانتشار العكسي ولا يلزم أن تطابق أي كلمة حقيقية. قدّم Brian Lester وRami Al-Rfou وNoah Constant في Google هذه الطريقة في قوة التوسّع لضبط المطالبات بكفاءة المعاملات، المقدَّمة في EMNLP 2021. وأشاروا إلى أن مطالبة من خمسة رموز لنموذج T5-XXL ذي 11 مليار مُعامل لا تحتاج إلا إلى 20,480 مُعاملًا لكل مهمة، وأوضحوا أنه مع تجاوز أحجام النماذج مليارات المعاملات، يضاهي ضبط المطالبات دقة ضبط النموذج بأكمله.

آلية عمل ضبط المطالبات#

يحوّل النموذج اللغوي الكبير (LLM) كل رمز من المُدخل إلى متجه تضمين قبل أن تستقبله طبقات المحوّل. يضيف ضبط المطالبات k متجهات إضافية إلى بداية هذا التسلسل؛ وقد اختبر Lester وزملاؤه أطوالًا من 1 إلى 150 واستخدموا 100 افتراضيًا. أثناء التدريب، تُمرَّر دالة الخسارة الخاصة بالمهمة عكسيًا عبر الشبكة المجمّدة وصولًا إلى المُدخل، ولا يحدّث المحسّن سوى متجهات المطالبة. والناتج موتر صغير لكل مهمة. ولأن النموذج نفسه لا يتغير أبدًا، فإن إزالة المطالبة تعيد سلوكه الأصلي من دون خطر النسيان الكارثي، كما يمكن لنسخة منشورة واحدة خدمة مهام متعددة في آن واحد، بحيث يحمل كل طلب ضمن الدفعة مطالبته اللينة الخاصة به؛ ويسمي Lester وزملاؤه ذلك الاستدلال متعدد المهام.

يضبط مثال PyTorch التالي مطالبة لينة من 8 متجهات لتحليل المشاعر باستخدام GPT-2 مجمّد من Transformers التابعة لـHugging Face، مع أربع مراجعات للتدريب وثماني مراجعات محجوزة للاختبار:

import torch
from torch.nn.functional import cross_entropy
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2").requires_grad_(False)  # freeze all 124M weights
embed = model.get_input_embeddings()

# Soft prompt: 8 trainable vectors in GPT-2's embedding space, initialized from the word " review"
soft_prompt = torch.nn.Parameter(embed.weight[tokenizer.encode(" review")].repeat(8, 1).clone())
optimizer = torch.optim.Adam([soft_prompt], lr=0.01)
labels = tokenizer.encode(" positive negative")  # token ids for label 0 and label 1

# Reviews alternate between positive (label 0) and negative (label 1)
train = ["Loved every minute.", "A waste of time.", "Great story and acting.", "Boring and slow."]
test = ["What a wonderful film.", "I fell asleep halfway.", "A fantastic ending.", "Terrible dialogue."]
test += ["A joy to watch.", "Dull and predictable.", "Superb from start to end.", "I want my money back."]


def label_scores(text):
    """Score both label tokens after the soft prompt and the review."""
    ids = tokenizer.encode(f"{text} Sentiment:", return_tensors="pt")
    return model(inputs_embeds=torch.cat([soft_prompt[None], embed(ids)], dim=1)).logits[0, -1, labels]


def correct():
    """Count held-out reviews whose higher-scoring label is right."""
    with torch.no_grad():
        return sum(int(label_scores(text).argmax()) == i % 2 for i, text in enumerate(test))


print(f"Held-out reviews correct before tuning: {correct()}/8")
for step in range(30):
    loss = sum(cross_entropy(label_scores(text), torch.tensor(i % 2)) for i, text in enumerate(train))
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
print(f"After tuning: {correct()}/8, training {soft_prompt.numel():,} of {model.num_parameters():,} parameters")

يطبع Held-out reviews correct before tuning: 5/8 ثم After tuning: 7/8, training 6,144 of 124,439,808 parameters. غيّرت ثلاثون خطوة من Adam على أربعة أمثلة 6,144 رقمًا فقط، أي 0.005% من النموذج، وصنّف GPT-2 المجمّد مراجعتين إضافيتين لم يسبق له رؤيتهما تصنيفًا صحيحًا.

ضبط البادئات وضبط المطالبات المرئية#

ينتمي ضبط المطالبات إلى عائلة من أساليب المطالبات المستمرة ضمن الضبط الدقيق بكفاءة المعاملات (PEFT). تتعلم طريقة ضبط البادئات التي قدّمها Xiang Lisa Li وPercy Liang متجهات تُضاف إلى بداية كل طبقة من طبقات المحوّل، وتشكل نحو 0.1% من معاملات GPT-2 أو BART، وقد حققت أداءً يضاهي الضبط الدقيق الكامل في توليد النصوص من الجداول والتلخيص. ويبسط ضبط المطالبات هذه الطريقة بتعلّم المتجهات عند طبقة المُدخل فقط.

تمتد الفكرة إلى الرؤية. إذ تضيف طريقة ضبط المطالبات المرئية (VPT) التي طوّرها Menglin Jia وزملاؤه رموزًا قابلة للتعلّم إلى رموز الرقع في محوّل الرؤية (ViT) مجمّد، وتدرّب أقل من 1% من المعاملات، وقد تفوقت على الضبط الدقيق الكامل في كثير من إعدادات تصنيف الصور. أما لنماذج الرؤية واللغة، فتستبدل طريقة تحسين السياق (CoOp) التي طوّرها Kaiyang Zhou وزملاؤه الكلمات المكتوبة يدويًا في مطالبة CLIP، مثل "a photo of a"، بمتجهات متعلَّمة. وعبر 11 مجموعة بيانات، تفوقت CoOp على المطالبات المصممة يدويًا باستخدام مثال معنَّم أو مثالين لكل فئة، وحسّنت النتائج عليها بنحو 15% في المتوسط عند استخدام 16 مثالًا لكل فئة.

تتكيف الكواشف ذات المفردات المفتوحة بطريقة ذات صلة. يحوّل Ultralytics YOLOE أسماء الفئات إلى تضمينات مطالبات نصية، وتدمج وصفة الاستقصاء الخطي الخاصة به لمجموعات البيانات المخصصة تضمينات أسماء فئات مجموعة البيانات في الطبقة الالتفافية الأخيرة لكل فرع تصنيف، ثم تدرّب تلك الطبقات وحدها، مع إبقاء العمود الفقري والعنق وبقية الرأس مجمّدة.

ضبط المطالبات والأساليب ذات الصلة#

• هندسة المطالبات: يكتب شخص المطالبة كنص، وتُسمى أحيانًا مطالبة صلبة، ولا يجري تدريب أي شيء. أما ضبط المطالبات فيتعلّم المطالبة من بيانات معنونة ويتطلب الوصول إلى تدرجات النموذج، لذا ينطبق على النماذج ذات الأوزان المفتوحة.
• الضبط الدقيق الكامل: يحدّث كل وزن، منتجًا نسخة كاملة من النموذج لكل مهمة، مع احتمال نسيان المهارات السابقة نسيانًا كارثيًا. ووجد Lester وزملاؤه أن النماذج المضبوطة بالمطالبات كانت أيضًا أكثر متانة تجاه التحول في المجال من النماذج المضبوطة بالكامل.
• LoRA: يضيف مصفوفات منخفضة الرتبة قابلة للتدريب داخل طبقات أوزان النموذج. أما ضبط المطالبات فيترك الطبقات كما هي ولا يغيّر سوى المُدخل.
• التعلّم بأمثلة قليلة ضمن المطالبة: يضع أمثلة معنونة كنص في نافذة السياق مع كل طلب. وتخزّن المطالبة اللينة المضبوطة ما تعلّمته من الأمثلة في بضعة متجهات، ولا تتطلب سوى k مواضع إضافية في المُدخل.