Instruction Tuning

إن ضبط التعليمات هو ضبط دقيق لـنموذج لغوي كبير (LLM) مدرّب مسبقًا على أزواج من التعليمات والاستجابات المطلوبة، لكي يتبع الطلبات المكتوبة بلغة واضحة. لا يفعل النموذج المدرّب مسبقًا سوى مواصلة النص: فعندما طلبت OpenAI منه «اشرح الهبوط على القمر لطفل عمره 6 سنوات في بضع جمل»، واصل GPT-3 بنصوص تتضمن طلبات مشابهة عن الجاذبية والنسبية، بينما كتب InstructGPT المضبوط على التعليمات الشرح المطلوب. وصف باحثون في Google هذه الطريقة في ورقة FLAN لعام 2021، إذ ضبطوا نموذجًا يضم 137 مليار معلمة على أكثر من 60 مجموعة بيانات لـمعالجة اللغة الطبيعية (NLP) أُعيدت صياغتها على شكل تعليمات؛ وتفوق النموذج المضبوط على أداء التعلم بلا أمثلة لـGPT-3 ذي المعلمات البالغ عددها 175 مليارًا في 20 من أصل 25 مهمة لم يسبق له رؤيتها. وتُسمّى الخطوة نفسها عادةً في مسارات نماذج المحادثة الضبط الدقيق الخاضع للإشراف (SFT)، ويُستخدم المصطلحان بمعنى واحد.

آلية عمل ضبط التعليمات#

تُنسّق كل عينة باستخدام قالب يحدد نهاية التعليمات وبداية الاستجابة، مثل قوالب المحادثة للنماذج الحالية أو العنوانين "### Instruction" و"### Response" اللذين استخدمهما Alpaca من Stanford. ويستخدم التدريب دالة الخسارة نفسها للتنبؤ بالرمز التالي المستخدمة في التدريب المسبق، لكن لا تُحتسب سوى رموز الاستجابة؛ لذا يتعلم النموذج إنتاج الإجابات بدلًا من التنبؤ بالتعليمات نفسها. يوضح مثال تدريبي واحد على GPT-2 من OpenAI هذا الإعداد:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5)

# One instruction-response pair in the Alpaca prompt format
prompt_ids = tokenizer("### Instruction:\nName three animals that can fly.\n\n### Response:\n").input_ids
response_ids = tokenizer("Bats, eagles, and bees." + tokenizer.eos_token).input_ids
input_ids = torch.tensor([prompt_ids + response_ids])

# Label -100 drops the instruction from the loss, so the model learns only to respond
labels = torch.tensor([[-100] * len(prompt_ids) + response_ids])

for step in range(3):
    loss = model(input_ids=input_ids, labels=labels).loss
    loss.backward()
    optimizer.step()
    optimizer.zero_grad()
    print(f"step {step}: loss {loss.item():.2f}")

تُحتسب رموز الاستجابة العشرة فقط ضمن الخسارة، وتخفض ثلاثة تحديثات على هذه العينة الواحدة الخسارة من 4.45 إلى 1.49. وتطبّق عملية ضبط التعليمات التحديث نفسه على آلاف أو ملايين الأزواج المختلفة من التعليمات والاستجابات؛ فيتعلم النموذج عادة الإجابة عمومًا بدلًا من إنتاج إجابة واحدة بعينها.

عادةً ما يكون ضبط التعليمات المرحلة الأولى من التدريب اللاحق، ويمكن أن تأتي البيانات من عدة مصادر:

مجموعات بيانات التعليمات#

نمت مجموعة Flan من Google لتضم 1,836 مهمة في عام 2022، وحسّن ضبط التعليمات عليها أداء PaLM ذي المعلمات البالغ عددها 540 مليارًا بنسبة 9.4% في المتوسط. ودمج InstructGPT من OpenAI أمثلةً كتبها مصنّفو البيانات مع التعلم المعزز من التغذية الراجعة البشرية (RLHF)، وفضّل الأشخاص مخرجات نموذجه ذي المعلمات البالغ عددها 1.3 مليار على مخرجات GPT-3 ذي المعلمات البالغ عددها 175 مليارًا. وضبط Alpaca من Stanford، الذي صدر في مارس 2023، نموذج LLaMA 7B من Meta بتكلفة تقل عن 600 دولار، بالاستناد إلى 52,000 عينة أنشأها نموذج من OpenAI باستخدام طريقة Self-Instruct، وهو مثال مبكر على استخدام البيانات الاصطناعية مصدرًا لبيانات التعليمات. وأظهر LIMA من Meta مدى ما يمكن تحقيقه بمجموعة بيانات صغيرة: فقد ضبط LLaMA ذا المعلمات البالغ عددها 65 مليارًا باستخدام 1,000 عينة مختارة بعناية فقط، وخلص مؤلفوه إلى أن النموذج يكتسب معظم معارفه أثناء التدريب المسبق، بينما يعلّمه ضبط التعليمات تنسيق الإجابات وأسلوبها. ثم تنقّح أساليب مثل تحسين التفضيلات المباشر (DPO) النموذج المضبوط باستخدام بيانات التفضيلات.

ضبط التعليمات المرئية#

تتعلم نماذج الرؤية واللغة (VLMs) اتباع التعليمات المتعلقة بالصور بالطريقة نفسها. أنشأ LLaVA، الذي نُشر في أبريل 2023، 158,000 محادثة وأوصافًا تفصيلية وأمثلة على الاستدلال المعقد حول الصور، إذ زوّد GPT-4 النصي فقط بالتعليقات التوضيحية والصناديق المحيطة لصور COCO، ثم ضبط على هذه البيانات نموذجًا يربط مشفّر صور CLIP بنموذج لغوي؛ وتُعرف هذه الطريقة باسم ضبط التعليمات المرئية. تجيب نماذج VLM المضبوطة على التعليمات عن الطلبات المفتوحة المتعلقة بالصور، وتعتمد كتلة LLM في وكلاء منصة Ultralytics على هذه القدرة؛ إذ ترسل الصورة ونتائج YOLO26 السابقة والمطالبة المكتوبة إلى نموذج الرؤية واللغة المحدد.

ضبط التعليمات والمصطلحات ذات الصلة#

يتعلم ضبط المطالبات عددًا قليلًا من متجهات المطالبة اللينة ويُبقي النموذج مجمّدًا، ولا يغيّر هندسة المطالبات سوى نص الإدخال، بينما يحدّث ضبط التعليمات أوزان النموذج. ويكيّف الضبط الدقيق للمجال النموذج مع مجال مثل الطب أو القانون، دون أن يعلّمه بالضرورة اتباع الطلبات. ويمكن أيضًا تنفيذ ضبط التعليمات باستخدام الضبط الدقيق الفعال من حيث المعلمات (PEFT): إذ تدرّب QLoRA محوّلات LoRA على نموذج مكمّم بدقة 4 بت، وقد ضبط مؤلفوها نموذجًا يضم 65 مليار معلمة على التعليمات باستخدام وحدة GPU واحدة بسعة 48 GB.