Parameter-Efficient Fine-Tuning (PEFT)

يضبط الضبط الدقيق الفعال من حيث المعلمات (PEFT) نموذجًا مدرّبًا مسبقًا لمهمة جديدة عبر تدريب نسبة صغيرة فقط من معلماته، إما بإضافة بضعة معلمات جديدة إلى الشبكة أو باختيار مجموعة فرعية من المعلمات الموجودة، بينما تظل أوزان النموذج الأخرى مجمّدة. يحدّث الضبط الدقيق الكامل كل وزن، ما يعني، في نموذج لغوي كبير (LLM) يضم 7 مليارات معلمة، الاحتفاظ بالتدرجات وحالة المحسّن للقيم السبعة مليارات كلها وحفظ نسخة كاملة من النموذج لكل مهمة. غالبًا ما تدرّب أساليب PEFT أقل من 1% من المعلمات، لذا يمكن تكييف نموذج تأسيسي على GPU واحد، وتضيف كل مهمة جديدة ملفًا صغيرًا من المعلمات المدرّبة بدلًا من نقطة تحقق كاملة أخرى. وتنفّذ مكتبة PEFT من Hugging Face أكثر الأساليب شيوعًا لنماذج المحوّلات.

آلية عمل PEFT#

يستند PEFT إلى التعلّم بالنقل: فالنموذج المدرّب مسبقًا على بيانات واسعة يشفّر بالفعل سمات عامة، لذا يتطلب تكييفه لمهمة ذات صلة تغييرات أقل بكثير مما يتطلبه تدريبه. وتنقسم الأساليب إلى ثلاث عائلات وفقًا للمعلمات التي تدرّبها.

تُدرج الأساليب الإضافية وحدات أو مدخلات جديدة قابلة للتدريب داخل الشبكة المجمّدة. تضيف المحوّلات الوسيطة طبقات عنق زجاجة صغيرة داخل كل كتلة محوّل، وحققت نتائج تقل بنسبة 0.4% عن الضبط الدقيق الكامل على معيار GLUE اللغوي، مع إضافة معلمات بنسبة 3.6% لكل مهمة. ويتعلّم كل من ضبط المطالبات وضبط البادئات حفنة من المتجهات المستمرة التي تُضاف في بداية المدخل أو إلى تنشيطات كل طبقة.

تدرّب الأساليب الانتقائية مجموعة مختارة من الأوزان الموجودة. ويُعد تجميد العمود الفقري وتدريب الطبقات اللاحقة وحدها أبسط أشكال ذلك، بينما يدرّب BitFit حدود الانحياز فقط.

تتعلّم أساليب إعادة المعلمات تحديثًا مضغوطًا لمصفوفات الأوزان المجمّدة. يمثّل LoRA كل تحديث حاصل ضرب مصفوفتين منخفضتي الرتبة، وبالمقارنة مع الضبط الدقيق الكامل لـ GPT-3 175B، خفّض المعلمات القابلة للتدريب 10,000 مرة وذاكرة GPU ثلاث مرات. ويُدرّب QLoRA محوّلات LoRA فوق نموذج أساسي مكمّم بدقة 4 بت، بينما يقسّم DoRA كل وزن إلى مقدار واتجاه، ويضبط الاتجاه باستخدام LoRA.

بما أن المعلمات الصغيرة المدرّبة وحدها هي التي تختلف بين المهام، يمكن لنسخة واحدة من النموذج الأساسي خدمة مهام كثيرة في الوقت نفسه. يحتفظ الخادم بالنموذج الأساسي المجمّد في الذاكرة، ويطبّق المحوّل المطابق لكل طلب، وتخدم أنظمة مثل S-LoRA آلاف محوّلات LoRA بهذه الطريقة:

الفوائد والمفاضلات#

لا تلزم التدرجات وحالة المحسّن إلا للمعلمات المدرّبة، لذا ينخفض استخدام الذاكرة بشدة، مع ضرورة أن تتسع ذاكرة GPU للأوزان المجمّدة والتنشيطات أيضًا. كما يحدّ تثبيت الأوزان المدرّبة مسبقًا من فرط التكيّف على مجموعات البيانات الصغيرة ومن النسيان الكارثي لمهارات النموذج الأصلية. لكن ذلك يأتي على حساب السعة: ففي دراسة بعنوان LoRA يتعلّم أقل وينسى أقل، كان أداء LoRA أدنى من الضبط الدقيق الكامل في البرمجة والرياضيات، مع الحفاظ على قدر أكبر من أداء النموذج الأساسي في المهام خارج هذين المجالين.

PEFT في الرؤية الحاسوبية#

تُكيَّف محوّلات الرؤية باستخدام الأساليب نفسها. يتعلّم ضبط المطالبات المرئية رموز إدخال إضافية لـ ViT مجمّد، مع تدريب أقل من 1% من المعلمات، وتفوّق على الضبط الدقيق الكامل في كثير من اختباراته، بينما تخصّص محوّلات LoRA Stable Diffusion لأسلوب أو موضوع جديد. ويُعد التجميد النهج الانتقائي المعتمد لنماذج كشف الأجسام الالتفافية. وفي تدريب Ultralytics YOLO26، توقف وسيطة freeze argument تحديثات التدرج للطبقات N الأولى، وتثبّت أيضًا إحصاءات تطبيع الدفعات، وتشمل freeze=11 الطبقات من 0 إلى 10، أي العمود الفقري الكامل لـ YOLO26، ولذلك لا يُدرَّب سوى العنق ورأس الكشف:

from ultralytics import YOLO

# ⁨حمّل أوزان YOLO26n المدرّبة مسبقًا على COCO⁩
model = YOLO("yolo26n.pt")

# ⁨جمّد الطبقات من 0 إلى 10 (العمود الفقري)، ودرّب العنق ورأس الكشف فقط⁩
results = model.train(data="coco8.yaml", epochs=5, freeze=11)

يسرد سجل التدريب كل معلمة مجمّدة في سطر Freezing layer قبل بدء الحقبة الأولى.

PEFT مقارنةً بالمصطلحات ذات الصلة#

• الضبط الدقيق الكامل: يحدّث كل وزن، ما يمنح النموذج أكبر سعة للتكيّف، لكنه يتطلب أكبر قدر من الذاكرة ونسخة كاملة من النموذج لكل مهمة. وPEFT شكل من أشكال الضبط الدقيق يقيّد المعلمات التي تتغير.
• الاستقصاء الخطي: لا يدرّب سوى مصنّف خطي على السمات المجمّدة، وهو أكثر الأساليب الانتقائية تقييدًا، ويُستخدم أساسًا لقياس مقدار ما يلتقطه التمثيل المدرّب مسبقًا بالفعل.
• هندسة المطالبات: تغيّر سلوك النموذج عبر نص مكتوب يدويًا في مدخلاته، ولا تدرّب أي شيء. أما ضبط المطالبات فيتعلّم متجهات مطالبات مستمرة باستخدام الانحدار المتدرج.
• تقطير المعرفة: يدرّب نموذجًا أصغر، هو الطالب، على محاكاة نموذج أكبر، هو المعلّم، ما يضغط النموذج، بينما يكيّف PEFT نموذجًا موجودًا لمهمة جديدة.
• دمج النماذج: يجمع الأوزان المدرّبة أو المحوّلات في نموذج واحد. ويمكن إضافة تحديث LoRA المدرّب إلى مصفوفة الأوزان المجمّدة التي يكيّفها، ليعمل النموذج المدمج دون تكلفة استدلال إضافية.