الضبط الفعال للبارامترات (PEFT)

كيف تعمل PEFT؟

يتمثل المبدأ الأساسي وراء PEFT في إجراء تغييرات مستهدفة ومحدودة على نموذج تم تدريبه مسبقًا. فبدلاً من تحديث كل معلمة، تقدم طرق PEFT مجموعة صغيرة من المعلمات القابلة للتدريب أو تختار مجموعة فرعية صغيرة من المعلمات الموجودة لتحديثها أثناء التدريب. هذا هو شكل من أشكال التعلُّم التحويلي الذي يعمل على تحسين الكفاءة. هناك العديد من طرق PEFT الشائعة، ولكل منها استراتيجية مختلفة:

• LoRA (التكيف منخفض الرتبة): تعمل هذه التقنية على حقن مصفوفات صغيرة منخفضة الرتبة قابلة للتدريب في طبقات النموذج المدرب مسبقًا، وغالبًا ما يكون ذلك ضمن آلية الانتباه. تكون هذه المصفوفات "المحولة" أصغر بكثير من مصفوفات الوزن الأصلية، مما يجعل التدريب سريعًا وفعالاً. توفر ورقة بحث LoRA الأصلية مزيدًا من التفاصيل التقنية.
• ضبط الموجهات: بدلًا من تعديل بنية النموذج، تُبقي هذه الطريقة النموذج مجمّدًا بالكامل وتتعلم مجموعة من "الموجهات الناعمة" أو متجهات التضمين القابلة للتدريب. تتم إضافة هذه المتجهات إلى تسلسل المدخلات لتوجيه مخرجات النموذج لمهمة محددة، كما هو مفصل في الورقة التأسيسية.
• ضبط المحولات: تتضمن هذه الطريقة إدخال وحدات شبكة عصبية صغيرة متصلة بالكامل، تُعرف باسم "المحولات"، بين طبقات النموذج المدرّب مسبقاً. يتم تدريب معلمات هذه المحولات الجديدة فقط.

يمكن الوصول إلى هذه الأساليب وغيرها على نطاق واسع من خلال أطر عمل مثل مكتبة عناق الوجه PEFT، والتي تبسط تنفيذها.

PEFT مقابل المفاهيم ذات الصلة

من المهم التفريق بين PEFT واستراتيجيات تكييف النماذج الأخرى:

• الضبط الدقيق الكامل: على النقيض من PEFT، يعمل الضبط الدقيق الكامل على تحديث جميع أوزان النموذج المدرّب مسبقًا. يستهلك هذا الأمر الكثير من الموارد، ويتطلب وحدة معالجة رسومات قوية ووحدة تخزين كبيرة لكل نسخة من النماذج المُعدّلة.
• هندسة الموجهات: تتضمن هذه التقنية تصميم مطالبات نصية فعالة يدويًا لتوجيه سلوك النموذج. وهو لا يتضمن أي تدريب أو تحديثات للمعاملات؛ فهو يتعلق فقط بصياغة المدخلات للحصول على المخرجات المطلوبة من نموذج مجمّد.
• تقطير المعرفة: يتضمن ذلك تدريب نموذج "طالب" أصغر حجمًا لمحاكاة سلوك نموذج "معلم" أكبر مدرب مسبقًا. على الرغم من أنه ينشئ نموذجًا أصغر، إلا أن العملية نفسها يمكن أن تكون مكثفة من الناحية الحسابية.

التطبيقات الواقعية

يتيح برنامج PEFT التطبيق العملي للنماذج الكبيرة في مختلف المجالات:

• معالجة اللغة الطبيعية (NLP): يمكن للشركة استخدام PEFT لتكييف نموذج للأغراض العامة مثل GPT-4 أو BERT لإنشاء روبوت محادثة متخصص لقاعدة معارفها الداخلية. فبدلاً من إعادة التدريب الكامل المكلف، يمكنهم استخدام طريقة مثل LoRA لتعليم النموذج المصطلحات والإجراءات الخاصة بالشركة، مما يؤدي إلى استجابات أكثر دقة لخدمة العملاء أو الدعم الداخلي. تستكشف مجموعات بحثية مثل مجموعة ستانفورد للبرمجة اللغوية العصبية هذه الأنواع من التطبيقات.
• الرؤية الحاسوبية (CV): يمكن لـ PEFT تخصيص نماذج الرؤية الكبيرة مثل نماذج Vision Transformers (ViT) أو نماذج Ultralytics YOLO لمهام التعرف البصري المحددة. على سبيل المثال، يمكن تكييف نموذج تم تدريبه مسبقًا على مجموعة بيانات COCO الواسعة باستخدام PEFT للكشف الدقيق عن العيوب الفريدة في مراقبة جودة التصنيع، أو إجراء تجزئة متخصصة للصور لتحليل الصور الطبية، أو تحديد أنواع معينة من الحيوانات في مصائد كاميرات الحفاظ على الحياة البرية. يمكن أن تساعد منصات مثل Ultralytics HUB في إدارة هذه النماذج والتجارب المعدّلة.

من حيث الجوهر، يجعل الضبط الدقيق الفعال للمعلمات نماذج الذكاء الاصطناعي المتطورة أكثر تنوعًا وفعالية من حيث التكلفة للتكيف، مما يجعل الوصول إلى قدرات الذكاء الاصطناعي القوية لمجموعة واسعة من التطبيقات المحددة أكثر ديمقراطية.