الضبط الفعال للبارامترات (PEFT)

يصف الضبط الدقيق الفعال للمعلمات (PEFT) مجموعة من التقنيات المستخدمة في التعلم الآلي (ML) لتكييف النماذج الكبيرة المدربة مسبقًا (مثل نماذج الأساس) مع مهام نهائية محددة دون الحاجة إلى تحديث جميع معلمات النموذج. وبدلاً من ذلك، تركز طرق PEFT على تعديل مجموعة فرعية صغيرة فقط من المعلمات أو إضافة عدد صغير من المعلمات الجديدة. ويقلل هذا النهج بشكل كبير من التكاليف الحسابية والتخزينية المرتبطة بضبط النماذج الضخمة، مثل النماذج اللغوية الكبيرة (LLMs) أو نماذج الرؤية واسعة النطاق المستخدمة في الرؤية الحاسوبية، مما يجعل التخصيص أكثر سهولة وكفاءة.

الملاءمة والفوائد

أدى ظهور نماذج كبيرة للغاية مُدربة مسبقاً، والتي غالباً ما تحتوي على مليارات المعلمات، إلى جعل أساليب الضبط الدقيق التقليدية تستهلك موارد كثيرة. يتطلب الضبط الدقيق الكامل لهذه النماذج قوة حاسوبية كبيرة (غالبًا ما تكون وحدات معالجة رسومات متعددة متطورة)، وكميات كبيرة من الذاكرة، ومساحة تخزين كبيرة لكل نموذج مُعدّل. يعالج برنامج PEFT هذه التحديات من خلال تقديم العديد من المزايا الرئيسية:

• انخفاض التكلفة الحسابية: لا يتطلب تدريب جزء صغير من المعلمات سوى جزء صغير من المعلمات طاقة ووقتاً أقل بكثير في الحوسبة، مما يتيح التكرار والتجريب بشكل أسرع، وربما باستخدام منصات مثل Ultralytics HUB Cloud Training.
• متطلبات ذاكرة أقل: يعني عدد أقل من المعلمات النشطة أن هناك حاجة إلى ذاكرة أقل أثناء التدريب والاستدلال، مما يجعل من الممكن ضبط النماذج الكبيرة على أجهزة من فئة المستهلك أو الأجهزة المتطورة.
• بصمة تخزين أصغر: بدلاً من حفظ نسخة كاملة من النموذج المضبوط بدقة لكل مهمة، غالبًا ما يتطلب PEFT تخزين مجموعة صغيرة من المعلمات المعدلة أو المضافة فقط، مما يؤدي إلى توفير كبير في التخزين.
• الحد من الإفراط في الضبط: من خلال الحد من عدد المعلمات القابلة للتدريب، يمكن أن يقلل PEFT من خطر الإفراط في الضبط، خاصةً عند الضبط الدقيق لمجموعات البيانات الأصغر.
• الوقاية من النسيان الكارثي: تساعد طرق PEFT، من خلال الاحتفاظ بمعظم معلمات النموذج الأساسي مجمدة، في الاحتفاظ بالمعرفة العامة المكتسبة أثناء التدريب المسبق، والتغلب على النسيان الكارثي حيث يفقد النموذج قدراته السابقة عند تعلم مهام جديدة.
• نشر النموذج بكفاءة: إن صغر حجم المعلمات الخاصة بالمهمة يجعل نشر النموذج أكثر بساطة، خاصةً في البيئات محدودة الموارد مثل الذكاء الاصطناعي المتطور.

المفاهيم والتقنيات الرئيسية

تعتمد عملية التحويل المعزز للتعلم على مفهوم التعلّم بالنقل، حيث يتم تطبيق المعرفة من نموذج أساسي على مهمة جديدة. في حين أن الضبط الدقيق القياسي يضبط العديد من الطبقات (أو جميع الطبقات)، فإن PEFT يستخدم أساليب متخصصة. تتضمن بعض تقنيات PEFT الشائعة ما يلي:

• المحولات: وحدات شبكة عصبية صغيرة يتم إدراجها بين طبقات نموذج مدرب مسبقًا. يتم تدريب معلمات وحدات المهايئ هذه فقط أثناء الضبط الدقيق، بينما تظل أوزان النموذج الأصلي مجمدة.
• LoRA (التكيف منخفض الرتبة): تعمل هذه التقنية على حقن مصفوفات منخفضة الرتبة قابلة للتدريب في الطبقات (غالباً ما تكون طبقات المحول ) لنموذج كبير. وهي تفترض أن التغيير اللازم لتكييف النموذج له "رتبة جوهرية" منخفضة ويمكن تمثيله بكفاءة. اقرأ ورقة بحث LoRA الأصلية للحصول على التفاصيل.
• ضبط البادئة: يضيف سلسلة من المتجهات المستمرة الخاصة بالمهمة (البادئات) إلى المدخلات، مع الحفاظ على معلمات LLM الأساسية مجمدة. يتم تعلم معلمات البادئة فقط.
• الضبط الموجه: مشابه لضبط البادئة، ولكنه يبسّطه عن طريق إضافة "موجهات ناعمة" (تضمينات) قابلة للتدريب إلى تسلسل الإدخال، والتي يتم تحسينها مباشرةً من خلال التكاثر العكسي.

توفر مكتبات مثل مكتبةHugging Face PEFT تطبيقات لطرق PEFT المختلفة، مما يسهل دمجها في عمليات سير عمل تعلّم الآلة الشائعة.

التمييز عن المفاهيم ذات الصلة

من المهم تمييز PEFT عن غيرها من تقنيات تكييف النماذج الأخرى وتحسينها:

• الضبط الدقيق: عادةً ما يقوم الضبط الدقيق القياسي بتحديث كل أو جزء كبير من معلمات النموذج المدرب مسبقًا على مجموعة بيانات جديدة. على النقيض من ذلك، لا يعدل نموذج PEFT سوى جزء صغير جدًا من المعلمات أو يضيف بعض المعلمات الجديدة.
• تشذيب النموذج: تتضمن هذه التقنية إزالة المعلمات الزائدة أو غير المهمة (الأوزان أو الوصلات) من النموذج المدرّب لتقليل حجمه وتكلفته الحسابية، وغالبًا ما يتم ذلك بعد التدريب أو الضبط الكامل. يركز PEFT على التكيف الفعال من خلال الحد مما يتم تدريبه في البداية.
• تقطير المعرفة: ينطوي على تدريب نموذج "طالب" أصغر لمحاكاة سلوك نموذج "معلم" أكبر مدرب مسبقًا. تقوم PEFT بتكييف النموذج الكبير نفسه مباشرة، وإن كان ذلك بكفاءة.
• ضبط البارامتر الفائق: تركز هذه العملية على إيجاد إعدادات التكوين الأمثل لعملية التدريب (على سبيل المثال, معدل التعلم, حجم الدُفعة) بدلاً من تكييف معلمات النموذج المكتسبة لمهمة جديدة. أدوات مثل Ultralytics Tuner الفئة تسهيل ذلك.

التطبيقات الواقعية

يتيح برنامج PEFT التطبيق العملي للنماذج الكبيرة في مختلف المجالات:

• معالجة اللغة الطبيعية (NLP): تكييف نماذج مثل BERT أو GPT-4 للمهام المتخصصة مثل تحليل مشاعر الأدبيات الطبية، أو تلخيص المستندات القانونية، أو إنشاء روبوتات دردشة آلية خاصة بمجال معين. يمكن أن تستخدم شركة ما برنامج PEFT لضبط نموذج خدمة عملاء عام LLM على قاعدة معارفها الداخلية للحصول على استجابات أكثر دقة دون تكلفة إعادة التدريب الكامل. تستكشف مجموعات بحثية مثل مجموعة ستانفورد للبرمجة اللغوية العصبية هذه التطبيقات.
• الرؤية الحاسوبية (CV): تخصيص نماذج الرؤية الكبيرة مثل محولات الرؤية (ViT) أو Ultralytics YOLO لمهام التعرف البصري المحددة. على سبيل المثال، تكييف نموذج تم تدريبه مسبقًا على مجموعة بيانات COCO الواسعة للكشف الدقيق عن العيوب الفريدة في مراقبة جودة التصنيع، أو إجراء تجزئة متخصصة للصور لتحليل الصور الطبية، أو تحديد أنواع حيوانات معينة في مصائد كاميرات الحفاظ على الحياة البرية. يمكن لأدوات مثل Ultralytics HUB المساعدة في إدارة هذه النماذج المعدّلة.

من حيث الجوهر، يجعل الضبط الدقيق الفعال للمعلمات نماذج الذكاء الاصطناعي المتطورة مثل نماذجUltralytics YOLO أكثر تنوعًا وفعالية من حيث التكلفة للتكيف مع مجموعة واسعة من التطبيقات المحددة، مما يجعل الوصول إلى قدرات الذكاء الاصطناعي القوية أكثر ديمقراطية.