Parameter-Efficient Fine-Tuning (PEFT)

يُعدّ التكييف الدقيق الفعّال من حيث المعلمات (PEFT) استراتيجية تحسين متقدمة في تعلّم الآلة (ML)، تتيح تخصيص النماذج الكبيرة المدرّبة مسبقًا لمهام محددة مع تقليل التكاليف الحاسوبية إلى أدنى حد. ومع نمو النماذج الأساسية الحديثة لتشمل مليارات المعلمات، أصبحت أساليب التدريب التقليدية التي تحدّث كل وزن في الشبكة باهظة التكلفة بدرجة prohibitive من حيث العتاد والطاقة. يعالج PEFT هذا التحدي عبر تجميد الغالبية العظمى من أوزان النموذج المدرّب مسبقًا، وتحديث مجموعة صغيرة فقط من المعلمات أو إضافة طبقات موائمة خفيفة. ويخفض هذا النهج عتبة البدء، مما يتيح للمطورين تحقيق نتائج متقدمة على وحدات GPU مخصصة للمستهلكين، من دون الحاجة إلى مراكز بيانات واسعة النطاق صناعيًا.

آليات الكفاءة#

يعتمد المبدأ الأساسي لـ PEFT على التعلّم بالنقل، حيث يستفيد النموذج من تمثيلات السمات المتعلَّمة من مجموعات بيانات عامة ضخمة مثل ImageNet لحل مشكلات جديدة. وفي سير العمل القياسي، قد يتضمن تكييف النموذج إجراء «التكييف الدقيق الكامل»، حيث يضبط الانتشار العكسي كل معلمة في الشبكة العصبية.

تتخذ تقنيات PEFT، مثل التكييف منخفض الرتبة (LoRA)، مسارًا مختلفًا. فهي تُبقي «العمود الفقري» الثقيل للنموذج ثابتًا، محافظةً على معارفه العامة، وتُدخل مصفوفات صغيرة قابلة للتدريب في طبقات محددة. ويمنع ذلك النسيان الكارثي، وهي ظاهرة يفقد فيها النموذج قدراته الأصلية أثناء تعلّمه معلومات جديدة. ومن خلال تقليل عدد المعلمات القابلة للتدريب بنسبة تصل إلى 99%، يخفّض PEFT متطلبات التخزين بدرجة كبيرة، ويتيح تبديل موائمات متعددة خاصة بالمهام وإزالتها من نموذج أساسي واحد أثناء الاستدلال في الوقت الفعلي.

التطبيقات الواقعية#

تكتسب PEFT قيمة خاصة في الصناعات التي تكون فيها الحوسبة الطرفية وخصوصية البيانات أمرين بالغي الأهمية.

• الذكاء الاصطناعي في الزراعة: غالبًا ما تنشر الشركات الناشئة في مجال التقنيات الزراعية النماذج على طائرات مسيّرة ذات عمر بطارية وقدرة معالجة محدودين. وباستخدام PEFT، يستطيع المهندسون أخذ نموذج عالي الكفاءة مثل YOLO26 وتكييفه دقيقًا لاكتشاف آفات إقليمية محددة، مثل دودة الحشد الخريفية، باستخدام مجموعة بيانات مخصصة صغيرة. ومن خلال تجميد العمود الفقري، يمكن إجراء التدريب بسرعة على حاسوب محمول، ويظل النموذج الناتج خفيفًا بما يكفي للمعالجة على متن الطائرة.
• الذكاء الاصطناعي في الرعاية الصحية: في تحليل الصور الطبية، غالبًا ما تكون البيانات المشروحة نادرة ومكلفة الحصول عليها. وتستخدم المستشفيات PEFT لتكييف نماذج الرؤية العامة بهدف تحديد الحالات الشاذة في صور التصوير بالرنين المغناطيسي. ونظرًا إلى تجميد المعلمات الأساسية، يكون النموذج أقل عرضة لـ فرط التكيّف مع مجموعة البيانات الصغيرة، مما يضمن أداءً تشخيصيًا متينًا مع الحفاظ على خصوصية بيانات المرضى.

تنفيذ الطبقات المجمّدة باستخدام Ultralytics#

في منظومة Ultralytics، تتحقق كفاءة المعلمات غالبًا من خلال «تجميد» الطبقات الأولية للشبكة. ويضمن ذلك بقاء مستخلصات السمات المتينة دون تغيير، بينما تتكيف الرأس أو الطبقات اللاحقة فقط مع الفئات الجديدة. ويمثل هذا تطبيقًا عمليًا لمبادئ PEFT في اكتشاف الكائنات.

يوضح المثال التالي كيفية تدريب نموذج Ultralytics YOLO26 مع تجميد أول 10 طبقات من العمود الفقري لتوفير موارد الحوسبة:

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

وبالنسبة إلى الفرق التي تتطلع إلى توسيع نطاق هذه العملية، توفر منصة Ultralytics واجهة موحّدة لإدارة مجموعات البيانات، وأتمتة وضع التعليقات التوضيحية، ومراقبة عمليات التدريب الفعّالة هذه من السحابة.

التمييز بين PEFT والمفاهيم ذات الصلة#

لاختيار استراتيجية تكييف النموذج المناسبة، من المفيد التمييز بين PEFT والمصطلحات المشابهة:

• التكييف الدقيق: يُشار إلى هذه العملية غالبًا باسم «التكييف الدقيق الكامل»، إذ تحدّث جميع المعلمات في النموذج. ورغم أنها توفر أقصى قدر من القابلية للتكيّف، فإنها مكلفة حاسوبيًا وتتطلب حفظ نسخة كاملة من النموذج لكل مهمة. ويُعدّ PEFT فئة فرعية من التكييف الدقيق تركز على الكفاءة.
• هندسة المطالبات: تتضمن هذه العملية صياغة مدخلات نصية لتوجيه مخرجات النموذج من دون تغيير أي أوزان داخلية. وعلى العكس من ذلك، يغيّر PEFT رياضيًا مجموعة فرعية من الأوزان أو الموائمات لتغيير طريقة معالجة النموذج للبيانات بصورة دائمة.
• تقطير المعرفة: تدرّب هذه التقنية نموذجًا طالبًا صغيرًا لمحاكاة نموذج معلّم كبير. ورغم أنها تنتج نموذجًا فعّالًا، فإنها طريقة ضغط، بينما يُعدّ PEFT طريقة تكييف تُستخدم لتعليم نموذج موجود مهارات جديدة.

ومن خلال إتاحة الوصول إلى الذكاء الاصطناعي عالي الأداء على نطاق أوسع، يتيح PEFT للمطورين بناء أدوات متخصصة للمركبات ذاتية القيادة والتصنيع الذكي من دون الحاجة إلى بنية تحتية للحواسيب العملاقة.