Parameter-Efficient Fine-Tuning (PEFT)
استكشف الضبط الدقيق الفعال للمعلمات (PEFT) لتحسين النماذج الكبيرة مثل Ultralytics YOLO26. تعلم تقليل تكاليف الحوسبة وتحقيق نتائج SOTA على وحدات معالجة الرسومات (GPUs).
يعد الضبط الدقيق بكفاءة المعلمات (PEFT) استراتيجية تحسين متطورة في التعلم الآلي (ML) تتيح تخصيص النماذج الكبيرة المدربة مسبقًا لمهام محددة مع تقليل التكاليف الحسابية. نظرًا لأن النماذج الأساسية الحديثة نمت لتشمل مليارات المعلمات، أصبحت طرق التدريب التقليدية التي تحدّث كل وزن في الشبكة مكلفة بشكل باهظ من حيث الأجهزة والطاقة. يعالج PEFT هذا التحدي عن طريق تجميد الغالبية العظمى من أوزان النموذج المدرب مسبقًا وتحديث مجموعة فرعية صغيرة فقط من المعلمات أو إضافة طبقات محولات خفيفة الوزن. يخفض هذا النهج حاجز الدخول، مما يسمح للمطورين بتحقيق نتائج متطورة على وحدات معالجة الرسومات (GPUs) الاستهلاكية دون الحاجة إلى مراكز بيانات على مستوى صناعي.
آليات الكفاءة#
يعتمد المبدأ الأساسي لـ PEFT على التعلم النقلي، حيث يستفيد النموذج من تمثيلات الميزات المستفادة من مجموعات البيانات العامة الضخمة مثل ImageNet لحل مشكلات جديدة. في سير العمل القياسي، قد يتضمن تكييف النموذج "الضبط الدقيق الكامل"، حيث يقوم الانتشار العكسي بتعديل كل معلمة في الشبكة العصبية.
تتبع تقنيات PEFT، مثل LoRA (التكيف منخفض الرتبة)، مسارًا مختلفًا. فهي تحافظ على "العمود الفقري" الثقيل للنموذج ثابتًا - مع الحفاظ على معرفته العامة - وتدلي مصفوفات صغيرة وقابلة للتدريب في طبقات محددة. يمنع هذا النسيان الكارثي، وهي ظاهرة يفقد فيها النموذج قدراته الأصلية أثناء تعلم معلومات جديدة. من خلال تقليل عدد المعلمات القابلة للتدريب بنسبة تصل إلى 99%، يقلل PEFT بشكل كبير من متطلبات التخزين ويسمح بتبديل محولات متعددة خاصة بالمهام داخل وخارج نموذج أساسي واحد أثناء الاستدلال في الوقت الفعلي.
تطبيقات العالم الحقيقي#
تعتبر تقنية PEFT ذات قيمة خاصة في الصناعات التي يكون فيها الحوسبة الطرفية وخصوصية البيانات أمراً بالغ الأهمية.
- الذكاء الاصطناعي في الزراعة: غالبًا ما تنشر شركات تكنولوجيا الزراعة الناشئة نماذج على طائرات بدون طيار ذات عمر بطارية وقوة معالجة محدودتين. باستخدام PEFT، يمكن للمهندسين أخذ نموذج عالي الكفاءة مثل YOLO26 وضبطه بدقة للكشف عن آفات إقليمية معينة، مثل دودة القز الخريفية، باستخدام مجموعة بيانات مخصصة صغيرة. من خلال تجميد العمود الفقري، يمكن إجراء التدريب بسرعة على جهاز كمبيوتر محمول، ويظل النموذج الناتج خفيف الوزن بدرجة كافية للمعالجة على متن الطائرة.
- الذكاء الاصطناعي في الرعاية الصحية: في تحليل الصور الطبية، غالبًا ما تكون البيانات المشروحة شحيحة ومكلفة الحصول عليها. تستخدم المستشفيات PEFT لتكييف نماذج الرؤية للأغراض العامة لتحديد الشذوذ في مسوحات التصوير بالرنين المغناطيسي. ونظرًا لأنه يتم تجميد المعلمات الأساسية، يكون النموذج أقل عرضة لفرط التجهيز على مجموعة البيانات الصغيرة، مما يضمن أداء تشخيصيًا قويًا مع الحفاظ على خصوصية بيانات المريض.
تنفيذ الطبقات المجمدة باستخدام Ultralytics#
في نظام Ultralytics البيئي، يتم تحقيق كفاءة المعلمات غالباً عن طريق "تجميد" الطبقات الأولية للشبكة. يضمن هذا بقاء مستخرجات الميزات القوية دون تغيير بينما تتكيف الرأس أو الطبقات اللاحقة فقط مع الفئات الجديدة. هذا تطبيق عملي لمبادئ PEFT لاكتشاف الكائنات.
يوضح المثال التالي كيفية تدريب نموذج Ultralytics YOLO26 مع تجميد الطبقات العشر الأولى من الهيكل الأساسي لتوفير موارد الحوسبة:
from ultralytics import YOLO
# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")
# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)لفرق العمل التي تتطلع إلى توسيع نطاق هذه العملية، توفر منصة Ultralytics واجهة موحدة لإدارة مجموعات البيانات، وأتمتة التعليقات التوضيحية، ومراقبة عمليات التدريب الفعالة هذه من السحابة.
التمييز بين PEFT والمفاهيم ذات الصلة#
لاختيار استراتيجية تكييف النموذج الصحيحة، من المفيد التمييز بين PEFT والمصطلحات المماثلة:
- الضبط الدقيق: يُشار إليها غالبًا باسم "الضبط الدقيق الكامل"، وتعمل هذه العملية على تحديث جميع المعلمات في النموذج. وفي حين أنها توفر أقصى قدر من المرونة، إلا أنها مكلفة حسابيًا وتتطلب حفظ نسخة كاملة من النموذج لكل مهمة. يُعد PEFT فئة فرعية من الضبط الدقيق تركز على الكفاءة.
- هندسة التوجيه: يتضمن ذلك صياغة مدخلات النصوص لتوجيه إخراج النموذج دون تغيير أي أوزان داخلية. على العكس من ذلك، يقوم PEFT بتعديل مجموعة فرعية من الأوزان أو المحولات رياضيًا لتغيير كيفية معالجة النموذج للبيانات بشكل دائم.
- تقطير المعرفة: تدرب هذه التقنية نموذج طالب صغيرًا لتقليد نموذج معلم كبير. وفي حين أنها تنتج نموذجًا فعالًا، إلا أنها طريقة ضغط، في حين أن PEFT هي طريقة تكيف تُستخدم لتعليم نموذج موجود مهارات جديدة.
من خلال إضفاء الطابع الديمقراطي على الوصول إلى الذكاء الاصطناعي عالي الأداء، يسمح PEFT للمطورين بناء أدوات متخصصة للمركبات المستقلة والتصنيع الذكي دون الحاجة إلى البنية التحتية للحواسيب العملاقة.
