التقليم النموذجي

لماذا نستخدم التقليم النموذجي؟

المحرك الرئيسي لتشذيب النماذج هو الكفاءة. يمكن أن تكون نماذج التعلم العميق الحديثة (DL) ، خاصةً في مجالات مثل الرؤية الحاسوبية، كبيرة للغاية وكثيفة الحوسبة. وهذا يشكل تحديات في نشر النماذج، خاصةً على الأجهزة ذات الموارد المحدودة مثل الهواتف الذكية أو الأنظمة المدمجة أو في سيناريوهات الحوسبة المتطورة. يساعد تشذيب النماذج على معالجة هذه المشكلات من خلال:

• تقليل حجم النموذج: تتطلب النماذج الأصغر حجماً مساحة تخزين أقل، وهو أمر بالغ الأهمية للأجهزة ذات سعة الذاكرة المحدودة مثل تلك المستخدمة في الذكاء الاصطناعي Edge.
• زيادة سرعة الاستدلال: يعني عدد أقل من المعلمات عددًا أقل من العمليات الحسابية، مما يؤدي إلى تقليل زمن انتقال الاستدلال وتمكين قدرات الاستدلال في الوقت الفعلي، وهو أمر ضروري لتطبيقات مثل المركبات ذاتية القيادة. ويستفيد تطبيق Ultralytics HUB من هذه التحسينات للنشر على الأجهزة المحمولة.
• خفض استهلاك الطاقة: يُترجم انخفاض الحمل الحسابي إلى استخدام أقل للطاقة، مما يساهم في ممارسات أكثر استدامة للذكاء الاصطناعي وعمر أطول للبطارية على الأجهزة المحمولة.
• تحسين التعميم: في بعض الأحيان، يمكن أن يساعد التقليم في الحد من الإفراط في التعميم عن طريق إزالة المعلمات الزائدة عن الحاجة، مما قد يحسن أداء النموذج على البيانات غير المرئية.

أنواع التقليم النموذجي

تختلف تقنيات تشذيب النماذج ولكنها تنقسم عمومًا إلى فئات بناءً على دقة ما تتم إزالته:

• تشذيب الوزن (غير منظم): تتم إزالة الأوزان الفردية التي تقل عن عتبة أهمية معينة (غالبًا ما تكون قائمة على الحجم) (يتم تعيينها إلى الصفر). يمكن أن يؤدي ذلك إلى نماذج متفرقة ولكن قد يتطلب أجهزة أو برامج متخصصة مثل أدوات NVIDIA للنماذج المتفرقة لتحقيق السرعة المثلى.
• تشذيب الخلايا العصبية: تتم إزالة الخلايا العصبية بأكملها (ووصلاتها) التي تعتبر غير مهمة من الشبكة.
• تشذيب المرشحات/القنوات (منظم): تتم إزالة مرشحات أو قنوات كاملة في الشبكات العصبية التلافيفية (CNNs). غالبًا ما يؤدي نهج التقليم المنظم هذا إلى تسريع أكثر مباشرة على الأجهزة القياسية دون الحاجة إلى مكتبات متخصصة. تستفيد أدوات مثل DeepSparse من Neural Magic's DeepSparse من التباعد لتسريع وحدة المعالجة المركزية، وغالبًا ما يتم دمجها مع التقليم(YOLOv5 مع البرنامج التعليمي Neural Magic).

يمكن أن يحدث التقليم بعد تدريب النموذج بالكامل أو يمكن دمجه في عملية التدريب. بعد التقليم، تخضع النماذج عادةً لضبط دقيق (تدريب إضافي على البنية الأصغر) لاستعادة أي أداء مفقود أثناء إزالة المعلمات. توفر أطر عمل مثل PyTorch أدوات مساعدة لتنفيذ طرق التقليم المختلفة، كما هو موضح في البرنامج التعليمي PyTorch Pruning Tutorial.

التطبيقات الواقعية

يعد تشذيب النماذج ذا قيمة في العديد من مجالات الذكاء الاصطناعي:

1. تحسين اكتشاف الكائنات على أجهزة الحافة: يمكن تشذيب النماذج مثل Ultralytics YOLO المستخدمة في اكتشاف الأجسام لتشغيلها بكفاءة على الأجهزة محدودة الموارد مثل Raspberry Pi أو Google's Edge TPU أو NVIDIA Jetson. يتيح ذلك تطبيقات مثل المراقبة على الجهاز، أو مراقبة حركة المرور(تحسين مدونة إدارة حركة المرور)، أو الملاحة الروبوتية(دمج السيرة الذاتية في مدونة الروبوتات).
2. نشر نماذج اللغات الكبيرة (LLMs) محلياً: يمكن لتقنيات التقليم أن تقلل بشكل كبير من حجم النماذج الكبيرة مثل تلك القائمة على بنية Transformer، مما يتيح تشغيلها مباشرة على أجهزة المستخدم (مثل الهواتف الذكية) لمهام مثل معالجة اللغات الطبيعية (NLP ) دون اتصال سحابي مستمر. وهذا يعزز خصوصية البيانات ويقلل من زمن الاستجابة لتطبيقات مثل الترجمة على الجهاز أو المساعدين الأذكياء.

التقليم مقابل تقنيات التحسين الأخرى

تشذيب النموذج هو أحد الأساليب العديدة المستخدمة لتحسين النموذج. وهو يختلف عن، ولكنه غالباً ما يكون مكملاً ل:

• تحديد الكمية النموذجية: يقلل من الدقة العددية لأوزان النموذج والتفعيلات (على سبيل المثال، من 32 بت عائم إلى 8 بت أعداد صحيحة)، مما يقلل من حجم النموذج ويسرّع من عملية الحساب، خاصةً على الأجهزة ذات الدعم المتخصص مثل TensorRT.
• تقطير المعرفة: تدريب نموذج "طالب" أصغر حجمًا لمحاكاة سلوك نموذج "معلم" أكبر مدرب مسبقًا. الهدف هو نقل المعرفة من النموذج الكبير إلى نموذج أصغر حجماً.

يمكن الجمع بين هذه التقنيات؛ على سبيل المثال، يمكن تشذيب النموذج أولاً، ثم تكميمه لتحقيق أقصى قدر من الكفاءة. غالبًا ما يتم تصدير النماذج المُحسّنة إلى تنسيقات قياسية مثل ONNX(خيارات تصدير Ultralytics) لتوافق النشر على نطاق واسع. وتوفر منصات مثل Ultralytics HUB بيئات لإدارة النماذج ومجموعات البيانات(مثل COCO) وتبسيط مسار النشر الأمثل.