التقليم (Pruning)

التقليم هو تقنية لتحسين النموذج تُستخدم لتقليل حجم وتعقيد الحساب لـ شبكة عصبية (NN) مُدرَّبة. تتضمن العملية تحديد وإزالة المعلمات (الأوزان) أو الهياكل (الخلايا العصبية أو القنوات أو الطبقات) الزائدة أو الأقل أهمية من النموذج. الهدف هو إنشاء نموذج أصغر وأسرع وأكثر كفاءة في استخدام الطاقة يحافظ على مستوى مماثل من الدقة للنموذج الأصلي. وهذا أمر بالغ الأهمية بشكل خاص لنشر نماذج الذكاء الاصطناعي المعقدة في البيئات ذات الموارد المحدودة، مثل الأجهزة الطرفية.

كيف يعمل التقليم؟

تبدأ عملية التقليم عادةً بعد تدريب نموذج التعلم العميق بالكامل. وهي تعمل على أساس أن العديد من النماذج الكبيرة مفرطة في المعلمات، مما يعني أنها تحتوي على العديد من الأوزان والخلايا العصبية التي تساهم بشكل ضئيل جدًا في التنبؤ النهائي. تتمثل إحدى الطرق الشائعة لتحديد هذه المكونات غير المهمة في تحليل حجمها؛ تعتبر المعلمات ذات القيم القريبة من الصفر أقل أهمية. بمجرد تحديد هذه المعلمات، تتم إزالتها أو تعيينها على الصفر. بعد عملية التقليم، تخضع الشبكة الأصغر الآن عادةً إلى الضبط الدقيق، والذي يتضمن إعادة تدريب النموذج لبضعة حقبات أخرى. تساعد هذه الخطوة المعلمات المتبقية على التكيف مع التغييرات المعمارية واستعادة أي أداء ربما يكون قد فقد أثناء التقليم. يمكن تكرار هذه العملية التكرارية للتقليم والضبط الدقيق لتحقيق التوازن المطلوب بين حجم النموذج والأداء، كما هو موضح في الأوراق البحثية التأسيسية مثل "ضغط عميق".

أنواع التقليم

يمكن تصنيف تقنيات التقليم على نطاق واسع بناءً على ما تتم إزالته من الشبكة:

• التشذيب غير المنظم (تشذيب الأوزان): تزيل هذه الطريقة الأوزان الفردية من الشبكة بناءً على معيار محدد، مثل حجمها. ينتج عن ذلك نموذج متفرق، حيث يتم تصفير العديد من الاتصالات. في حين أن هذا يمكن أن يقلل بشكل كبير من عدد المعلمات، إلا أنه قد لا يؤدي دائمًا إلى استدلال أسرع على الأجهزة القياسية مثل وحدات المعالجة المركزية (CPUs) أو وحدات معالجة الرسومات (GPUs) بدون مكتبات برامج متخصصة، مثل أدوات NVIDIA للنماذج المتفرقة.
• التشذيب المنظم: يزيل هذا النهج المكونات الهيكلية الكاملة للشبكة، مثل الخلايا العصبية أو القنوات أو حتى الطبقات بأكملها داخل شبكة عصبية التفافية (CNN). نظرًا لأنه يزيل كتلًا منتظمة من الشبكة، فإنه يقلل بشكل مباشر من حجم النموذج ومتطلبات الحساب بطريقة يمكن للأجهزة القياسية استغلالها بسهولة، مما يؤدي غالبًا إلى تسريع أكثر قابلية للتنبؤ. تم تصميم أدوات مثل DeepSparse من Neural Magic لتسريع الاستدلال على وحدات المعالجة المركزية (CPU) لمثل هذه النماذج المتفرقة المنظمة.

توفر أطر التعلم الآلي الرئيسية مثل PyTorch و TensorFlow أدوات مساعدة مدمجة و برامج تعليمية لتنفيذ التقليم.

تطبيقات واقعية

التقليم ضروري لنشر نماذج الذكاء الاصطناعي القوية في السيناريوهات العملية حيث تكون موارد الحوسبة محدودة.

1. تحسين الكشف عن الكائنات على الأجهزة الطرفية: تُستخدم نماذج مثل Ultralytics YOLO في الكشف عن الكائنات في الوقت الفعلي. عن طريق تقليم نموذج مثل YOLOv8، يمكن نشره على أجهزة طرفية منخفضة الطاقة مثل Raspberry Pi أو NVIDIA Jetson. يتيح ذلك تطبيقات مثل المراقبة الذكية على الجهاز، و تحسين إدارة حركة المرور، و دمج رؤية الكمبيوتر في الروبوتات.
2. تشغيل نماذج اللغة الكبيرة (LLMs) محليًا: يمكن للتقليم أن يقلل بشكل كبير من حجم الذاكرة لنماذج اللغة الكبيرة (LLMs) المستندة إلى بنيات مثل Transformer. يمكن تشغيل نموذج لغة كبير (LLM) مُقَلَّم مباشرةً على هاتف ذكي أو جهاز كمبيوتر محمول لمهام معالجة اللغة الطبيعية (NLP) مثل تلخيص النصوص أو المساعدين الافتراضيين المحليين. هذا يحسن الاستجابة ويعزز خصوصية البيانات عن طريق الاحتفاظ ببيانات المستخدم على الجهاز، وهو مبدأ أساسي للمنظمات مثل مؤسسة Electronic Frontier Foundation (EFF).

التقليم (Pruning) مقابل تقنيات التحسين الأخرى

التقليم هو إحدى التقنيات العديدة لتحسين النموذج وغالبًا ما يستخدم جنبًا إلى جنب مع غيرها. من المهم تمييزه عن المفاهيم ذات الصلة:

• Model Quantization: تقلل هذه التقنية من الدقة العددية لأوزان النموذج والتنشيطات (على سبيل المثال، من أعداد عائمة 32 بت إلى أعداد صحيحة 8 بت). يؤدي هذا إلى تقليص حجم النموذج ويمكن أن يسرع الحساب، خاصة على الأجهزة التي تدعم ذلك. على عكس التقليم، الذي يزيل المعلمات، فإن التكميم يضغطها.
• تقطير المعرفة (Knowledge Distillation): في هذه الطريقة، يتم تدريب نموذج "طالب" أصغر لنسخ مخرجات نموذج "معلم" أكبر تم تدريبه مسبقًا. الهدف هو نقل المعرفة المكتسبة إلى بنية أكثر إحكاما، في حين أن التقليم يعدل البنية الحالية.

هذه التقنيات لا يستبعد بعضها بعضًا. سير العمل الشائع هو تقليم النموذج أولاً لإزالة المعلمات الزائدة، ثم تطبيق التكميم على النموذج الذي تم تقليمه لتحقيق أقصى قدر من الكفاءة. يمكن بعد ذلك تصدير النماذج المحسّنة إلى تنسيقات قياسية مثل ONNX باستخدام وظيفة التصدير Ultralytics للنشر الواسع عبر محركات الاستدلال المختلفة. يمكن لمنصات مثل Ultralytics HUB المساعدة في إدارة دورة الحياة بأكملها، من التدريب إلى نشر النماذج المحسّنة.