تقليم النموذج (Model Pruning)

تقليم النموذج هو أسلوب لتحسين النموذج يجعل الشبكات العصبية أصغر حجمًا وأكثر كفاءة من الناحية الحسابية. الفكرة الأساسية هي تحديد وإزالة المعلمات الزائدة أو غير المهمة (الأوزان أو الخلايا العصبية أو القنوات) من نموذج مُدرَّب. تقلل هذه العملية من حجم النموذج ويمكن أن تسرع الاستدلال بشكل كبير، مما يجعلها مثالية للنشر على الأجهزة الطرفية ذات الذاكرة المحدودة وقوة المعالجة. يعتمد المفهوم على الملاحظة القائلة بأن العديد من النماذج الكبيرة مفرطة في المعلمات، مما يعني أنها تحتوي على مكونات تساهم بشكل ضئيل جدًا في التنبؤ النهائي. أوضحت الأوراق الأساسية مثل Optimal Brain Damage في وقت مبكر أنه لم يتم إنشاء جميع المعلمات على قدم المساواة.

أنواع تقليم النماذج

عادةً ما يتم تصنيف تقنيات تقليم النموذج حسب مدى التفاصيل المتعلقة بما تتم إزالته من الشبكة:

• تقليم الأوزان (غير منظم): هذه هي الطريقة الأكثر دقة، حيث يتم تعيين أوزان النموذج الفردية التي تقل قيمها عن حد معين إلى الصفر. يؤدي هذا إلى إنشاء نموذج "خفيف"، والذي يمكن ضغطه بدرجة كبيرة. ومع ذلك، فإنه غالبًا ما يتطلب أجهزة أو مكتبات برامج متخصصة، مثل أدوات NVIDIA للنماذج الخفيفة، لتحقيق تسريع كبير أثناء الاستدلال.
• تقليم الخلايا العصبية (Neuron Pruning): في هذا النهج، تتم إزالة الخلايا العصبية بأكملها وجميع اتصالاتها الواردة والصادرة إذا اعتبرت غير مهمة. هذا شكل أكثر تنظيماً من التقليم من إزالة الأوزان الفردية.
• تقليم المرشح/القناة (المنظم): ذات صلة بشكل خاص بالشبكات العصبية التلافيفية (CNNs)، تزيل هذه الطريقة المرشحات أو القنوات بأكملها. نظرًا لأنه يحافظ على البنية الكثيفة والمنتظمة لطبقات الشبكة، غالبًا ما يؤدي هذا النهج إلى مكاسب مباشرة في الأداء على الأجهزة القياسية دون الحاجة إلى مكتبات متخصصة. تم تصميم أدوات مثل Neural Magic's DeepSparse لتسريع هذه النماذج المتفرقة على وحدات المعالجة المركزية.

بعد التقليم، تخضع النماذج عادةً لضبط دقيق، والذي يتضمن إعادة تدريب الشبكة الأصغر لعدد قليل من الحقب لاستعادة أي دقة مفقودة أثناء إزالة المعلمات. تقترح فرضية تذكرة اليانصيب الشهيرة أنه داخل شبكة كبيرة، توجد شبكة فرعية أصغر يمكنها تحقيق أداء مماثل عند تدريبها من البداية. توفر أطر العمل مثل PyTorch أدوات مدمجة للتنفيذ، كما هو موضح في برنامج PyTorch التعليمي الرسمي للتقليم.

تطبيقات واقعية

يُعد تقليم النموذج أمرًا بالغ الأهمية لنشر نماذج الذكاء الاصطناعي الفعالة في سيناريوهات مختلفة:

1. تحسين الكشف عن الكائنات على الأجهزة الطرفية: يمكن تقليم نماذج مثل Ultralytics YOLO لتشغيلها بكفاءة لمهام الكشف عن الكائنات على الأجهزة ذات الموارد المحدودة مثل Raspberry Pi أو NVIDIA Jetson. يتيح ذلك تطبيقات في الوقت الفعلي مثل إدارة حركة المرور والمراقبة الذكية و دمج رؤية الكمبيوتر في الروبوتات.
2. نشر نماذج اللغة الكبيرة (LLMs) محليًا: يتم استخدام التقليم لتقليص النماذج الضخمة استنادًا إلى بنية Transformer، مما يتيح تشغيلها على أجهزة مثل الهواتف الذكية لمهام معالجة اللغة الطبيعية (NLP). يسمح هذا النهج، الذي يتم دمجه أحيانًا مع تقنيات أخرى مثل التكميم، بمساعدين أقوياء للذكاء الاصطناعي على الجهاز وتطبيقات الترجمة مع تحسين خصوصية البيانات وتقليل زمن الوصول. تستكشف الأبحاث والأدوات من منظمات مثل Hugging Face تقليم LLM.

التقليم (Pruning) مقابل تقنيات التحسين الأخرى

يُعد تقليم النموذج أحد أساليب تحسين النموذج التكميلية العديدة:

• تكميم النموذج: تقلل هذه التقنية الدقة العددية لأوزان النموذج والتنشيطات (مثل، من أرقام الفاصلة العائمة 32 بت إلى أعداد صحيحة 8 بت). على عكس التقليم، الذي يزيل المعلمات، فإن التكميم يجعل المعلمات الموجودة أصغر في الحجم. غالبًا ما يتم تطبيقه بعد التقليم لتحقيق أقصى قدر من التحسين، خاصة عند استهداف الأجهزة ذات الدعم المتخصص مثل TensorRT.
• تقطير المعرفة: تتضمن هذه الطريقة تدريب نموذج "طالب" أصغر لتقليد إخراج نموذج "معلم" أكبر مُدرَّب مسبقًا. الهدف هو نقل المعرفة المكتسبة للمعلم إلى بنية أكثر إحكاما. يختلف هذا عن التقليم، الذي يقلل من حجم النموذج المدرب بالفعل بدلاً من تدريب نموذج جديد.

في النهاية، يمكن استخدام هذه التقنيات مجتمعة لإنشاء نماذج عالية الكفاءة. بمجرد تحسين النموذج، يمكن تصديره إلى تنسيقات قياسية مثل ONNX باستخدام خيارات التصدير الخاصة بـ Ultralytics للنشر الواسع عبر محركات الاستدلال المختلفة. توفر منصات مثل Ultralytics HUB الأدوات اللازمة لإدارة دورة الحياة الكاملة لنماذج رؤية الكمبيوتر، من التدريب إلى النشر الأمثل.