التقليم

التقليم هو تقنية تحسين النموذج المستخدمة لتقليل الحجم والتعقيد الحسابي للشبكة العصبية المدربة (NN). تتضمن هذه العملية تحديد وإزالة المعلمات الزائدة أو الأقل أهمية (الأوزان) أو البنى (الخلايا العصبية أو القنوات أو الطبقات) من النموذج. والهدف من ذلك هو إنشاء نموذج أصغر وأسرع وأكثر كفاءة في استخدام الطاقة يحافظ على مستوى دقة مماثل للنموذج الأصلي. وهذا أمر بالغ الأهمية بشكل خاص لنشر نماذج ذكاء اصطناعي معقدة في بيئات محدودة الموارد، مثل الأجهزة المتطورة.

كيف يعمل التقليم

تبدأ عملية التقليم عادةً بعد تدريب نموذج التعلم العميق بشكل كامل. وتعمل هذه العملية على مبدأ أن العديد من النماذج الكبيرة تكون مفرطة المعالم، مما يعني أنها تحتوي على العديد من الأوزان والخلايا العصبية التي لا تساهم إلا بالقليل جداً في التنبؤ النهائي. هناك طريقة شائعة لتحديد هذه المكونات غير المهمة من خلال تحليل حجمها؛ حيث تُعتبر المعلمات ذات القيم القريبة من الصفر أقل أهمية. وبمجرد تحديدها، يتم إزالة هذه المعلمات أو تعيينها إلى الصفر. بعد عملية التقليم، عادةً ما تخضع الشبكة الأصغر الآن لعملية ضبط دقيق، والتي تتضمن إعادة تدريب النموذج لبضع دورات تدريبية أخرى. تساعد هذه الخطوة المعلمات المتبقية على التكيف مع التغييرات المعمارية واستعادة أي أداء قد يكون فُقد أثناء عملية التقليم. يمكن تكرار هذه العملية التكرارية للتشذيب والضبط الدقيق لتحقيق التوازن المطلوب بين حجم النموذج والأداء، كما هو موضح في الأوراق البحثية التأسيسية مثل"الضغط العميق".

أنواع التقليم

يمكن تصنيف تقنيات التقليم بشكل عام بناءً على ما تتم إزالته من الشبكة:

• التقليم غير المنظم (تقليم الوزن): تزيل هذه الطريقة الأوزان الفردية من الشبكة بناءً على معيار معين، مثل حجمها. ينتج عنها نموذج متناثر، حيث يتم حذف العديد من الوصلات. على الرغم من أن هذا يمكن أن يقلل بشكل كبير من عدد المعلمات، إلا أنه قد لا يؤدي دائمًا إلى استدلال أسرع على الأجهزة القياسية مثل وحدات المعالجة المركزية أو وحدات معالجة الرسومات دون مكتبات برمجية متخصصة، مثل أدوات NVIDIA للنماذج المتفرقة.
• التقليم الهيكلي: يزيل هذا النهج مكونات هيكلية كاملة من الشبكة، مثل الخلايا العصبية أو القنوات أو حتى طبقات كاملة داخل الشبكة العصبية التلافيفية (CNN). ولأنه يزيل كتلاً منتظمة من الشبكة، فإنه يقلل بشكل مباشر من حجم النموذج ومتطلباته الحسابية بطريقة يمكن للأجهزة القياسية استغلالها بسهولة، مما يؤدي في كثير من الأحيان إلى تسريع أكثر قابلية للتنبؤ. صُممت أدوات مثل Neural Magic's DeepSparse لتسريع الاستدلال على وحدات المعالجة المركزية لمثل هذه النماذج المتفرقة المنظمة.

تقدم أطر عمل التعلم الآلي الرئيسية مثل PyTorch و TensorFlow أدوات مساعدة مدمجة وبرامج تعليمية لتنفيذ التقليم.

التطبيقات الواقعية

يعد التقليم ضروريًا لنشر نماذج الذكاء الاصطناعي القوية في السيناريوهات العملية حيث تكون الموارد الحاسوبية محدودة.

1. تحسين اكتشاف الكائنات على أجهزة الحافة: تُستخدم نماذج مثل Ultralytics YOLO للكشف عن الكائنات في الوقت الفعلي. من خلال تقليم نموذج مثل YOLOv8، يمكن نشره على أجهزة ذات حافة منخفضة الطاقة مثل Raspberry Pi أو NVIDIA Jetson. يتيح ذلك تطبيقات مثل المراقبة الذكية على الجهاز، وتحسين إدارة حركة المرور، ودمج الرؤية الحاسوبية في الروبوتات.
2. تشغيل نماذج اللغات الكبيرة (LLMs) محلياً: يمكن أن يقلل التقليم بشكل كبير من بصمة الذاكرة لنماذج اللغات الكبيرة (LLMs) القائمة على بنيات مثل المحول. يمكن تشغيل LLM المشذبة مباشرةً على هاتف ذكي أو كمبيوتر محمول لمهام معالجة اللغة الطبيعية (NLP) مثل تلخيص النصوص أو المساعدين الافتراضيين المحليين. وهذا يحسن الاستجابة ويعزز خصوصية البيانات من خلال الاحتفاظ ببيانات المستخدم على الجهاز، وهو مبدأ أساسي لمنظمات مثل مؤسسة الحدود الإلكترونية (EFF).

التقليم مقابل تقنيات التحسين الأخرى

التقليم هو أحد الأساليب العديدة لتحسين النموذج، وغالبًا ما يُستخدم إلى جانب أساليب أخرى. من المهم تمييزه عن المفاهيم ذات الصلة:

• تحديد الكمية النموذجية: تقلل هذه التقنية من الدقة العددية لأوزان النموذج وتفعيلاته (على سبيل المثال، من 32 بت عائم إلى 8 بت أعداد صحيحة). يؤدي ذلك إلى تقليص حجم النموذج ويمكنه تسريع عملية الحساب، خاصةً على الأجهزة ذات الدعم المتخصص. على عكس التقليم، الذي يزيل المعلمات، فإن التكميم يضغطها.
• تقطير المعرفة: في هذه الطريقة، يتم تدريب نموذج "طالب" أصغر حجمًا لتكرار مخرجات نموذج "معلم" أكبر مدرب مسبقًا. والهدف من ذلك هو نقل المعرفة المكتسبة إلى بنية أكثر إحكامًا، في حين أن التقليم يعدل البنية الحالية.

هذه التقنيات لا يستبعد بعضها بعضاً. يتمثل سير العمل الشائع في تشذيب النموذج أولاً لإزالة المعلمات الزائدة عن الحاجة، ثم تطبيق التكميم على النموذج المشذّب لتحقيق أقصى قدر من الكفاءة. يمكن بعد ذلك تصدير النماذج المحسّنة إلى تنسيقات قياسية مثل ONNX باستخدام وظيفة تصدير Ultralytics للنشر على نطاق واسع عبر محركات الاستدلال المختلفة. يمكن أن تساعد المنصات مثل Ultralytics HUB في إدارة دورة الحياة بأكملها، بدءًا من التدريب وحتى نشر النموذج الأمثل.