التقليم النموذجي

أنواع التقليم النموذجي

يتم تصنيف تقنيات تشذيب النماذج عادةً حسب دقة ما تتم إزالته من الشبكة:

• تشذيب الوزن (غير منظم): هذه هي الطريقة الأكثر دقة، حيث يتم تعيين أوزان النموذج الفردي بقيم أقل من عتبة معينة إلى الصفر. يؤدي هذا إلى إنشاء نموذج "متناثر"، والذي يمكن أن يكون مضغوطًا للغاية. ومع ذلك، فإنها غالبًا ما تتطلب أجهزة أو مكتبات برمجية متخصصة، مثل أدوات NVIDIA للنماذج المتناثرة، لتحقيق تسريع كبير أثناء الاستدلال.
• تشذيب الخلايا العصبية: في هذا النهج، تتم إزالة الخلايا العصبية بأكملها وجميع توصيلاتها الواردة والصادرة إذا اعتُبرت غير مهمة. هذا شكل أكثر تنظيماً من أشكال التقليم من إزالة الأوزان الفردية.
• تشذيب المرشح/القناة (منظم): هذه الطريقة ملائمة بشكل خاص للشبكات العصبية التلافيفية (CNNs)، حيث تقوم هذه الطريقة بإزالة مرشحات أو قنوات كاملة. ولأنها تحافظ على البنية المنتظمة الكثيفة والمنتظمة لطبقات الشبكة، فإن هذا النهج غالباً ما يؤدي إلى مكاسب مباشرة في الأداء على الأجهزة القياسية دون الحاجة إلى مكتبات متخصصة. تم تصميم أدوات مثل Neural Magic's DeepSparse لتسريع هذه النماذج المتفرقة على وحدات المعالجة المركزية.

بعد التقليم، تخضع النماذج عادةً لضبط دقيق، والذي يتضمن إعادة تدريب الشبكة الأصغر لبضع حقب زمنية لاستعادة أي دقة مفقودة أثناء إزالة المعلمات. تشير فرضية تذكرة اليانصيب الشهيرة إلى أنه داخل الشبكة الكبيرة، توجد شبكة فرعية أصغر يمكن أن تحقق أداءً مماثلاً عند تدريبها من الصفر. تقدم أطر عمل مثل PyTorch أدوات مدمجة للتنفيذ، كما هو موضح في البرنامج التعليمي الرسمي PyTorch Pruning Tutorial Pruning.

التطبيقات الواقعية

يعد تشذيب النماذج أمرًا بالغ الأهمية لنشر نماذج الذكاء الاصطناعي الفعالة في سيناريوهات مختلفة:

1. تحسين اكتشاف الكائنات على أجهزة الحافة: يمكن تشذيب النماذج مثل Ultralytics YOLO لتشغيلها بكفاءة لمهام اكتشاف الكائنات على الأجهزة محدودة الموارد مثل Raspberry Pi أو NVIDIA Jetson. يتيح ذلك تطبيقات في الوقت الفعلي مثل إدارة حركة المرور والمراقبة الذكية ودمج الرؤية الحاسوبية في الروبوتات.
2. نشر نماذج اللغات الضخمة (LLMs) محلياً: يُستخدم التقليم لتقليص النماذج الضخمة القائمة على بنية المحولات، مما يتيح تشغيلها على أجهزة مثل الهواتف الذكية لمهام معالجة اللغات الطبيعية (NLP). يسمح هذا النهج، الذي يقترن أحيانًا بتقنيات أخرى مثل التكميم الكمي، بتوفير مساعدين ذكاء اصطناعي وتطبيقات ترجمة قوية على الأجهزة مع تعزيز خصوصية البيانات وتقليل زمن الاستجابة. تستكشف الأبحاث والأدوات من مؤسسات مثل Hugging Face تقليم LLM.

التقليم مقابل تقنيات التحسين الأخرى

يعد تشذيب النماذج أحد تقنيات تحسين النماذج التكميلية العديدة:

• تحديد الكمية النموذجية: تقلل هذه التقنية من الدقة العددية لأوزان النموذج والتفعيلات (على سبيل المثال، من أرقام الفاصلة العائمة 32 بت إلى أعداد صحيحة 8 بت). على عكس التقليم، الذي يزيل المعلمات، فإن التكميم يجعل المعلمات الموجودة أصغر حجمًا. غالبًا ما يتم تطبيقه بعد التقليم لتحقيق أقصى قدر من التحسين، خاصةً عند استهداف أجهزة ذات دعم متخصص مثل TensorRT.
• تقطير المعرفة: تتضمن هذه الطريقة تدريب نموذج "طالب" أصغر حجمًا لمحاكاة مخرجات نموذج "معلم" أكبر مدرب مسبقًا. الهدف هو نقل المعرفة التي تعلمها المعلم إلى بنية أكثر إحكامًا. وهذا يختلف عن التقليم، الذي يقلل من حجم النموذج المدرّب مسبقاً بدلاً من تدريب نموذج جديد.

وفي النهاية، يمكن استخدام هذه التقنيات معًا لإنشاء نماذج عالية الكفاءة. وبمجرد تحسين النموذج، يمكن تصدير النموذج إلى تنسيقات قياسية مثل ONNX باستخدام خيارات تصدير Ultralytics للنشر على نطاق واسع عبر محركات استدلالية مختلفة. وتوفر منصات مثل Ultralytics HUB الأدوات اللازمة لإدارة دورة حياة نماذج الرؤية الحاسوبية بأكملها، بدءاً من التدريب وحتى النشر الأمثل.