Pruning

التقليم هو أسلوب استراتيجي لـتحسين النماذج يُستخدم لتقليل حجم الشبكات العصبية وتعقيدها الحسابي من خلال إزالة المعلمات غير الضرورية. وكما يقلّم البستاني الفروع الميتة أو المتضخمة لمساعدة الشجرة على النمو، تحدد خوارزميات التقليم الأوزان والانحيازات الزائدة التي لا تسهم كثيرًا في القدرة التنبؤية للنموذج وتزيلها. ويتمثل الهدف الأساسي في إنشاء نموذج مضغوط «متناثر» يحافظ على مستوى عالٍ من الدقة، مع استهلاك قدر أقل بكثير من الذاكرة والطاقة. ويُعد هذا التخفيض ضروريًا لتحسين زمن استجابة الاستدلال، مما يتيح تشغيل البنى المتقدمة بكفاءة على الأجهزة محدودة الموارد، مثل الهواتف المحمولة والأجهزة المضمّنة.

الآليات والمنهجية#

غالبًا ما تكون نماذج التعلم العميق الحديثة مفرطة في عدد المعلمات، أي إنها تحتوي على عدد من الوصلات يفوق بكثير ما يلزم لحل مهمة محددة. ويستفيد التقليم من ذلك عبر إزالة الوصلات التي تقترب قيمها من الصفر، على افتراض أن تأثيرها في المخرجات ضئيل. بعد إزالة المعلمات، يخضع النموذج عادةً لعملية الضبط الدقيق، حيث يُعاد تدريبه لفترة وجيزة لضبط الأوزان المتبقية واستعادة أي أداء مفقود. ويرتبط هذا المفهوم ارتباطًا وثيقًا بـفرضية تذكرة اليانصيب، التي تقترح أن الشبكات الكبيرة تحتوي على شبكات فرعية أصغر وأكثر كفاءة وقادرة على تحقيق دقة مماثلة.

هناك فئتان أساسيتان من استراتيجيات التقليم:

• التقليم غير المنظم: تزيل هذه الطريقة الأوزان الفردية استنادًا إلى مقدارها، بغض النظر عن موقعها. وعلى الرغم من أنها تقلل عدد المعلمات الإجمالي بفاعلية، فإنها تنشئ مصفوفات متناثرة غير منتظمة قد تواجه وحدات المعالجة المركزية ووحدات معالجة الرسومات القياسية صعوبة في معالجتها بكفاءة من دون برمجيات متخصصة.
• التقليم المنظم: يزيل هذا النهج بُنى هندسية كاملة، مثل العصبونات أو القنوات أو الطبقات داخل شبكة عصبية التفافية (CNN). وبالحفاظ على بنية المصفوفة، يتوافق التقليم المنظم بدرجة كبيرة مع مسرّعات الأجهزة القياسية، وغالبًا ما يؤدي إلى تسريع فوري لـالاستدلال في الوقت الفعلي.

التطبيقات الواقعية#

لا غنى عن التقليم لتمكين الذكاء الاصطناعي الطرفي في مختلف القطاعات التي تكون فيها موارد الأجهزة محدودة:

1. الطائرات المسيّرة ذاتية القيادة: تعتمد المركبات الجوية غير المأهولة المستخدمة في البحث والإنقاذ على الرؤية الحاسوبية للتنقل في البيئات المعقدة. وتتيح نماذج اكتشاف الأجسام المُقلَّمة لهذه الأجهزة معالجة تدفقات الفيديو محليًا في الوقت الفعلي، متجنبةً مشكلات زمن الاستجابة المرتبطة بالاتصال بالسحابة.

2. الرعاية الصحية المتنقلة: تستخدم الأجهزة الطبية المحمولة الخاصة بـتحليل الموجات فوق الصوتية نماذج مُقلَّمة لاكتشاف الحالات الشاذة مباشرةً على الجهاز. ويضمن ذلك خصوصية بيانات المرضى، ويتيح إجراء تشخيصات متقدمة في المناطق النائية من دون الوصول إلى الإنترنت.

مثال على التنفيذ#

مع أن النماذج المتطورة مثل YOLO26 مصممة لتحقيق الكفاءة، يمكن للمطورين تطبيق التقليم لتحسين الطبقات بدرجة أكبر باستخدام مكتبات مثل PyTorch. يوضح المثال التالي كيفية تطبيق التقليم غير المنظم على طبقة التفافية.

import torch
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
layer = torch.nn.Conv2d(in_channels=3, out_channels=32, kernel_size=3)

# Apply L1 unstructured pruning to remove 30% of weights with the lowest magnitude
prune.l1_unstructured(layer, name="weight", amount=0.3)

# Verify sparsity (percentage of zero parameters)
sparsity = 100.0 * float(torch.sum(layer.weight == 0)) / layer.weight.nelement()
print(f"Sparsity achieved: {sparsity:.2f}%")

التقليم في مقابل تقنيات التحسين ذات الصلة#

لتحسين نموذج بفاعلية من أجل النشر، من المفيد تمييز التقليم عن الاستراتيجيات الأخرى:

• تكميم النماذج: بخلاف التقليم الذي يزيل الوصلات، يقلل التكميم دقة الأوزان، مثل تحويل أعداد الفاصلة العائمة ذات 32 بت إلى أعداد صحيحة ذات 8 بت. ويمكن استخدام التقنيتين معًا لتعظيم الكفاءة على الأنظمة المضمّنة.
• تقطير المعرفة: يتضمن ذلك تدريب نموذج «طالب» أصغر لمحاكاة سلوك نموذج «معلّم» أكبر. ويعدّل التقليم النموذج الأصلي مباشرةً، في حين يدرّب التقطير بنية جديدة ومضغوطة.

لإدارة دورة الحياة الشاملة، بما في ذلك تدريب النماذج ووسمها ونشرها بعد تحسينها، يمكن للمستخدمين الاستفادة من منصة Ultralytics. وتبسّط هذه المنصة سير العمل بدءًا من إدارة مجموعات البيانات ووصولًا إلى تصدير النماذج بتنسيقات ملائمة للأجهزة، مثل ONNX أو TensorRT.