Pruning

التقليم هو تقنية إستراتيجية لـ تحسين النماذج تُستخدم لتقليل حجم وتعقيد الحوسبة في الشبكات العصبية عن طريق إزالة المعلمات غير الضرورية. ومثلما يقوم البستاني بتقليم الأروع الميتة أو المفرطة النمو لمساعدة الشجرة على الازدهار، تحدد خوارزميات التقليم الأوزان والتحيزات الزائدة عن الحاجة وتزيلها والتي تساهم بشكل طفيف في القدرة التنبؤية للنموذج. الهدف الأساسي هو إنشاء نموذج مضغوط و"متفرق" يحافظ على دقة عالية مع استهلاك ذاكرة وطاقة أقل بكثير. هذا التقليل ضروري لتحسين زمن انتقال الاستدلال، مما يسمح للهندسات المعمارية المتقدمة بالعمل بكفاءة على الأجهزة المحدودة الموارد مثل الهواتف المحمولة والأجهزة المضمنة.

الآليات والمنهجية#

غالباً ما تكون نماذج التعلم العميق الحديثة مفرطة المعلمات، مما يعني أنها تحتوي على اتصالات أكثر بكثير من اللازم لحل مهمة معينة. يستغل التقليم ذلك عن طريق إزالة الاتصالات التي لها قيم قريبة من الصفر، على افتراض أن لها تأثيرًا ضئيلًا على المخرجات. بعد إزالة المعلمات، يخضع النموذج عادةً لعملية الضبط الدقيق، حيث يتم إعادة تدريبه لفترة وجيزة لضبط الأوزان المتبقية واستعادة أي أداء مفقود. يرتبط هذا المفاهيم ارتباطًا وثيقًا بـ فرضية تذكرة اليانصيب، والتي تشير إلى أن الشبكات الكبيرة تحتوي على شبكات فرعية أصغر وأكثر كفاءة وقادرة على الوصول إلى دقة مماثلة.

هناك فئتان رئيسيتان لاستراتيجيات التقليم:

• التقليم غير المنظم: تزيل هذه الطريقة الأوزان الفردية بناءً على حجمها، بغض النظر عن موقعها. وفي حين أنه يقلل بفعالية من إجمالي عدد المعلمات، فإنه ينشئ مصفوفات متفرقة غير منتظمة قد تواجه وحدات المعالجة المركزية (CPUs) ووحدات معالجة الرسومات (GPUs) القياسية صعوبة في معالجتها بكفاءة بدون برامج مخصصة.
• التقليم المنظم: يزيل هذا النهج الهياكل الهندسية بأكملها، مثل الخلايا العصبية أو القنوات أو الطبقات داخل شبكة عصبية تلافيفية (CNN). من خلال الحفاظ على هيكل المصفوفة، يكون التقليم المنظم متوافقًا للغاية مع تسريعات الأجهزة القياسية، مما يؤدي غالبًا إلى تسريع فوري لـ الاستدلال في الوقت الفعلي.

تطبيقات العالم الحقيقي#

التقليم لا غنى عنه لتمكين ذكاء الحافة عبر مختلف الصناعات حيث موارد الأجهزة محدودة:

1. الطائرات بدون طيار المستقلة: تعتمد المركبات الجوية بدون طيار المستخدمة في البحث والإنقاذ على رؤية الكمبيوتر للتنقل في البيئات المعقدة. تتيح نماذج اكتشاف الكائنات المقلمة لهذه الأجهزة معالجة خلاصات الفيديو محليًا في الوقت الفعلي، مما يتجنب مشاكل زمن الانتقال المرتبطة بالاتصال السحابي.

2. الرعاية الصحية المتنقلة: تستخدم الأجهزة الطبية المحمولة لـ تحليل الموجات فوق الصوتية نماذج مقلمة لاكتشاف الشذوذ مباشرة على الجهاز. يضمن ذلك خصوصية بيانات المريض ويمكن من إجراء تشخيصات متطورة في المناطق النائية دون اتصال بالإنترنت.

مثال على التنفيذ#

في حين أن أحدث النماذج مثل YOLO26 مصممة لتحقيق الكفاءة، يمكن للمطورين تطبيق التقليم لتحسين الطبقات بشكل أكبر باستخدام مكتبات مثل PyTorch. يوضح المثال التالي كيفية تطبيق التقليم غير المنظم على طبقة تلافيفية.

import torch
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
layer = torch.nn.Conv2d(in_channels=3, out_channels=32, kernel_size=3)

# Apply L1 unstructured pruning to remove 30% of weights with the lowest magnitude
prune.l1_unstructured(layer, name="weight", amount=0.3)

# Verify sparsity (percentage of zero parameters)
sparsity = 100.0 * float(torch.sum(layer.weight == 0)) / layer.weight.nelement()
print(f"Sparsity achieved: {sparsity:.2f}%")

التقليم مقابل تقنيات التحسين ذات الصلة#

لتحسين النموذج بفعالية من أجل النشر، من المفيد التمييز بين التقليم والستراتيجيات الأخرى:

• تكميم النموذج: على عكس التقليم الذي يزيل الاتصالات، يقلل التكميم من دقة الأوزان (على سبيل المثال، تحويل أرقام الفاصلة العائمة 32 بت إلى أعداد صحيحة 8 بت). يمكن استخدام كلا التقنيتين معًا لتحقيق أقصى قدر من الكفاءة على الأنظمة المضمنة.
• تقطير المعرفة: يتضمن هذا تدريب نموذج "طالب" أصغر لتقليد سلوك نموذج "معلم" أكبر. يقوم التقليم بتعديل النموذج الأصلي مباشرة، بينما يقوم التقطير بتدريب هندسة معمارية جديدة ومدمجة.

لإدارة دورة الحياة الشاملة، بما في ذلك التدريب، والتعليق، ونشر النماذج المحسنة، يمكن للمستخدمين الاستفادة من منصة Ultralytics. يعمل هذا على تبسيط سير العمل من إدارة مجموعات البيانات إلى تصدير النماذج بتنسيقات متوافقة مع الأجهزة مثل ONNX أو TensorRT.