طبقة التسرب

كيفية عمل طبقة التسرب

أثناء عملية تدريب النموذج، تقوم طبقة التسرب بتعيين تنشيط جزء من الخلايا العصبية في الطبقة السابقة إلى الصفر بشكل عشوائي. "معدل التسرب" هو معيار مفرط يحدد احتمالية إسقاط الخلية العصبية. على سبيل المثال، معدل التسرب البالغ 0.5 يعني أن كل خلية عصبية لديها فرصة بنسبة 50% أن يتم تجاهلها خلال تكرار تدريب معين. يمكن اعتبار هذه العملية بمثابة تدريب عدد كبير من الشبكات الضعيفة التي تشترك في الأوزان.

من خلال تغيير بنية الشبكة باستمرار، يمنع التسرب من التكيف المشترك المعقد، حيث يعتمد ناتج الخلية العصبية بشكل كبير على وجود عدد قليل من الخلايا العصبية الأخرى المحددة. وبدلاً من ذلك، يتم تشجيع كل خلية عصبية على أن تكون كاشفاً أكثر فائدة بشكل مستقل. أثناء مرحلة الاختبار أو الاستدلال، يتم إيقاف تشغيل طبقة التسرب، ويتم استخدام جميع الخلايا العصبية. وللتعويض عن حقيقة أن عدد الخلايا العصبية النشطة أكثر مما كانت عليه أثناء التدريب، يتم تحجيم مخرجات الطبقة بمعدل التسرب. وهذا يضمن بقاء المخرجات المتوقعة من كل خلية عصبية متسقة بين التدريب والاختبار. تتعامل أطر العمل مثل PyTorch و TensorFlow مع هذا القياس تلقائيًا في تطبيقات طبقة التسرب الخاصة بهم.

التطبيقات الواقعية

يُستخدم التسرب على نطاق واسع في مختلف مجالات الذكاء الاصطناعي (AI) والتعلم الآلي (ML):

1. الرؤية الحاسوبية: في الرؤية الحاسوبية، تساعد نماذج مثل Ultralytics YOLO في الرؤية الحاسوبية (CV)، يساعد التسرب على أداء نماذج مثل Ultralytics YOLO بشكل أفضل في مهام مثل اكتشاف الأجسام وتصنيف الصور وتجزئة النماذج. على سبيل المثال، في أنظمة القيادة الذاتية، يمكن أن يؤدي التسرب إلى جعل نماذج الكشف أكثر قوة في مواجهة التغيرات في الإضاءة أو الطقس أو الانسداد، مما يحسن السلامة والموثوقية. يمكن إدارة تدريب مثل هذه النماذج بفعالية باستخدام منصات مثل Ultralytics HUB.
2. معالجة اللغة الطبيعية (NLP): يتم تطبيق التسرب بشكل شائع في نماذج معالجة اللغات الطبيعية مثل المحولات و BERT. في تطبيقات مثل الترجمة الآلية أو تحليل المشاعر، يمنع التسرب النموذج من حفظ عبارات أو تراكيب جمل محددة من بيانات التدريب. يؤدي ذلك إلى فهم وتوليد نص جديد بشكل أفضل، مما يعزز أداء روبوتات الدردشة الآلية وأدوات تلخيص النصوص.

المفاهيم والتمييزات ذات الصلة

التسرب هو أحد الأساليب العديدة المستخدمة للتنظيم في التعلم العميق. وتشمل التقنيات الأخرى:

• تنظيم L1 و L2: تضيف هذه الأساليب عقوبة إلى دالة الخسارة بناءً على مقدار أوزان النموذج، مما يشجع على تقليل تعقيد النموذج. يمكنك قراءة المزيد عن تنظيم L1/L2. على النقيض من ذلك، يقوم التسرب بتعديل بنية الشبكة مباشرةً أثناء التدريب بدلاً من مجرد معاقبة الأوزان.
• تطبيع الدُفعات: يعمل التطبيع الدفعي (BN) على تطبيع التنشيطات داخل الطبقة، مما قد يؤدي إلى استقرار التدريب وأحيانًا يوفر تأثيرًا تنظيميًا معتدلًا، مما يقلل من الحاجة إلى التسرب القوي. بينما تعالج BN التحول المتغير الداخلي، يستهدف التسرب مباشرةً تعقيد النموذج من خلال فرض التكرار.
• زيادة البيانات: تعمل تقنيات مثل تدوير الصور أو تحجيمها أو اقتصاصها(زيادة البيانات) على زيادة تنوع مجموعة بيانات التدريب بشكل مصطنع. يساعد ذلك أيضًا في منع الإفراط في التخصيص وتحسين التعميم. غالبًا ما يتم استخدام التسرب وزيادة البيانات معًا لتحقيق نتائج أكثر قوة.

باختصار، تُعد طبقة التسرب تقنية تنظيم بسيطة لكنها قوية وضرورية لتدريب نماذج التعلم العميق القوية في مختلف التطبيقات، بدءًا من الرؤية الحاسوبية المتقدمة إلى البرمجة اللغوية العصبية.