طبقة التسرب

طبقة التسرب هي تقنية تنظيم قوية ولكنها بسيطة تُستخدم في الشبكات العصبية (NN) لمكافحة التجاوز. يحدث التجاوز عندما يتعلم النموذج بيانات التدريب جيدًا جدًا، بما في ذلك الضوضاء والتفردات، مما يضر بقدرته على التعميم على البيانات الجديدة غير المرئية. الفكرة الأساسية وراء التسرب، التي قدمها Geoffrey Hinton وزملاؤه في ورقة بحثية رائدة عام 2014، هي "إسقاط" الخلايا العصبية واتصالاتها عشوائيًا - أو إزالتها مؤقتًا - أثناء كل خطوة تدريب. يمنع هذا الخلايا العصبية من الاعتماد المفرط على بعضها البعض، مما يجبر الشبكة على تعلم تمثيلات أكثر قوة وتكرارًا.

كيف تعمل طبقة التسرب

أثناء عملية تدريب النموذج، تقوم طبقة التسرب (dropout layer) بتعيين تنشيطات جزء من الخلايا العصبية في الطبقة السابقة بشكل عشوائي إلى الصفر. "معدل التسرب" هو معامل فائق يحدد احتمالية إسقاط خلية عصبية. على سبيل المثال، يعني معدل التسرب البالغ 0.5 أن كل خلية عصبية لديها فرصة بنسبة 50٪ ليتم تجاهلها خلال تكرار تدريبي معين. يمكن اعتبار هذه العملية بمثابة تدريب عدد كبير من الشبكات الرقيقة التي تشترك في الأوزان.

من خلال تغيير بنية الشبكة باستمرار، يمنع التسرب التكيفات المشتركة المعقدة، حيث يعتمد خرج العصبون بشكل كبير على وجود عدد قليل من العصبونات الأخرى المحددة. بدلاً من ذلك، يتم تشجيع كل عصبون على أن يكون كاشف ميزات أكثر فائدة بشكل مستقل. خلال مرحلة الاختبار أو الاستدلال، يتم إيقاف تشغيل طبقة التسرب، ويتم استخدام جميع العصبونات. للتعويض عن حقيقة أن المزيد من العصبونات نشطة أكثر مما كانت عليه أثناء التدريب، يتم تقليل مخرجات الطبقة بمعدل التسرب. وهذا يضمن بقاء الناتج المتوقع من كل عصبون ثابتًا بين التدريب والاختبار. تتعامل أطر العمل مثل PyTorch و TensorFlow مع هذا القياس تلقائيًا في عمليات تنفيذ طبقة التسرب الخاصة بها.

تطبيقات واقعية

يستخدم التسرب على نطاق واسع في مختلف مجالات الذكاء الاصطناعي (AI) و التعلم الآلي (ML):

1. رؤية الكمبيوتر: في رؤية الكمبيوتر (CV)، يساعد التسرب النماذج مثل Ultralytics YOLO على الأداء بشكل أفضل في مهام مثل اكتشاف الأجسام و تصنيف الصور و تقسيم المثيلات. على سبيل المثال، في أنظمة القيادة الذاتية، يمكن أن يجعل التسرب نماذج الكشف أكثر قوة في مواجهة الاختلافات في الإضاءة أو الطقس أو الانسدادات، مما يحسن السلامة والموثوقية. يمكن إدارة تدريب هذه النماذج بفعالية باستخدام منصات مثل Ultralytics HUB.
2. معالجة اللغة الطبيعية (NLP): يتم تطبيق التسرب (Dropout) بشكل شائع في نماذج معالجة اللغة الطبيعية (NLP) مثل Transformers و BERT. في تطبيقات مثل الترجمة الآلية أو تحليل المشاعر (sentiment analysis)، يمنع التسرب النموذج من حفظ عبارات أو هياكل جمل محددة من بيانات التدريب. يؤدي هذا إلى فهم أفضل وإنشاء نص جديد، مما يعزز أداء روبوتات المحادثة (chatbots) وأدوات تلخيص النصوص.

المفاهيم ذات الصلة والفروق

التسرب (Dropout) هو إحدى التقنيات العديدة المستخدمة للتنظيم في التعلم العميق. وتشمل التقنيات الأخرى:

• تسوية L1 و L2: تضيف هذه الطرق جزاءً إلى دالة الخسارة (loss function) بناءً على حجم أوزان النموذج (model weights)، مما يشجع على استخدام أوزان أصغر لتقليل تعقيد النموذج. يمكنك قراءة المزيد عن تسوية L1 / L2. في المقابل، يقوم التسرب (dropout) بتعديل هيكل الشبكة مباشرةً أثناء التدريب بدلاً من مجرد معاقبة الأوزان.
• تطبيع الدُفعة: تطبيع الدُفعة (BN) يقوم بتطبيع التنشيطات داخل الطبقة، مما قد يؤدي إلى استقرار التدريب وتوفير تأثير تنظيمي خفيف في بعض الأحيان، مما قد يقلل الحاجة إلى التسرب القوي. بينما يعالج BN تحول المتغير الداخلي، يستهدف Dropout بشكل مباشر تعقيد النموذج عن طريق فرض التكرار.
• زيادة البيانات: تعمل تقنيات مثل تدوير الصور أو تغيير حجمها أو اقتصاصها (زيادة البيانات) على زيادة تنوع مجموعة بيانات التدريب بشكل مصطنع. يساعد هذا أيضًا على منع التجاوز وتحسين التعميم. غالبًا ما يتم استخدام التسرب وزيادة البيانات معًا لتحقيق نتائج أكثر قوة.

باختصار، طبقة التسرب هي تقنية تنظيم بسيطة ولكنها قوية ضرورية لتدريب نماذج التعلم العميق القوية عبر تطبيقات مختلفة، من رؤية الكمبيوتر المتقدمة إلى معالجة اللغة الطبيعية.