تطبيع الدُفعات

تطبيع الدُفعات هو تقنية تُستخدم على نطاق واسع في التعلُّم العميق لتحقيق الاستقرار في عملية التعلُّم وتسريع تدريب الشبكات العصبية العميقة بشكل كبير. قدمها سيرجي إيوف وكريستيان زيجيدي في ورقتهم البحثية لعام 2015"تطبيع الدُفعات: تسريع تدريب الشبكات العميقة عن طريق الحد من إزاحة المتغيرات الداخلية"، وهي تعالج المشكلة التي يتغير فيها توزيع المدخلات إلى الطبقات العميقة في الشبكة أثناء التدريب، والمعروفة باسم إزاحة المتغيرات الداخلية. من خلال تطبيع المدخلات لكل طبقة لكل دفعة صغيرة، يساعد تطبيع الدُفعات في الحفاظ على توزيع أكثر استقرارًا لقيم التنشيط، مما يؤدي إلى تقارب أكثر سلاسة وسرعة.

كيفية عمل تطبيع الدُفعات

أثناء التدريب، تقوم عملية تطبيع الدُفعات بتوحيد المدخلات إلى طبقة لكل دفعة مصغرة. ويتضمن ذلك حساب متوسط وتباين التنشيطات عبر الدفعة المصغرة ثم تطبيع هذه التنشيطات. والأهم من ذلك أن هذه التقنية تقدم أيضًا معلمتين قابلتين للتعلم لكل قناة تنشيط - معلمة مقياس (جاما) ومعلمة إزاحة (بيتا). تسمح هاتان المعلمتان للشبكة بتعلم المقياس والمتوسط الأمثل للمدخلات المطبعة، مما يمنحها بشكل أساسي المرونة للتراجع عن التطبيع إذا ثبت أن ذلك مفيد للتعلم. تساعد هذه العملية في مكافحة مشاكل مثل التدرجات المتلاشية والتدرجات المتفجرة من خلال الحفاظ على التنشيطات ضمن نطاق معقول. أثناء الاستدلال، يتم تثبيت المتوسط والتباين، وعادةً ما يتم ذلك باستخدام إحصائيات السكان المقدرة أثناء التدريب.

فوائد استخدام تطبيع الدُفعات

يوفر تطبيق تطبيع الدُفعات في الشبكات العصبية العديد من المزايا الرئيسية:

• تدريب أسرع: غالبًا ما يسمح بمعدلات تعلم أعلى بكثير، مما يسرع من تقارب عملية التدريب. راجع نصائح لتدريب النموذج لمزيد من استراتيجيات التحسين.
• تدفق التدرج المحسّن: من خلال تثبيت توزيعات التنشيط، فإنه يخفف من مشاكل التلاشي وانفجار التدرجات، مما يؤدي إلى تدريب أكثر استقرارًا، خاصةً في الشبكات العميقة جدًا.
• تأثير التسوية: تضيف تسوية الدُفعات مكون ضوضاء طفيف إلى مدخلات الطبقة بسبب إحصائيات الدُفعات المصغرة. يعمل هذا كشكل من أشكال التنظيم، مما يقلل من الحاجة إلى تقنيات أخرى مثل التسرب.
• حساسية أقل للتهيئة: غالبًا ما تكون الشبكات ذات التطبيع الدفعي أقل حساسية للأوزان الأولية المختارة قبل بدء التدريب.
• تمكين شبكات أعمق: من خلال معالجة المشكلات المتعلقة بتدريب البنى العميقة يسهل التدريب الناجح لنماذج أعمق بكثير.

التطبيقات والأمثلة

يُعد تطبيع الدُفعات مكونًا أساسيًا في العديد من نماذج التعلُّم العميق الحديثة، خاصةً في مجال الرؤية الحاسوبية.

1. التعرف على الصور واكتشاف الأجسام: في الشبكات العصبية التلافيفية (CNNs)، عادةً ما يتم تطبيق تطبيع الدُفعات بعد الطبقات التلافيفية وقبل دالة التنشيط (مثل ReLU). تعتمد نماذج مثل ResNet بشكل كبير على ذلك. في نماذج الكشف عن الكائنات، مثل Ultralytics YOLO، يساعد تطبيع الدُفعات على استقرار التدريب وتحسين الدقة وتسريع التقارب، مما يتيح الكشف الفعال على مجموعات البيانات المعقدة مثل COCO. تم استخدام تنويعات مثل تطبيع الدُفعات المتقاطعة المصغرة (CmBN) في نماذج مثل YOLOv4 لتعزيز الأداء بشكل أكبر.
2. شبكات الخصومة التوليدية (GANs): غالبًا ما يُستخدم التطبيع الدفعي في الشبكات المولدة والمميزة لشبكات GANs التوليدية الخصمية لتثبيت عملية التدريب الخصومي، على الرغم من أن التنفيذ الدقيق ضروري لتجنب التشوهات. فهو يساعد على منع انهيار الوضع ويضمن ديناميكيات تدريب أكثر سلاسة.

المفاهيم والاختلافات ذات الصلة

في حين أن تطبيع الدُفعات يُستخدم على نطاق واسع، توجد العديد من تقنيات التطبيع ذات الصلة، كل منها مناسب لسيناريوهات مختلفة:

• تطبيع الطبقة: يقوم بتطبيع المدخلات عبر الميزات لعينة بيانات واحدة، بغض النظر عن الدفعة. وغالبًا ما يُفضل في الشبكات العصبية المتكررة (RNNs) والمحولات حيث يمكن أن تختلف أطوال التسلسل. راجع الورقة الأصلية"تطبيع الطبقة".
• تطبيع المثيل: تطبيع كل قناة عبر الأبعاد المكانية لكل عينة بيانات بشكل مستقل. يُستخدم عادةً في مهام نقل النمط(نقل النمط العصبي) لإزالة معلومات التباين الخاصة بالمثيل. راجع الورقة البحثية"تطبيع المثيل: المكوِّن المفقود للنمذجة السريعة".
• تطبيع المجموعة: يقسم القنوات إلى مجموعات ويقوم بالتطبيع داخل كل مجموعة لعينة بيانات واحدة. وهو يعمل كحل وسط بين تطبيع الطبقة وتطبيع المثيل ويعمل بشكل جيد حتى مع أحجام الدفعات الصغيرة. راجع ورقة"تطبيع المجموعة".

الاعتبارات والتطبيقات

من الاعتبارات الرئيسية للتطبيع الدفعي هو اعتماده على حجم الدفعة المصغرة أثناء التدريب. يمكن أن يتدهور الأداء إذا كان حجم الدفعة صغيرًا جدًا (على سبيل المثال، 1 أو 2)، حيث تصبح إحصائيات الدفعة تقديرات صاخبة لإحصائيات المجتمع الإحصائي. علاوةً على ذلك، يختلف السلوك بين التدريب (باستخدام إحصائيات الدُفعات) والاستدلال (باستخدام إحصائيات تعداد السكان التقديرية). أطر التعلم العميق القياسية مثل باي تورتش (torch.nn.BatchNorm2d) و تينسورفلو (tf.keras.layers.BatchNormalization) توفر تطبيقات قوية. على الرغم من البدائل، يظل تطبيع الدُفعات تقنية أساسية لتدريب العديد من نماذج التعلم العميق الحديثة بفعالية.