تطبيع الدُفعات

كيفية عمل تطبيع الدُفعات

أثناء عملية تدريب النموذج، يتم تمرير البيانات من خلال الشبكة في مجموعات صغيرة تسمى دفعات. تقوم طبقة تطبيع الدُفعات، والتي عادةً ما يتم إدراجها بعد الطبقة التلافيفية أو المتصلة بالكامل وقبل دالة التنشيط، بتنفيذ خطوتين رئيسيتين لكل دفعة:

1. التطبيع: يقوم بحساب متوسط وتباين التنشيطات داخل الدفعة الحالية. ثم يستخدم هذه الإحصائيات لتطبيع التفعيلات، مع إعطائها متوسط صفر وتباين واحد. تضمن هذه الخطوة أن تكون مدخلات الطبقة التالية على مقياس ثابت.
2. التحجيم والتحويل: قد يؤدي تطبيع التنشيطات إلى الحد من القوة التعبيرية للطبقة. ولمواجهة ذلك، تقدم الطبقة معاملين قابلين للتعلم - عامل قياس (جاما) وعامل تحويل (بيتا). تسمح هاتان المعلمتان للشبكة بتعلم المقياس والمتوسط الأمثل لمدخلات الطبقة التالية، مما يلغي التطبيع بشكل فعال إذا كان هذا هو ما تحدده الشبكة أنه الأفضل.

أثناء عملية الاستدلال، يعالج النموذج أمثلة فردية بدلاً من الدفعات. لذلك، لا يتوفر المتوسط والتباين الخاص بالدفعات. وبدلاً من ذلك، يستخدم النموذج متوسطًا إجماليًا وتباينًا محسوبًا من مجموعة بيانات التدريب بأكملها، والتي يتم حسابها وتخزينها أثناء مرحلة التدريب. يضمن ذلك أن تكون مخرجات النموذج حتمية ومتسقة.

فوائد تطبيع الدفعات

يوفر تطبيق تطبيع الدُفعات في نموذج التعلم العميق العديد من المزايا الرئيسية:

• تدريب أسرع: من خلال تثبيت توزيعات المدخلات، تسمح BatchNorm باستخدام معدل تعلّم أعلى بكثير، مما يسرّع بشكل كبير من تقارب النموذج.
• يقلل من التحول المتغير الداخلي: هذه هي المشكلة الأساسية التي تم تصميم تطبيع الدُفعات لحلها. فهي تخفف من المشكلة التي تتسبب فيها التغييرات في معلمات الطبقات السابقة في تحول توزيع المدخلات إلى الطبقات اللاحقة، مما يجعل التدريب أكثر صعوبة.
• تأثير التنظيم: يضيف تطبيع الدُفعات كمية صغيرة من الضوضاء إلى تنشيط كل طبقة بسبب الإحصائيات القائمة على الدُفعات. تعمل هذه الضوضاء كشكل من أشكال التنظيم، والتي يمكن أن تساعد في منع الإفراط في التركيب وقد تقلل من الحاجة إلى تقنيات أخرى مثل التسرب.
• يقلل من الاعتماد على التهيئة: يجعل الشبكة أقل حساسية للأوزان الأولية، مما يجعل عملية التدريب أكثر قوة.

التطبيقات الواقعية

يعد تطبيع الدُفعات مكونًا شبه منتشر في كل مكان في نماذج الرؤية الحاسوبية الحديثة، بما في ذلك أحدث البنى مثل Ultralytics YOLO.

• تصنيف الصور: في النماذج المُدرَّبة على مجموعات بيانات كبيرة مثل ImageNet، يُعدّ تطبيع الدُفعات أمرًا بالغ الأهمية لتدريب الشبكات العميقة جدًا، مثل ResNet، وذلك من خلال منع حدوث مشكلات مثل تلاشي التدرجات. يتيح ذلك دقة أعلى في مهام مثل تصنيف الأجسام في الصور الفوتوغرافية.
• تحليل الصور الطبية: عند تدريب نماذج للكشف عن الأورام أو تقسيم الأعضاء من التصوير بالرنين المغناطيسي أو التصوير المقطعي المحوسب، يضمن تطبيع الدُفعات عدم تأثير الاختلافات في شدة الصورة عبر الأجهزة والمرضى المختلفين سلبًا على التدريب. وهذا يؤدي إلى أدوات تشخيصية أكثر موثوقية وقوة للذكاء الاصطناعي في مجال الرعاية الصحية.

المفاهيم والتمييزات ذات الصلة

من المهم التفريق بين تطبيع الدفعات والمفاهيم الأخرى ذات الصلة:

• تطبيع البيانات: التطبيع العام للبيانات هو خطوة معالجة مسبقة يتم تطبيقها على بيانات الإدخال قبل بدء التدريب. وعلى النقيض من ذلك، فإن التطبيع الدفعي هو عملية ديناميكية تحدث داخل الشبكة أثناء التدريب، حيث يتم تطبيع التنشيطات بين الطبقات.
• طبقات تطبيع أخرى: توجد تقنيات أخرى مثل تطبيع الطبقات، وتطبيع المثيلات، وتطبيع المجموعات. الفرق الرئيسي هو نطاق التطبيع. بينما تقوم BatchNorm بالتطبيع عبر بُعد الدُفعة، بينما يقوم تطبيع الطبقة بالتطبيع عبر الميزات لمثال تدريبي واحد، مما يجعله مستقلاً عن حجم الدُفعة. غالبًا ما يتم استخدام هذه البدائل في مجالات مثل البرمجة اللغوية العصبية أو عندما تكون أحجام الدفعات الصغيرة ضرورية.

الاعتبارات والتطبيقات

من الاعتبارات الرئيسية للتطبيع الدفعي هو اعتماده على حجم الدفعة المصغرة أثناء التدريب. يمكن أن يتدهور الأداء إذا كان حجم الدفعة صغيرًا جدًا (على سبيل المثال، 1 أو 2)، حيث تصبح إحصائيات الدفعة تقديرات صاخبة لإحصائيات المجموعة. أطر التعلم العميق القياسية مثل باي تورتش (torch.nn.BatchNorm2d) و تينسورفلو (tf.keras.layers.BatchNormalization) توفر تطبيقات قوية. على الرغم من البدائل، تظل تقنية "تطبيع الدُفعات" تقنية أساسية لتدريب العديد من نماذج التعلم العميق الحديثة بفعالية. يمكنك إدارة وتدريب نماذج تتضمن مثل هذه التقنيات باستخدام منصات مثل Ultralytics HUB.