التطبيع الدفعي

تطبيع الدُفعة، غالبًا ما يتم اختصاره إلى BatchNorm، هو أسلوب يستخدم في الشبكات العصبية العميقة لتحقيق الاستقرار في عملية التدريب وتسريعها. تم تقديمه بواسطة سيرجي إيوفي وكريستيان سيجيدي في ورقتهما البحثية لعام 2015، وهو يعمل عن طريق تطبيع المدخلات لكل طبقة لكل دفعة صغيرة من البيانات. هذا له تأثير تقليل ما يعرف باسم "تحويل المتغير الداخلي"، وهي ظاهرة حيث يتغير توزيع مدخلات كل طبقة أثناء التدريب مع تغير معلمات الطبقات السابقة. من خلال الحفاظ على توزيع أكثر استقرارًا للمدخلات، يسمح تطبيع الدُفعة بتدريب أسرع وأكثر استقرارًا للشبكات العميقة.

كيف يعمل التسوية الدفعية (Batch Normalization)؟

أثناء عملية تدريب النموذج، يتم تمرير البيانات عبر الشبكة في مجموعات صغيرة تسمى الدُفعات. تقوم طبقة تطبيع الدُفعة، التي يتم إدخالها عادةً بعد طبقة التفافية أو طبقة متصلة بالكامل وقبل دالة التنشيط، بتنفيذ خطوتين رئيسيتين لكل دفعة:

1. التطبيع: يحسب متوسط وتباين التنشيطات داخل الدفعة الحالية. ثم يستخدم هذه الإحصائيات لتطبيع التنشيطات، ومنحها متوسطًا صفريًا وتباينًا واحدًا. تضمن هذه الخطوة أن تكون مدخلات الطبقة التالية على مقياس ثابت.
2. التحجيم والإزاحة: قد يؤدي تطبيع التنشيطات إلى الحد من القدرة التعبيرية للطبقة. لمواجهة ذلك، تقدم الطبقة معلمتين قابلتين للتعلم - عامل تحجيم (جاما) وعامل إزاحة (بيتا). تسمح هاتان المعلمتان للشبكة بتعلم المقياس الأمثل والمتوسط للمدخلات إلى الطبقة التالية، مما يؤدي فعليًا إلى التراجع عن التطبيع إذا كان هذا ما تحدده الشبكة على أنه الأفضل.

أثناء الاستدلال، يعالج النموذج أمثلة فردية بدلاً من الدُفعات. لذلك، فإن المتوسط والتباين الخاصين بالدفعة غير متاحين. بدلاً من ذلك، يستخدم النموذج متوسطًا وتباينًا مجمعين يتم حسابهما من مجموعة بيانات التدريب بأكملها، والتي يتم حسابها وتخزينها أثناء مرحلة التدريب. وهذا يضمن أن يكون خرج النموذج حتميًا ومتسقًا.

فوائد التسوية الدفعية (Batch Normalization)

يوفر تطبيق Normalization Batch في نموذج التعلم العميق العديد من المزايا الرئيسية:

• تدريب أسرع: من خلال تثبيت توزيعات الإدخال، يسمح BatchNorm باستخدام معدل تعلم أعلى بكثير، مما يسرع بشكل كبير من تقارب النموذج.
• يقلل من تحول التغاير الداخلي: هذه هي المشكلة الأساسية التي صُممت Normalizaiton Batch لحلها. فهو يقلل من المشكلة التي تتسبب فيها التغييرات في معلمات الطبقات السابقة في تحويل توزيع المدخلات إلى الطبقات اللاحقة، مما يجعل التدريب أكثر صعوبة.
• تأثير التنظيم: يضيف تطبيع الدُفعة (Batch Normalization) كمية صغيرة من الضوضاء إلى تنشيطات كل طبقة بسبب الإحصائيات المستندة إلى الدُفعة. تعمل هذه الضوضاء كشكل من أشكال التنظيم، مما يساعد على منع التجاوز وقد يقلل الحاجة إلى تقنيات أخرى مثل الاستبعاد.
• يقلل الاعتماد على التهيئة: يجعل الشبكة أقل حساسية للأوزان الأولية، مما يجعل عملية التدريب أكثر قوة.

تطبيقات واقعية

تطبيع الدُفعة هو مكون شبه موجود في نماذج رؤية الكمبيوتر الحديثة، بما في ذلك البنى الحديثة مثل Ultralytics YOLO.

• تصنيف الصور: في النماذج المدربة على مجموعات بيانات كبيرة مثل ImageNet، يعد تطبيع الدُفعة أمرًا بالغ الأهمية لتدريب الشبكات العميقة جدًا، مثل ResNet، عن طريق منع مشكلات مثل تلاشي التدرجات. وهذا يسمح بـ دقة أعلى في مهام مثل تصنيف الكائنات في الصور الفوتوغرافية.
• تحليل الصور الطبية: عند تدريب النماذج للكشف عن الأورام أو تقسيم الأعضاء من فحوصات التصوير بالرنين المغناطيسي أو التصوير المقطعي المحوسب، يضمن تطبيع الدُفعة أن الاختلافات في شدة الصورة عبر الأجهزة والمرضى المختلفين لا تؤثر سلبًا على التدريب. يؤدي هذا إلى أدوات تشخيصية أكثر موثوقية وقوة للذكاء الاصطناعي في الرعاية الصحية.

المفاهيم ذات الصلة والفروق

من المهم التمييز بين تسوية الدُفعة والمفاهيم الأخرى ذات الصلة:

• تطبيع البيانات: تطبيع البيانات العام هو خطوة معالجة مسبقة يتم تطبيقها على بيانات الإدخال قبل بدء التدريب. في المقابل، فإن تطبيع الدُفعات هو عملية ديناميكية تحدث داخل الشبكة أثناء التدريب، حيث تعمل على تطبيع التنشيطات بين الطبقات.
• طبقات تطبيع أخرى: توجد تقنيات أخرى مثل تطبيع الطبقة و تطبيع المثيل و تطبيع المجموعة. الفرق الرئيسي هو نطاق التطبيع. بينما يقوم BatchNorm بالتطبيع عبر بُعد الدُفعة، يقوم تطبيع الطبقة بالتطبيع عبر الميزات لمثال تدريب واحد، مما يجعله مستقلاً عن حجم الدُفعة. غالبًا ما تستخدم هذه البدائل في مجالات مثل NLP أو عندما تكون أحجام الدُفعة الصغيرة ضرورية.

الاعتبارات والتطبيقات

أحد الاعتبارات الرئيسية للتطبيع الدفعي هو اعتماده على حجم الدفعة الصغيرة أثناء التدريب. يمكن أن يتدهور الأداء إذا كان حجم الدفعة صغيرًا جدًا (على سبيل المثال، 1 أو 2)، حيث تصبح إحصائيات الدفعة تقديرات مشوشة لإحصائيات المجتمع. أطر التعلم العميق القياسية مثل PyTorch (torch.nn.BatchNorm2d) و TensorFlow (tf.keras.layers.BatchNormalization) توفر تطبيقات قوية. على الرغم من البدائل، يظل Batch Normalization أسلوبًا أساسيًا لتدريب العديد من نماذج التعلم العميق الحديثة بفعالية. يمكنك إدارة وتدريب النماذج التي تتضمن هذه التقنيات باستخدام منصات مثل Ultralytics HUB.