مسرد المصطلحات

حجم الدفعة

اكتشف تأثير حجم الدُفعات على التعلُّم العميق. قم بتحسين سرعة التدريب واستخدام الذاكرة وأداء النموذج بكفاءة.

حجم الدُفعات هو معيار أساسي في التعلم الآلي يحدد عدد عينات التدريب التي تتم معالجتها قبل تحديث المعلمات الداخلية للنموذج. وبدلاً من معالجة مجموعة بيانات التدريب بأكملها دفعة واحدة، وهو ما قد يكون باهظاً من الناحية الحسابية، يتم تقسيم البيانات إلى مجموعات فرعية أصغر أو "دفعات". يعد اختيار حجم الدفعة قرارًا حاسمًا يؤثر بشكل مباشر على ديناميكيات تعلم النموذج وسرعة التدريب والأداء النهائي. وهو يمثل مفاضلة بين الكفاءة الحسابية ودقة تقدير التدرج المستخدم لتحديث أوزان النموذج.

دور حجم الدفعة في تدريب النموذج

أثناء التدريب، تتعلم الشبكة العصبية (NN) من خلال تعديل أوزانها بناءً على الخطأ الذي ترتكبه. يتم توجيه هذا التعديل من خلال خوارزمية تحسين مثل نزول التدرج. يحدد حجم الدُفعة عدد الأمثلة التي "يراها" النموذج قبل أن يقوم بحساب التدرج وإجراء تحديث للوزن.

نزول التدرج العشوائي (SGD): عندما يكون حجم الدُفعة 1، تُسمى العملية نزول التدرج العشوائي. يتم حساب التدرج لكل عينة على حدة، مما يؤدي إلى تحديثات متكررة ولكن صاخبة.
نزول التدرج الدفعي: عندما يكون حجم الدفعة مساويًا للعدد الإجمالي للعينات في مجموعة بيانات التدريب، يُعرف هذا الأسلوب باسم "نزول التدرج الدفعي". يوفر ذلك تقديرًا دقيقًا جدًا للتدرج ولكنه مكلف حسابيًا ويستهلك الكثير من الذاكرة.
النسب المتدرج للدفعات المصغرة: هذا هو النهج الأكثر شيوعًا، حيث يتم تعيين حجم الدُفعة على قيمة تتراوح بين 1 وحجم مجموعة البيانات الإجمالي (على سبيل المثال، 32، 64، 128). وهو يوفر توازناً بين ثبات نزول التدرج الدفعي وكفاءة نزول التدرج العشوائي.

يؤثر اختيار حجم الدفعة على عملية التدريب بشكل كبير. يوفر حجم الدفعة الأكبر تقديرًا أكثر دقة للتدرج، لكن التكلفة الحسابية لكل تحديث أعلى. وعلى العكس من ذلك، يؤدي حجم الدفعة الأصغر إلى تقديرات أقل دقة للتدرج ولكنه يسمح بتحديثات أسرع.

اختيار حجم الدفعة المناسبة

يُعد العثور على الحجم الأمثل للدُفعات جزءًا مهمًا من ضبط المعلمة الفائقة ويعتمد على مجموعة البيانات وبنية النموذج والأجهزة المتاحة.

أحجام دفعات كبيرة: يمكن أن تؤدي معالجة المزيد من البيانات في وقت واحد إلى الاستفادة الكاملة من قدرات المعالجة المتوازية لوحدات معالجة الرسومات، مما يؤدي إلى أوقات تدريب أسرع لكل دورة. ومع ذلك، فقد أظهرت الأبحاث أن الدُفعات الكبيرة جدًا يمكن أن تؤدي أحيانًا إلى "فجوة تعميم"، حيث يكون أداء النموذج جيدًا على بيانات التدريب ولكن أداءه ضعيف على البيانات غير المرئية. كما أنها تتطلب ذاكرة كبيرة، مما قد يكون عاملاً مقيدًا.
أحجام دفعات صغيرة: تتطلب ذاكرة أقل وغالبًا ما تؤدي إلى تعميم أفضل للنموذج، حيث يمكن أن تساعد الضوضاء في تحديثات التدرج في النموذج على الهروب من الحد الأدنى المحلي وإيجاد حل أكثر قوة. يمكن أن يساعد ذلك في منع الإفراط في التعميم. الجانب السلبي الأساسي هو أن التدريب يكون أبطأ لأن تحديثات الوزن تكون أكثر تواترًا وتتم معالجة بيانات أقل بالتوازي.

بالنسبة للعديد من التطبيقات، يوصى بأحجام الدفعات التي تمثل قوى من اثنين (مثل 32، 64، 128، 256) لأنها غالبًا ما تتوافق بشكل جيد مع بنيات ذاكرة وحدة معالجة الرسومات. تتيح أدوات مثل Ultralytics HUB سهولة تجربة أحجام دفعات مختلفة عند تدريب النماذج.