Neural Scaling Laws

قوانين التحجيم العصبي هي علاقات تجريبية تصف كيفية تغيّر أداء الشبكات العصبية مع زيادة حجم النموذج وبيانات التدريب والجهد الحاسوبي. وتتبع هذه القوانين عادةً قوانين القوى: فضرب أحد الموارد في عامل ثابت يؤدي إلى انخفاض متناسب ويمكن التنبؤ به في الخطأ، حتى بلوغ حد أدنى. وهذا ما يجعل قوانين التحجيم مفيدة لتقدير فوائد عمليات التدريب الأكبر حجمًا وتحديد كيفية تخصيص ميزانية الحوسبة.

في مجال الذكاء الاصطناعي، يُستخدم مصطلح قوانين التحجيم غالبًا مرادفًا لقوانين التحجيم العصبي. وتصف قابلية التوسع قدرة النظام على التعامل بكفاءة مع أحمال العمل المتزايدة.

آلية عمل قوانين التحجيم العصبي#

تُنظَّم معظم تحليلات التحجيم أثناء التدريب حول ثلاثة مقادير:

• حجم النموذج: يحدد عدد المعلمات المتعلَّمة، بما في ذلك أوزان النموذج، قدرة الشبكة على تمثيل الأنماط.
• بيانات التدريب: توفر كمية بيانات التدريب أمثلة تُتعلَّم منها الأنماط. ويُقاس حجم مجموعات بيانات النماذج اللغوية عادةً بوحدات الرموز، وهي وحدات النص التي يعالجها النموذج.
• حوسبة التدريب: يُقاس إجمالي العمليات الحسابية المنفذة أثناء التدريب بـعمليات الفاصلة العائمة، ويُشار إليها عادةً اختصارًا بـ FLOPs.

تتفاعل هذه الموارد فيما بينها: فزيادة سعة النموذج تغيّر مقدار البيانات وجهد التدريب اللذين يمكن الاستفادة منهما بفاعلية. وتربط علاقة تحجيم ملائمة بين التوزيع المشترك لهذه الموارد والخسارة المتوقعة، أي الخطأ العددي الذي تقيسه دالة الخسارة.

يبدو منحنى قانون القوة مستقيمًا تقريبًا عند استخدام مقياس لوغاريتمي لكلا المحورين. ويصف أسّه سرعة انخفاض الخطأ مع إضافة الموارد. وتُستخدم التجارب الأصغر حجمًا لتحديد المنحنى، ما يتيح للفرق التنبؤ بنتائج التجارب الأكبر. وفي عام 2017، أظهر جويل هستنس وزملاؤه أن انخفاض الخطأ يتبع قانون القوة على نحو يمكن التنبؤ به في مهام اللغة والرؤية والترجمة والكلام.

أرسى جاريد كابلان وسام ماكاندليش وزملاؤهما علاقات شائعة الاستخدام للنماذج اللغوية في ورقتهم البحثية المنشورة عام 2020 بعنوان قوانين التحجيم للنماذج اللغوية العصبية. وربطت تجاربهم خسارة الإنتروبيا المتقاطعة في المحوّلات بالمعلمات والبيانات والحوسبة، مع امتداد بعض الاتجاهات لأكثر من سبع رتب أسية.

التدريب الأمثل حسابيًا وتحجيم Chinchilla#

التدريب الأمثل حسابيًا يختار مزيج حجم النموذج ومدة التدريب الذي يحقق أدنى خسارة ضمن ميزانية تدريب محددة. يستهلك النموذج الأكبر قدرًا أكبر من الحوسبة لكل رمز، ما يترك عددًا أقل من الرموز المتاحة ضمن تلك الميزانية.

قدّم جوردان هوفمان وزملاؤه في عام 2022 قاعدة التوزيع المؤثرة Chinchilla: ينبغي أن ينمو عدد معلمات النموذج ورموز التدريب معًا تقريبًا كلما زادت الحوسبة. وشملت تجاربهم أكثر من 400 نموذج لغوي. وقد أتاح التوزيع الأمثل حسابيًا وفق Chinchilla إنشاء نموذج يضم 70 مليار معلمة، تفوّق على Gopher ذي المعلمات البالغ عددها 280 مليارًا ضمن ميزانية الحوسبة التدريبية نفسها.

والنتيجة العملية هي أن تخصيص قدر مفرط من الحوسبة للمعلمات يترك النموذج غير مكتمل التدريب. ويؤدي تحقيق التوازن بين السعة والبيانات إلى تحسين الأداء المحقق بالميزانية الحسابية نفسها. ويضيف النشر اعتبارًا آخر: فالنماذج الأصغر تحتاج إلى حوسبة أقل لإجراء الاستدلال، لذا يؤثر توزيع موارد التدريب أيضًا في تكلفة تقديم التنبؤات.

تطبيقات في الرؤية الحاسوبية#

في الرؤية الحاسوبية، تربط تحليلات التحجيم بين سعة النموذج ومجموعات بيانات الصور وجهد التدريب وجودة التنبؤات. وتدعم هذه التحليلات اتخاذ قرارات بشأن توسيع مجموعة بيانات أو زيادة حجم الشبكة.

حددت تجارب Google لتحجيم محوّلات الرؤية العلاقات بين الخطأ والبيانات والحوسبة. وحقق محوّل الرؤية الناتج، المكوّن من ملياري معلمة، دقة top-1 بلغت 90.45% على ImageNet، ما يوضح القيمة العملية للتحجيم المنسق في تصنيف الصور.

يطبّق Ultralytics YOLO التحجيم المعماري عبر أحجام نماذج YOLO26 المختلفة، ما يتيح للمستخدمين الاختيار بين سعات ومتطلبات حوسبة مختلفة في اكتشاف الأجسام. عند دقة إدخال تبلغ 640 بكسل على COCO، يضم YOLO26n ‏2.4 مليون معلمة ويحقق 40.9 mAP50–95، بينما يضم YOLO26x ‏55.7 مليون معلمة ويحقق 57.5 mAP50–95، أي بزيادة قدرها 16.6 نقطة.

لماذا تختلف معدلات التحجيم#

تعتمد أسس التحجيم على المهمة وبنية البيانات وطريقة التعلم. ويقدم نموذج السمات العشوائية مثالًا قابلًا للحل رياضيًا: إذ يحوّل المدخلات إلى سمات لاخطية ثابتة ويتعلم أوزان المخرجات الخاصة بها. واستخدم ألكسندر مالوني ودانيال روبرتس وجيمس سولي هذا البناء في عام 2022 لتوضيح كيف تؤدي إحصاءات مجموعة البيانات إلى خسارة اختبار تتبع قانون القوة، ثم إلى ثبات الأداء في نهاية المطاف.

يغيّر تعلّم السمات التمثيلات الداخلية نفسها أثناء التدريب. وهذا يختلف عن استخراج السمات الثابت، حيث تظل التمثيلات دون تغيير. وأوضح بليك بورديلون وألكسندر أتاناسوف وتسينغ بيهليفان كيف أن تعلّم السمات يحسّن التحجيم في المهام الصعبة: ففي نموذجهم القابل للحل، يؤدي تكييف السمات إلى مضاعفة أس التحجيم الحاسوبي تقريبًا عند التعامل مع دوال الهدف شديدة الصعوبة.