Scaling Laws

قوانين تحجيم الشبكات العصبية علاقات تجريبية على شكل قانون القوة، تتنبأ بانخفاض خسارة النموذج مع نمو ثلاثة موارد: عدد معلماته (N)، وحجم بيانات التدريب بوحدة الرموز (D)، وحسابات التدريب بوحدة عمليات الفاصلة العائمة (C). وتظل المنحنيات سلسة عبر رتب مقدار عديدة، لذا تلائمها المختبرات باستخدام عمليات تشغيل صغيرة ومنخفضة التكلفة، ثم تستقرئ النتائج لاختيار حجم التشغيل الكبير وميزانية بياناته قبل تحمل تكلفته. فعلى سبيل المثال، تنبأ تقرير OpenAI عن GPT-4 ببعض جوانب أداء النموذج النهائي استنادًا إلى نماذج دُرّبت باستخدام ما لا يزيد على 1/1,000 من حساباته. وتصف أشهر هذه القوانين نمذجة اللغة، كما تنطبق الطريقة نفسها على نماذج الرؤية والكلام والاستدلال.

قوانين Kaplan للتحجيم#

نشر باحثو OpenAI بقيادة Jared Kaplan ورقة قوانين تحجيم نماذج اللغة العصبية عام 2020. ووجدوا أن خسارة الإنتروبيا المتقاطعة في نموذج لغة قائم على Transformer تتبع قانون قوة وفق N وD وC، مع امتداد بعض الاتجاهات لأكثر من سبع رتب مقدار، في حين كان تأثير العرض والعمق والتفاصيل المعمارية الأخرى ضئيلًا ضمن نطاق واسع. كما كانت النماذج الأكبر أكثر كفاءة في استخدام العينات؛ لذا خلصت الورقة إلى أن التدريب الكفء حسابيًا يستخدم نماذج كبيرة جدًا على بيانات محدودة نسبيًا، ويتوقف قبل التقارب بوقت طويل. واتبع GPT-3 هذه الوصفة، إذ دُرّب بـ175 مليار معلمة على 300 مليار رمز.

Chinchilla والتدريب الأمثل حسابيًا#

درّبت دراسة Chinchilla من DeepMind أكثر من 400 نموذج، تراوح عدد معلماتها بين 70 مليونًا وأكثر من 16 مليارًا، على بيانات تتراوح بين 5 و500 مليار رمز، وتوصلت إلى نتيجة مختلفة: عند ثبات ميزانية الحوسبة، ينبغي أن ينمو حجم النموذج وعدد رموز التدريب بالتناسب نفسه؛ أي إن مضاعفة عدد المعلمات تستلزم مضاعفة البيانات. واستخدم Chinchilla نفسه مقدار الحوسبة الذي استخدمه Gopher ذي 280 مليار معلمة، لكنه احتوى على 70 مليار معلمة ودُرّب على بيانات أكثر بنحو أربعة أضعاف، وتفوّق على Gopher وGPT-3 وMegatron-Turing NLG ذي 530 مليار معلمة. ولائمت الدراسة الخسارة وفق المعادلة L(N, D) = E + A / N^α + B / D^β، حيث تمثل E الخسارة غير القابلة للاختزال للنص الطبيعي، ويتناقص الحدان الآخران مع حجم النموذج والبيانات. وتبلغ كلفة التدريب نحو 6 FLOPs لكل معلمة لكل رمز، لذا C ≈ 6ND، ويعطي تقليل الخسارة الملائمة عند قيمة C محددة النموذج الأمثل حسابيًا:

import numpy as np

# Chinchilla loss fit L(N, D) = E + A / N^alpha + B / D^beta, as re-estimated by Besiroglu et al. (2024)
E, A, B, alpha, beta = 1.8172, 482.01, 2085.43, 0.3478, 0.3658

# Training costs about 6 FLOPs per parameter per token, so a budget C fixes D = C / (6N)
N = np.logspace(8, 13, 10_000)
for C in [1e21, 1e23, 5.76e23, 1e25]:
    D = C / (6 * N)
    loss = E + A / N**alpha + B / D**beta
    best = loss.argmin()
    print(
        f"C={C:.2e} FLOPs: {N[best] / 1e9:6.1f}B params, {D[best] / 1e12:5.2f}T tokens, "
        f"{D[best] / N[best]:.0f} tokens/param, loss {loss[best]:.3f}"
    )

المعاملات مأخوذة من إعادة Epoch AI لملاءمة Chinchilla، التي صححت التقدير الثالث في الورقة الأصلية. عند ميزانية Chinchilla البالغة 5.76 × 10^23 FLOPs، تختار الملاءمة 72.2 مليار معلمة و1.33 تريليون رمز، وهو ما يقارب القيم الفعلية لـChinchilla، وهي 70 مليار معلمة و1.4 تريليون رمز. كما تنتج كل ميزانية تتراوح بين 10^21 و10^25 FLOPs ما بين 17 و22 رمزًا لكل معلمة، بما يتوافق مع القاعدة الشائعة البالغة نحو 20.

ما بعد الأمثلية الحسابية#

تقلّل قاعدة Chinchilla تكلفة الحوسبة اللازمة للتدريب فحسب، بينما تُدفع تكلفة تشغيل النموذج المنشور مع كل استعلام. أما النماذج الأصغر التي يتجاوز تدريبها بكثير النقطة المثلى من حيث الحوسبة، فتكون أقل تكلفةً في تشغيلها: أشارت Meta إلى أن كمية البيانات المثلى وفق قاعدة Chinchilla لنموذج يحتوي على 8 مليارات معلمة تبلغ نحو 200 مليار رمز، ومع ذلك استمر Llama 3 8B في التحسن بما يتناسب خطيًا مع لوغاريتم عدد الرموز حتى 15 تريليون رمز، ولهذا تُدرَّب نماذج اللغة الصغيرة (SLMs) عادةً تدريبًا مفرطًا. ويشكّل توفر البيانات قيدًا آخر. ووجدت دراسة أُجريت عام 2023 حول التوسّع في ظل قيود البيانات أن التدريب على البيانات المكررة لمدة تصل إلى أربع دورات تدريبية لم يُحدث تغييرًا يُذكر في قيمة الخسارة مقارنةً بالتدريب على بيانات فريدة، كما توسّع البيانات الاصطناعية نطاق بيانات التدريب المتاحة.

تحجيم الحوسبة وقت الاختبار#

ينفق محور ثانٍ الحوسبة أثناء الاستدلال. تنتج نماذج الاستدلال مثل o1 من OpenAI سلاسل تفكير طويلة قبل الإجابة، وأفادت OpenAI عام 2024 بأن دقة o1 ارتفعت مع زيادة حوسبة التعلم المعزز ومع زيادة الوقت المخصص للتفكير. ووجدت دراسة من Google DeepMind وUC Berkeley حول تحجيم الحوسبة وقت الاختبار أن الاستراتيجيات المثلى حسابيًا، مثل البحث باستخدام نموذج مكافأة العملية (PRM)، كانت أكفأ بأكثر من أربعة أضعاف من أخذ عينات أفضل N، وأن الحوسبة الإضافية وقت الاختبار أتاحت للنموذج الصغير التفوق على نموذج أكبر منه بـ14 ضعفًا عند تساوي FLOPs، في المسائل التي يحقق فيها النموذج الصغير نجاحًا غير تافه.

التحجيم في الرؤية الحاسوبية#

تتبع نماذج الرؤية النمط نفسه. درّبت دراسة Google بعنوان تحجيم محولات الرؤية محوّل رؤية (ViT) ذا ملياري معلمة، وحقق دقة Top-1 بلغت 90.45% على ImageNet. يبني Ultralytics YOLO26 أحجامه الخمسة من ملف YAML للنموذج واحد، تحدد فيه إدخالات scales مضاعِفات العمق والعرض وحدًا أقصى للقنوات، من n: [0.50, 0.25, 1024] إلى x: [1.00, 1.50, 512]. وعلى COCO، يرتفع متوسط الدقة المتوسطة (mAP) من 40.9 في YOLO26n ذي 2.4 مليون معلمة إلى 57.5 في YOLO26x ذي 55.7 مليون معلمة؛ أي زيادة بمقدار 23 ضعفًا في عدد المعلمات مقابل 16.6 نقطة إضافية في mAP50-95.