Scaling Laws

تُظهر الملاحظات التجريبية حول القياس العصبي في الذكاء الاصطناعي أن أداء النموذج يتحسن بشكل يمكن التنبؤ به مع زيادة موارد محددة—مثل قوة الحوسبة، وحجم مجموعة البيانات، وعدد المعلمات. هذه العلاقات التي تتبع قانون القوة، والتي اشتهرت في البداية بفضل أبحاث من مؤسسات مثل OpenAI وGoogle DeepMind، توضح أن زيادة الموارد تؤدي إلى تقليل خسارة الإنتروبيا المتقاطعة بشكل قابل للتنبؤ رياضياً. إن فهم هذه المبادئ يتيح للباحثين والمهندسين تخصيص ميزانيات بملايين الدولارات بكفاءة، مع توقع الحجم الدقيق الذي يجب أن تكون عليه الشبكة العصبية للوصول إلى دقة مستهدفة قبل البدء في عملية تدريب ضخمة.

Link to this sectionتطور قياس مرحلة ما قبل التدريب#

الصياغة الأصلية لهذه القواعد، المعروفة باسم قوانين قياس Kaplan التي تم تقديمها في عام 2020، أرست أن أداء نموذج اللغة يتوسع بسلاسة مع زيادة قوة الحوسبة المخصصة للتدريب. تم تنقيح هذا الإطار لاحقاً بواسطة قوانين قياس Chinchilla في عام 2022، والتي كشفت أنه للتدريب الأمثل، يجب قياس كل من حجم النموذج وبيانات التدريب بنسب متساوية. على سبيل المثال، إذا قمت بمضاعفة معلمات النموذج، يجب عليك أيضاً مضاعفة عدد رموز التدريب. نجح هذا النموذج في توجيه تطوير نماذج اللغات الكبيرة (LLMs) الحديثة المبنية باستخدام أطر عمل مثل PyTorch وTensorFlow، مما يضمن استخدام مجموعات ضخمة من GPUs بفعالية دون المخاطرة بـ الإفراط في التخصيص أو إهدار الحوسبة.

Link to this sectionالتحول النموذجي: قياس الحوسبة أثناء وقت الاختبار#

بين عامي 2024 و2025، كما تم تسليط الضوء عليه في تقارير تقدم الذكاء الاصطناعي السنوية، شهدت صناعة الذكاء الاصطناعي تحولاً هائلاً نحو القياس أثناء وقت الاستدلال. مع بدء وصول تدريب النماذج الأكبر حجماً إلى عوائد متناقصة وعوائق في توفر البيانات، اكتشف الباحثون كيفية قياس حوسبة وقت اختبار LLM بشكل مباشر. من خلال منح النماذج قوة معالجة أكبر أثناء الاستدلال، يمكنهم تحسين قدرات التفكير المعقدة بشكل كبير.

تقنيات مثل سلسلة الأفكار (CoT) وأخذ عينات Best-of-N تسمح للنماذج باستكشاف مسارات متعددة قبل الإجابة. يثبت قانون القياس أثناء وقت الاختبار هذا، الذي استحدثته نماذج متقدمة مثل o1 من OpenAI وDeepSeek-R1، إلى جانب نماذج تفكير متقدمة أخرى، أن زيادة الحوسبة في مرحلة التنبؤ يمكن أن تسمح لبنية أصغر وأكثر كفاءة بكثير بالتفوق على نموذج ضخم قديم في معايير منطقية صارمة.

Link to this sectionتطبيقات العالم الحقيقي#

تحكم مبادئ القياس التطوير إلى ما هو أبعد من توليد النصوص، حيث تملي بشكل كبير رؤية الكمبيوتر الحديثة وخطوط معالجة اكتشاف الكائنات.

• تخصيص الموارد لنماذج الأساس: تعتمد الشركات التي تطور أنظمة القيادة الذاتية على صيغ القياس لحساب عدد الصور المشروحة المطلوبة بالضبط لتقليل معدلات خطأ متوسط الدقة (mAP) إلى مستويات آمنة وجاهزة للإنتاج. من خلال استخدام منصة Ultralytics من أجل تعليق البيانات التعاوني والتدريب الموزع القائم على السحابة، يمكن للفرق توقع تكاليفها رياضياً قبل النشر.
• تحجيم النموذج والنشر على الحافة: تؤثر صيغ القياس بشكل مباشر على التصميم المعماري للنماذج الحديثة مثل Ultralytics YOLO26. من خلال تقديم عائلة موحدة من النماذج التي تم قياسها رياضياً من Nano (n) إلى Extra Large (x)، يمكن للمطورين المفاضلة بشكل يمكن التنبؤ به بين متطلبات الدقة الصارمة وزمن وصول الاستدلال بناءً على قيود أجهزة الحافة المحددة لديهم.

Link to this sectionمثال برمجي: القياس أثناء وقت الاستدلال في رؤية الكمبيوتر#

في رؤية الكمبيوتر، يمكنك الاستفادة من شكل عملي للقياس أثناء وقت الاختبار يسمى تعزيز وقت الاختبار (TTA). من خلال إنفاق حوسبة إضافية خلال مرحلة التنبؤ لـ تقييم نسخ معززة متعددة من صورة ما، يحسن النموذج ثقة الاكتشاف لديه بشكل يمكن التنبؤ به، مما يعكس تقنيات بحث التفكير التي تظهر في نماذج LLMs المتقدمة.

from ultralytics import YOLO

# Load the recommended YOLO26 model (nano version for high speed)
model = YOLO("yolo26n.pt")

# Perform standard inference (faster, lower test-time compute)
results_standard = model("https://ultralytics.com/images/bus.jpg")

# Perform inference-time scaling via Test-Time Augmentation (TTA)
# Predictably improves accuracy by utilizing more compute during prediction
results_tta = model("https://ultralytics.com/images/bus.jpg", augment=True)

print(f"Standard detections: {len(results_standard[0].boxes)}")
print(f"Scaled TTA detections: {len(results_tta[0].boxes)}")

Link to this sectionقوانين القياس مقابل المفاهيم ذات الصلة#

على الرغم من ارتباطها الوثيق بقدرات الأجهزة، فإن قواعد قياس الذكاء الاصطناعي تقيس تحديداً كفاءة البرمجيات والخوارزميات فيما يتعلق بتلك الأجهزة.

• قوانين القياس مقابل قانون مور: قانون مور هو ملاحظة طويلة الأمد للأجهزة تتنبأ بأن عدد الترانزستورات على شريحة دقيقة يتضاعف كل عامين تقريباً. في المقابل، يتتبع قياس الذكاء الاصطناعي رياضياً كيف تتحسن قدرة النموذج الفعلية مع إمكانية الوصول إلى مجمع الأجهزة المتوسع ذلك.
• قياس التدريب مقابل قياس الاستدلال: تحسب صيغ التدريب المزيج الأمثل حوسبياً من المعلمات والبيانات أثناء الإنشاء الأولي للنموذج. في المقابل، يقيس قياس الاستدلال كيف تؤدي ديناميكياً عملية إنفاق حوسبة إضافية على خطوات البحث والتحقق مباشرة قبل توليد المخرج إلى تحسين النتيجة النهائية دون الحاجة إلى أي إعادة تدريب.