ترخيص YOLO
العودة إلى مسرد Ultralytics

Double Descent

الهبوط المزدوج نمط ينخفض فيه خطأ الاختبار، ثم يبلغ ذروته عند عتبة الاستيفاء، ثم ينخفض مجددًا مع زيادة حجم النماذج أو مدة تدريبها.

الهبوط المزدوج نمط ينخفض فيه خطأ النموذج على البيانات غير المرئية، ثم يرتفع، ثم ينخفض مجددًا كلما ازداد حجم النموذج أو طالت مدة تدريبه. وتبلغ الزيادة ذروتها قرب النقطة التي يصبح فيها النموذج كبيرًا بما يكفي لأول مرة لملاءمة كل مثال تدريبي بدقة. وبعد تلك النقطة، يؤدي رفع السعة إلى انخفاض خطأ الاختبار مرة أخرى، وغالبًا إلى مستوى أدنى من أفضل نتيجة حققها أي نموذج أصغر.

يوسع هذا النمط التصور التقليدي لـمقايضة التحيز والتباين، التي تتنبأ بمنحنى واحد على شكل حرف U: ينخفض الخطأ مع التقاط النموذج مزيدًا من البنية، ثم يرتفع عندما يبدأ فرط التخصيص للضوضاء، ولذلك يقع النموذج الأفضل في مكان ما في الوسط. أما في النماذج ذات المعلمات الكثيرة جدًا، مثل الشبكات العصبية الحديثة، فلا يمثل شكل U سوى النصف الأول من المنحنى. وقد أطلق ميخائيل بيلكين وزملاؤه اسمًا على هذه الظاهرة في بحث نُشر عام 2019، وأظهر باحثون في هارفارد وOpenAI في العام نفسه أنها تظهر في نماذج التعلم العميق القياسية، بما فيها ResNets والمحوّلات.

عتبة الاستيفاء#

تقع الذروة عند عتبة الاستيفاء، أي حجم النموذج الذي يصل عنده خطأ التدريب إلى الصفر لأول مرة. ويكون النموذج عند ذلك الحجم بالكاد محتويًا على عدد كافٍ من المعلمات للمرور بكل نقطة تدريب، لذا لا توجد فعليًا إلا طريقة واحدة لتحقيق ذلك. وإذا كانت بعض التسميات مشوشة أو خاطئة، فعلى ذلك الحل الوحيد أن ينحني بشدة لملاءمتها، فتصبح التنبؤات بين نقاط التدريب متقلبة وتقفز أخطاء الاختبار.

بعد تجاوز العتبة، تلائم إعدادات كثيرة ومختلفة للمعلمات بيانات التدريب تمامًا. وتميل أساليب التدريب القائمة على التدرج، مثل الانحدار المتدرج العشوائي، إلى الاستقرار على أكثر تلك الحلول سلاسة؛ وفي النماذج الخطية يكون الحل هو الذي يملك أصغر الأوزان، فتُستخدم السعة الإضافية لتنعيم الدالة بين النقاط. وهذا التفضيل الضمني للحلول البسيطة يفسر كيف يمكن لشبكة تحوي معلمات تفوق عدد أمثلة التدريب بكثير أن تعمم جيدًا.

يعيد النص البرمجي أدناه إنتاج المنحنى باستخدام انحدار السمات العشوائية على 40 نقطة تدريب مشوشة. يلائم كل نموذج حل المربعات الصغرى ذي المعيار الأدنى، ويؤدي عدد السمات العشوائية دور حجم النموذج:

import numpy as np

rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train)  # noisy training labels
y_test = x_test @ w

for n_features in [10, 20, 30, 40, 50, 100, 1000]:
    proj = rng.normal(size=(dim, n_features))
    f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)

    # pinv returns the minimum-norm fit once there are more features than examples
    coef = np.linalg.pinv(f_train) @ y_train
    test_mse = np.mean((f_test @ coef - y_test) ** 2)
    print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")

ينخفض خطأ الاختبار من 3.37 إلى 2.98 بين 10 و20 سمة، ثم يرتفع إلى 42.12 عند 30 سمة ونحو 3,960 عند 40 سمة، حيث يستطيع النموذج استيفاء النقاط الأربعين كلها بدقة، ثم ينخفض إلى 29.01 عند 50 سمة، و2.72 عند 100، و1.33 عند 1,000 سمة، أي أقل بكثير من أفضل نموذج صغير.

الهبوط المزدوج بحسب النموذج والعصور والعينات#

يظهر الهبوط المزدوج على ثلاثة محاور. يرسم الهبوط المزدوج على مستوى النموذج، وهو المنحنى الكلاسيكي، خطأ الاختبار مقابل حجم النموذج، مثل عرض الشبكة، عند ميزانية تدريب ثابتة. ويرسم الهبوط المزدوج على مستوى العصور التدريبية الخطأ مقابل زمن التدريب بوحدة العصور التدريبية لنموذج كبير، ولذلك قد يتحسن خطأ التحقق ثم يسوء ثم يتحسن مجددًا مع استمرار التدريب. أما الهبوط المزدوج على مستوى العينات فيرسم الخطأ مقابل حجم مجموعة التدريب: فزيادة البيانات تنقل العتبة نحو نماذج أكبر، لذلك قد تؤدي إضافة البيانات مؤقتًا إلى الإضرار بنموذج ذي حجم ثابت.

تجعل ضوضاء التسميات الأشكال الثلاثة أكثر وضوحًا. ويمكن لـالتنظيم المضبوط جيدًا، مثل اضمحلال الأوزان، وزيادة البيانات القوية، أن يقلص الذروة أو يزيلها، وهذا أحد أسباب خفوتها غالبًا في عمليات التدريب المضبوطة بعناية.

من السهل الخلط بين ظاهرتين مرتبطتين به. ففي الاستيعاب المفاجئ، تظل دقة التحقق قريبة من مستوى التخمين طويلًا بعد بلوغ دقة التدريب 100%، ثم تقفز من دون أن تسوء أولًا. أما قوانين التوسع فتصف التحسن السلس للنماذج الكبيرة مع زيادة المعلمات والبيانات والحوسبة، أي النظام الواقع بعيدًا إلى يمين قمة الاستيفاء.

دلالات تدريب نماذج الرؤية#

تكتسب الصيغة المرتبطة بالعصور التدريبية أهميتها في الاستخدام اليومي: فانخفاض مقياس التحقق في منتصف التدريب لا يعني دائمًا أن التدريب بلغ ذروته. عند تدريب نماذج Ultralytics YOLO26 في وضع التدريب، تنهي الوسيطة patience التشغيل افتراضيًا بعد مرور 100 عصر من دون تحسن في ملاءمة التحقق، ويُحفظ أفضل تحقق للملاءمة باسم best.pt، لذا لا تؤدي القفزة المؤقتة إلى إنهاء التشغيل أو استبدال أفضل الأوزان.

يحدد تشويش التسميات مدى حدة القمة على مستوى النموذج. ففي تجارب هارفارد وOpenAI، لم تُظهر نماذج ResNet18 المتزايدة العرض والمدرّبة على CIFAR-10 بتسميات نظيفة سوى هضبة في خطأ الاختبار قرب عتبة الاستيفاء، بينما حوّل تشويش التسميات تلك الهضبة إلى قمة؛ وعندما عُشوئت 15% من تسميات التدريب، كان أداء الشبكات متوسطة الحجم في الاختبار أسوأ من أداء الشبكات الأضيق والأعرض.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة