Benchmark Dataset

مجموعة بيانات معيارية هي مجموعة بيانات ثابتة ومتاحة للجمهور، ذات تقسيمات محددة مسبقًا ومقياس تقييم رسمي، يستخدمها مجتمع البحث من أجل مقارنة النماذج في المهمة نفسها وضمن الشروط نفسها. وتُعرض النتائج كرقم واحد لكل مقياس، مثل دقة أعلى فئة على ImageNet أو mAP_50-95 على COCO val2017، ولا تكون هذه الأرقام قابلة للمقارنة بين الأوراق البحثية إلا لأن الجميع يستخدم الصور والتسميات وشيفرة التقييم والقواعد نفسها. وتتبع المعايير التقدم في التعلم الآلي (ML)، وتحدد الأساليب التي يجري اعتمادها، وتوفر الأرقام الرئيسية في الأوراق البحثية وبطاقات النماذج.

ما الذي يحدده المعيار#

يحدّد المعيار كل ما قد يجعل درجتين غير قابلتين للمقارنة:

• البيانات والتقسيمات: صور التدريب والتحقق والاختبار المحددة بدقة، حتى لا يتمكن أحد من التقييم على مجموعة فرعية أسهل.
• المهمة ومجموعة التسميات: مخرجات النموذج المطلوبة، مثل فئة واحدة من أصل 1,000 فئة، أو صندوق وفئة لكل واحدة من 80 فئة للكائنات.
• المقياس وشيفرة التقييم: التنفيذ الرسمي، مثل تقييم COCO، الذي يحسب متوسط الدقة عبر عشر عتبات IoU من 0.50 إلى 0.95.
• القواعد: ما يُعد إدخالًا صالحًا، مثل السماح ببيانات تدريب إضافية أو تعزيز وقت الاختبار أو تجميع النماذج من عدمه.

تحجب معايير كثيرة تسميات الاختبار لمنع الفرق من ضبط النماذج على مجموعة الاختبار. ويدرّب المشاركون نماذجهم على التقسيمات المتاحة للجمهور، ثم يرفعون التنبؤات لصور الاختبار، ويقيّمها خادم التقييم بمقارنتها بالتسميات المخفية قبل ظهور النتائج على لوحة المتصدرين. وعندما لا تُنشر تسميات الاختبار مطلقًا، كما في ImageNet، تعرض الأوراق البحثية النتائج على تقسيم التحقق المتاح للجمهور بدلًا من ذلك.

مجموعات البيانات المعيارية الشائعة#

• تصنيف الصور: ImageNet-1k، الذي يُقيّم بدقة أعلى فئة وأعلى خمس فئات، وCIFAR-10 وCIFAR-100 للتجارب الأصغر.
• كشف الأجسام والتقسيم: تضم COCO 80 فئة، ويُعدّ متوسط الدقة المتوسطة (mAP) مقياسها الرئيسي؛ وتضم Pascal VOC 20 فئة، بينما تضم LVIS 1,203 فئة للتعرّف على التوزيعات طويلة الذيل.
• القيادة الذاتية: KITTI ومجموعة بيانات Waymo المفتوحة، وتضمان تسجيلات كاميرات وLiDAR لحركة المرور الحقيقية.
• اللغة والاستدلال: أسئلة علمية على مستوى الدراسات العليا في GPQA، وأسئلة خبراء في مجالات عديدة ضمن اختبار Humanity's Last Exam، ومسائل برمجية في LiveCodeBench.

تنشر Ultralytics دقة كشف YOLO26 بوصفها mAP_50-95 لنموذج واحد وعلى مقياس واحد، على مجموعة COCO val2017 للتحقق المكوّنة من 5,000 صورة بدقة 640 بكسل، وتتراوح من 40.9 لـYOLO26n إلى 57.5 لـYOLO26x؛ ويعيد yolo detect val data=coco.yaml إنتاج هذا التقييم. وتطبق لوحة صدارة VLM من Ultralytics النهج نفسه على نماذج الرؤية واللغة، إذ تقيّم كل نموذج وفق mAP₅₀ على مجموعات بيانات كشف واقعية من مجالات مثل التصوير الطبي والصور الجوية ورفوف المتاجر.

محدوديات المعايير#

• فرط التكيّف مع المعيار: يمكن لسنوات من اختيار النماذج استنادًا إلى مجموعة اختبار واحدة أن تجعل المجال يتكيف مع خصائص تلك المجموعة. واختبر ImageNetV2 ذلك عبر جمع مجموعة اختبار جديدة باستخدام الإجراء الأصلي: فانخفضت الدقة بنسبة 11% إلى 14%، لكن ترتيب النماذج ظل ثابتًا، وأرجع الباحثون الانخفاض إلى أن الصور كانت أصعب قليلًا، لا إلى إعادة استخدام مجموعة الاختبار.
• أخطاء التسميات: قدّرت دراسة 10 مجموعات اختبار واسعة الاستخدام أن 3.3% على الأقل من تسمياتها خاطئة. وعلى ImageNet بعد تصحيح التسميات، يتفوق ResNet-18 على ResNet-50 عندما ترتفع نسبة صور الاختبار المصنفة خطأً أصلًا بنسبة 6% فقط.
• التشبع: عندما تقترب النماذج الأفضل من سقف ضوضاء التسميات، تتوقف فروق الدرجات عن التمييز بينها، وتحل محلها معايير أصعب. وجمع اختبار Humanity's Last Exam 2,500 سؤال من خبراء بعد أن حققت نماذج اللغة الكبيرة دقة 90% على MMLU.
• تلوث البيانات: تؤدي عناصر الاختبار المتسربة إلى بيانات التدريب واسعة النطاق من الويب إلى تضخيم درجات نماذج اللغة الكبيرة. ويتصدى LiveCodeBench لذلك عبر إضافة مسائل مسابقات جديدة باستمرار مع تواريخ نشرها، بحيث يُقيّم كل نموذج على مسائل نُشرت بعد تاريخ توقف تدريبه.
• عدم التطابق مع النشر: يقيس المعيار توزيعًا واحدًا للبيانات. وقد يفوّت نموذج يحتل المرتبة الأولى على COCO كائنات صغيرة أو غير مألوفة أو خاصة بمجال معين في مصنع أو مستشفى، ولهذا تحتفظ الفرق أيضًا بـمجموعة بيانات مرجعية مستمدة من حالة استخدامها.

مجموعة البيانات المعيارية ومصطلحات ذات صلة#

• بيانات الاختبار: بيانات معزولة لقياس أداء نموذج مكتمل مرة واحدة. ويُعد تقسيم الاختبار في المعيار بيانات اختبار مشتركة بين مجال كامل، بينما تقيس مجموعة الاختبار الخاصة بالفريق الأداء على بيانات النشر لديه.
• بيانات التحقق: بيانات تُستخدم أثناء التطوير لضبط المعلمات الفائقة واختيار نقاط التحقق. وغالبًا ما توفر المعايير تقسيمًا رسميًا للتحقق لهذا الغرض.
• قياس الأداء (السرعة): قياس زمن الاستجابة أو معدل الإنتاجية أو استهلاك ذاكرة نموذج على عتاد وبيئات تشغيل محددة، مثل ONNX Runtime أو TensorRT، مع التحقق عادةً من الدقة بعد كل عملية تصدير للتأكد من أن التحويل لم يضعف النموذج.