Golden Dataset

مجموعة البيانات المرجعية الذهبية هي مجموعة أمثلة منتقاة بعناية، وموسومة بدقة، وتمثيلية، تُستخدم مرجعًا موثوقًا لتقييم نظام ذكاء اصطناعي. وبدلًا من تعظيم حجمها، تعطي الأولوية للصحة والتغطية والملاءمة للتطبيق المقصود. وتستخدمها الفرق بوصفها «مفتاح إجابات» ثابتًا لمقارنة النماذج والتحقق من التراجعات والتحقيق في الإخفاقات وتحديد مدى جاهزية النظام للنشر.

في التعلّم الآلي، يُعد «مجموعة البيانات الذهبية» مصطلحًا هندسيًا غير رسمي، وليس نوعًا من مجموعات البيانات موحدًا عالميًا. ويعتمد محتواها الدقيق على المهمة: صور ذات مربعات إحاطة موثّقة من أجل كشف الأجسام، أو مطالبات ذات استجابات معتمدة لنموذج لغوي، أو معاملات ذات نتائج مؤكدة لاكتشاف الاحتيال.

ما الذي يجعل مجموعة البيانات ذهبية؟#

تحتوي مجموعة البيانات الذهبية على مدخلات ومخرجات متوقعة موثوقة، تُسمى غالبًا الحقيقة الأساسية. وفي الرؤية الحاسوبية، قد تكون هذه المخرجات تسميات الفئات أو مربعات الإحاطة أو أقنعة التجزئة أو النقاط المفتاحية التي أُنتجت عبر التعليق على البيانات وفق منهجية صارمة.

تتمثل أبرز خصائصها فيما يلي:

• دقة التسميات: يتحقق خبراء المجال أو المراجعون المدرّبون من التعليقات باستخدام إرشادات واضحة. وتُحسم الأمثلة الملتبسة على نحو متسق بدلًا من تركها لتفسير كل فرد.
• التغطية التمثيلية: تعكس مجموعة البيانات ظروف الإنتاج المهمة، بما في ذلك الحالات الشائعة والأمثلة الصعبة والأحداث النادرة ومجموعات المستخدمين أو البيئات ذات الصلة.
• مواءمة المهمة: يساعد كل مثال على قياس متطلب محدد، مثل اكتشاف الطرود التالفة في ظل إضاءة المستودعات.
• الاستقلالية: تُفصل الأمثلة عن بيانات التدريب لمنع تسرّب البيانات، الذي قد يجعل الأداء المُبلّغ عنه أعلى من حقيقته على نحو مضلل.
• قابلية التتبّع: تسجّل الفرق مصادر البيانات وظروف جمعها وقواعد وسمها والمراجعين والتغييرات. يوضح تتبّع مجموعات البيانات في MLflow كيف يمكن للتجزئات والمخططات والمصادر وسلالة مجموعة البيانات أن تدعم قابلية إعادة الإنتاج.
• التغيير المنضبط: تُحدّث الإصدارات وتُراجع. ولا تكون درجة النموذج ذات معنى إلا عند معرفة إصدار مجموعة البيانات المحدد وإعدادات التقييم.

لا تعني كلمة «ذهبية» أن مجموعة البيانات خالية من العيوب أو صحيحة إلى الأبد. فقد تتغير الظروف والتعريفات في العالم الواقعي، لذا ينبغي تدقيق المجموعة المرجعية وتحديثها من دون إعادة كتابة النتائج التاريخية خفيةً.

مجموعة البيانات الذهبية والمصطلحات ذات الصلة#

تتداخل مجموعة البيانات الذهبية مع مفاهيم مألوفة عدة، لكنها تركز على الثقة والحوكمة:

• وسم الحقيقة المرجعية هو الإجابة المقبولة لمثال واحد؛ أما مجموعة البيانات الذهبية فهي مجموعة من الأمثلة التي خضعت للمراجعة وإجاباتها المقبولة.
• تُتاح مجموعة بيانات معيارية عادةً لمقارنة الأنظمة في مهمة مشتركة. أما مجموعة البيانات الذهبية فكثيرًا ما تكون خاصة ومصممة خصيصًا لمؤسسة أو منتج أو بيئة نشر بعينها.
• توجّه بيانات التحقق اختيار النموذج وضبطه أثناء التطوير. وقد تؤدي القرارات المتكررة استنادًا إليها إلى فرط مواءمة عملية التطوير تدريجيًا.
• تُحجز بيانات الاختبار للتقييم النهائي. وغالبًا ما تؤدي مجموعة البيانات الذهبية دور مجموعة اختبار عالية الجودة أو مجموعة لاختبار الانحدار، مع أنها قد تتضمن أيضًا أقسامًا منفصلة للتطوير والاختبار النهائي.
• تُستخدم بيانات التدريب لتعليم معلمات النموذج، ويكون حجمها عادةً أكبر بكثير. وينبغي إبقاء مجموعة البيانات الذهبية خارج التدريب، ما لم تُسحب نسخة ذات إصدار محدد من التقييم عمدًا.

توصي إرشادات Google بشأن تقسيم مجموعات البيانات بإبقاء أمثلة التدريب والتحقق والاختبار منفصلة. وعندما تكون البيانات شحيحة، يمكن لتقنيات التحقق المتقاطع تحسين التقدير، لكن يظل وجود مجموعة مرجعية نهائية محمية أمرًا قيّمًا.

تطبيقات عملية#

فحص عيوب التصنيع: قد يُنشئ مصنعٌ مجموعة بيانات ذهبية من صور خضعت للمراجعة، تُظهر منتجات مقبولة وعيوبًا مؤكدة، مثل الشقوق أو المكونات المفقودة أو التجميع غير الصحيح. وتضم هذه المجموعة خطوط إنتاج متعددة، ومواضع مختلفة للكاميرات، ومواد متنوعة، وظروف إضاءة مختلفة. ويُقيَّم كل نموذج مرشح على المجموعة نفسها قبل الإطلاق. وإذا انخفض الاستدعاء بالنسبة إلى الشقوق الصغيرة، فيمكن للفريق حظر النشر حتى عندما يبدو المقياس الإجمالي مقبولًا.

مراقبة أرفف البيع بالتجزئة: قد يحتفظ بائع التجزئة بصور موثّقة للمتاجر تتضمن أرففًا مزدحمة ومساحات فارغة ومنتجات محجوبة جزئيًا وعبوات موسمية وانعكاسات. وتقيس مجموعة البيانات هذه مدى موثوقية نظام الرؤية في اكتشاف المنتجات ونفاد المخزون عبر بيئات المتاجر. وتتبع مراجعة الأداء بحسب السيناريو أو فئة المنتج الممارسة الأوسع نطاقًا المتمثلة في تحديد مجموعات البيانات ذات معدلات الخطأ المرتفعة، كما ورد في إرشادات Microsoft للذكاء الاصطناعي المسؤول.

تُظهر هذه التطبيقات سبب عدم كفاية الدقة الإجمالية وحدها. وينبغي أن تدعم مجموعة البيانات الذهبية التقييم بحسب الشرائح للفئات النادرة أو المواقع أو الأجهزة أو الظروف التي تختلف فيها عواقب الأخطاء. ويؤكد الإطار الأساسي لإدارة مخاطر الذكاء الاصطناعي الصادر عن NIST بالمثل أهمية مجموعات الاختبار الموثّقة والمقاييس المناسبة والتقييم في ظروف تشبه ظروف النشر.

إنشاء مجموعة بيانات ذهبية وصيانتها#

ابدأ بتحديد السلوك المقصود للنموذج وأنماط الإخفاق المهمة. اجمع أمثلة تمثيلية، واكتب تعليمات دقيقة للوسم، ونفّذ معايرة للمراجعين، واحسم الخلافات بالاستعانة بخبراء المجال. وأبقِ النسخ شبه المتطابقة وإطارات الفيديو المترابطة في القسم نفسه، حتى لا يعبر المحتوى المتشابه بصريًا الحد الفاصل بين التدريب والتقييم.

في مشروعات الرؤية، تدعم منصة Ultralytics إدارة مجموعات البيانات السحابية ووسمها وتدريبها ونشرها. ويتيح سير عمل الوسم للفرق إنشاء التسميات وتنقيحها، فيما تساعد طرق عرض مجموعات البيانات على فحص توزيعات الفئات والصور غير الموسومة والتقسيمات والنسخ المكررة والقيم الشاذة.

أنشئ إصدارًا لكل نسخة معتمدة، ووثّق الإضافات والحذف وتصحيحات التسميات والتغييرات في السياسات. وتوفر إرشادات NIST بشأن اختبار الذكاء الاصطناعي وتقييمه والتحقق من صحته والتثبت منه إطارًا أوسع نطاقًا لإجراء تقييم ذي معنى. وبعد النشر، قارن البيانات الواردة بالمرجع الذهبي وراقب الظروف المتغيرة؛ وتوضح إرشادات Azure لمراقبة النماذج كيف يمكن لمؤشرات الانحراف وجودة البيانات أن تكشف الحاجة إلى مراجعة المجموعة المرجعية.

تقييم نموذج رؤية#

يمكن لـ Ultralytics YOLO تقييم التنبؤات بمقارنتها بالتسميات التي خضعت للمراجعة باستخدام وضع التحقق:

from ultralytics import YOLO

# Load a pretrained object detection model
model = YOLO("yolo26n.pt")

# Evaluate predictions against a labeled reference split
metrics = model.val(data="coco8.yaml", split="val")

# Report the primary detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

يوضح سير العمل هذا دور مجموعة البيانات الذهبية على جانب النموذج: تشغيل نموذج ثابت على قسم ذي تسميات ثابتة وتسجيل مقياس قابل لإعادة الإنتاج. وفي مشروعات الإنتاج، ينبغي للفرق أيضًا فحص النتائج لكل فئة ومصفوفات الالتباس والأمثلة الصعبة وعتبات القبول الخاصة بالتطبيق قبل اعتماد الإصدار.