Golden Dataset

مجموعة البيانات الذهبية هي مجموعة أمثلة تم انتقاؤها بعناية، وتسميتها بدقة، وتمثيلها، وتُستخدم مرجعاً موثوقاً لتقييم نظام ذكاء اصطناعي. فبدلاً من تعظيم الحجم، تعطي الأولوية للصحة، والتغطية، والصلة بالتطبيق المستهدف. تستخدمها الفرق كـ "مفتاح إجابة" ثابت لمقارنة النماذج، والتحقق من التراجعات، والتحقيق في الإخفاقات، وتحديد ما إذا كان النظام جاهزاً للنشر.

في machine learning، تُعد "مجموعة البيانات الذهبية" مصطلحاً هندسياً غير رسمي وليست نوعاً قياسياً عالمياً لبيانات التدريب. تعتمد محتوياتها الدقيقة على المهمة: صور تحتوي على مربعات إحاطة محققة لاكتشاف الكائنات، أو مطالبات بردود معتمدة لنموذج لغوي، أو معاملات بنتائج مؤكدة لاكتشاف الاحتيال.

ما الذي يجعل مجموعة البيانات ذهبية#

تحتوي مجموعة البيانات الذهبية على مدخلات بالإضافة إلى مخرجات متوقعة موثوقة، وغالباً ما يُطلق عليها ground truth. في الرؤية الحاسوبية، قد تكون هذه المخرجات تسميات فئات، أو مربعات إحاطة، أو أقنعة تجزئة، أو نقاط رئيسية يتم إنتاجها من خلال data annotation صارم.

خصائصها الرئيسية هي:

• دقة التسمية: يتحقق خبراء المجال أو المراجعون المدربون من التسميات التوضيحية باستخدام إرشادات واضحة. يتم حل الأمثلة الغامضة باستمرار بدلاً من تركها للتفسير الفردي.
• التغطية التمثيلية: تعكس مجموعة البيانات ظروف الإنتاج المهمة، بما في ذلك الحالات الشائعة، والأمثلة الصعبة، والأحداث النادرة، والمجموعات ذات الصلة بالمستخدمين أو البيئة.
• مواءمة المهام: يساعد كل مثال في قياس متطلبات محددة، مثل اكتشاف الحزم التالفة تحت إضاءة المستودع.
• الاستقلالية: يتم فصل الأمثلة عن بيانات التدريب لمنع data leakage، مما قد يجعل الأداء المبلغ عنه مرتفعاً بشكل مضلل.
• إمكانية التتبع: تسجل الفرق مصادر البيانات، وظروف الجمع، وقواعد التسمية، والمراجعين، والتغييرات. يوضح MLflow dataset tracking كيف يمكن للقيم المجزأة، والمخططات، والمصادر، ونسب مجموعة البيانات دعم إمكانية التكرار.
• التغيير الخاضع للتحكم: تتم خزن التحديثات في إصدارات ومراجعتها. يكون لدرجة النموذج معنى فقط عندما يتم معرفة إصدار مجموعة البيانات الدقيق وإعدادات التقييم.

لا تعني كلمة "ذهبية" أنها خالية من الأخطاء أو صحيحة بشكل دائم. يمكن أن تتغير الظروف والتعاريف في العالم الحقيقي، لذا يجب تدقيق مجموعة المراجع وتحديثها دون إعادة كتابة النتائج التاريخية بصمت.

مجموعة البيانات الذهبية مقابل المصطلحات ذات الصلة#

تتداخل مجموعة البيانات الذهبية مع العديد من المفاهيم المألوفة ولكنها تؤكد على الثقة والحوكمة:

• تسمية الحقيقة الأرضية هي الإجابة المقبولة لمثال واحد؛ ومجموعة البيانات الذهبية هي مجموعة من الأمثلة التي تمت مراجعتها وإجاباتها المقبولة.
• غالباً ما تتم مشاركة benchmark dataset لمقارنة الأنظمة في مهمة مشتركة. غالباً ما تكون مجموعة البيانات الذهبية خاصة ومصممة خصيصاً لمؤسسة أو منتج أو بيئة نشر واحدة.
• تُوجه Validation data اختيار النموذج وضبطه أثناء التطوير. يمكن أن تتسبب القرارات المتكررة المستندة إليها في فرط تخصيص عملية التطوير تدريجياً.
• يتم الاحتفاظ بـ Test data للتقييم النهائي. غالباً ما تعمل مجموعة البيانات الذهبية كمجموعة اختبار أو تراجع عالية الجودة، على الرغم من أنها قد تحتوي أيضاً على أجزاء تطوير واختبار نهائية منفصلة.
• تعلم بيانات التدريب معاملات النموذج وعادة ما تكون أكبر بكثير. يجب أن تبقى مجموعة البيانات الذهبية خارج التدريب ما لم يتم سحب نسخة مجدولة عمداً من التقييم.

توصي Google guidance on dataset splitting بالحفاظ على أمثلة التدريب والتحقق والاختبار متميزة. عندما تكون البيانات شحيحة، يمكن أن تحسن cross-validation techniques التقدير، لكن مجموعة مرجعية نهائية محمية تظل ذات قيمة.

تطبيقات العالم الحقيقي#

فحص عيوب التصنيع: قد ينشئ المصنع مجموعة بيانات ذهبية من الصور التي تمت مراجعتها والتي تُظهر منتجات مقبولة وعيوباً مؤكدة مثل الشقوق، أو المكونات المفقودة، أو التجميع غير الصحيح. وهي تشمل خطوط إنتاج متعددة، ومواضع الكاميرات، والمواد، وظروف الإضاءة. يتم تقييم كل نموذج مرشح على نفس المجموعة قبل الإصدار. إذا انخفض الاستدعاء للشقوق الصغيرة، فيمكن للفريق حظر النشر حتى عندما تبدو المقياس الإجمالي مقبولة.

مراقبة أرفف التجزئة: قد يحتفظ بائع التجزئة بصور متجر تم التحقق منها تحتوي على أرفف مزدحمة، ومساحات فارغة، ومنتجات مخفية جزئياً، وعبوات موسمية، وانعكاسات. تقيس مجموعة البيانات هذه ما إذا كان نظام الرؤية يكتشف بنجاح المنتجات وفجوات المخزون عبر بيئات المتجر. تتبع مراجعة الأداء حسب السيناريو أو فئة المنتج الممارسة الأوسع المتمثلة في العثور على مجموعات الأخطاء العالية الموصوفة في Microsoft’s responsible AI guidance.

توضح هذه التطبيقات سبب عدم كفاية الدقة الإجمالية وحدها. يجب أن تدعم مجموعة البيانات الذهبية التقييم المستند إلى الشرائح للفئات النادرة، أو المواقع، أو الأجهزة، أو الظروف التي تحمل فيها الأخطاء عواقب مختلفة. تؤكد NIST AI Risk Management Framework Core بالمثل على مجموعات الاختبار الموثقة، والمقاييس المناسبة، والتقييم في ظل ظروف تشبه النشر.

بناء وصيانة مجموعة بيانات ذهبية#

ابدأ بتحديد السلوك المقصود للنموذج وأنماط الفشل الهامة. اجمع أمثلة تمثيلية، واكتب تعليمات تسمية دقيقة، وقم بتشغيل معايرة المراجع، وقم بحل الخلافات مع خبراء المجال. احتفظ بالتكرارات القريبة وإطارات الفيديو ذات الصلة في نفس الانقسام حتى لا يتمكن المحتوى المتشابه بصرياً من تجاوز حد التدريب والتقييم.

لمشاريع الرؤية، يدعم Ultralytics Platform إدارة مجموعة البيانات السحابية، والتسمية، والتدريب، والنشر. تُمكّن annotation workflow الخاصة به الفرق من إنشاء التسميات وتحسينها، بينما تساعد عروض مجموعة البيانات في فحص توزيعات الفئات، والصور غير المسماة، والانقسامات، والتكرارات، والقيم المتطرفة.

قم بإنشاء إصدار لكل إصدار معتمد وقم بتوثيق الإضافات، عمليات الإزالة، تصحيحات التسمية، وتغييرات السياسة. توفر NIST guidance on AI testing, evaluation, validation, and verification إطاراً أوسع للتقييم الهادف. بعد النشر، قارن البيانات الواردة بالمرجع الذهبي وراقب الظروف المتغيرة؛ توضح Azure model monitoring guidance كيف يمكن لإشارات الانحراف وجودة البيانات الكشف عن متى تحتاج مجموعة مرجعية إلى مراجعة.

تقييم نموذج رؤية#

يمكن لـ Ultralytics YOLO تقييم التنبؤات مقابل التسميات التي تمت مراجعتها باستخدام Validation mode:

from ultralytics import YOLO

# Load a pretrained object detection model
model = YOLO("yolo26n.pt")

# Evaluate predictions against a labeled reference split
metrics = model.val(data="coco8.yaml", split="val")

# Report the primary detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

يوضح هذا سير العمل دور جانب النموذج لمجموعة بيانات ذهبية: تشغيل نموذج ثابت مقابل انقسام مصنف ثابت وتسجيل مقياس قابل للتكرار. في مشاريع الإنتاج، يجب على الفرق أيضاً فحص نتائج كل فئة، ومصفوفات الارتباك، والأمثلة الصعبة، وعتبات القبول الخاصة بالتطبيق قبل الموافقة على الإصدار.