Confidence Interval
تقيس فترة الثقة عدم اليقين الناتج عن أخذ العينات في مقاييس النموذج مثل الدقة وmAP. وتصف فترة 95% التغطية على المدى الطويل.
فترة الثقة (CI) هي نطاق يُحسب من عينة باستخدام طريقة صُممت لالتقاط قيمة مجهولة لمجتمع إحصائي بمعدل محدد. في تعلم الآلة، تقدّر نتيجة الاختبار أداء نموذج ثابت على أنواع المدخلات التي تمثلها مجموعة الاختبار. وتبيّن الفترة مدى دقة تقدير هذا الأداء استنادًا إلى عينة محدودة.
ما الذي تعنيه فترة الثقة 95%؟#
إذا سحبت عينات مماثلة من بيانات الاختبار مرارًا وحسبت فترة بالطريقة نفسها في كل مرة، فإن إجراءً بتغطية 95% سيشمل المقياس الحقيقي في نحو 95 فترة من كل 100 على المدى الطويل. المقياس ثابت؛ أما حدود الفترة فتتغير من عينة إلى أخرى. وقد قدّم Jerzy Neyman هذا الإطار التكراري في بحثه عن أخذ العينات المنشور عام 1934.
يؤدي ارتفاع مستوى الثقة عادةً إلى فترة أوسع عند استخدام البيانات نفسها. ويؤدي ازدياد عدد المشاهدات المستقلة عمومًا إلى تضييق الفترة عند مستوى ثقة ثابت. ويقيس عرض الفترة دقة أخذ العينات: فقد تكون الفترة ضيقة حتى عندما يجعل تحيز مجموعة البيانات عينة الاختبار غير ممثلة لظروف النشر.
كيفية حساب فترة الثقة#
بالنسبة إلى متوسط عينة، من الصيغ الشائعة التقدير ± هامش الخطأ، حيث يساوي هامش الخطأ القيمة الحرجة مضروبة في الخطأ المعياري. ويقيس الخطأ المعياري مدى تغير التقدير عبر العينات المتكررة. وبالنسبة إلى المشاهدات المستقلة من المجتمع الإحصائي نفسه، يُحسب الخطأ المعياري المقدّر للمتوسط بقسمة الانحراف المعياري للعينة على الجذر التربيعي لحجم العينة. وتستخدم فترة طبيعية ثنائية الطرف بنسبة 95% قيمة حرجة قدرها 1.96، تاركةً 2.5% في كل ذيل. وتستخدم فترة t لعينة واحدة قيمة حرجة من توزيع t لستيودنت بدرجات حرية تساوي حجم العينة ناقص واحد. وتكون تغطيتها دقيقة للمشاهدات المستقلة المأخوذة من المجتمع الطبيعي نفسه.
تعتمد الطريقة على المقياس وكيفية أخذ عينات بيانات الاختبار:
- دقة التصنيف: عند استخدام صور مستقلة واحتمال مشترك للتصنيف الصحيح، تستعين فترة ويلسون للدرجة بعدد التنبؤات الصحيحة وحجم مجموعة الاختبار لتقدير ذلك الاحتمال. وتظل الحدود بين 0% و100%.
- متوسط الدقة الوسيط (mAP): استخدم إعادة المعاينة bootstrap للمقياس الكامل عبر سحب وحدات الاختبار مع الإرجاع وإعادة حساب mAP لكل سحبة. وتستخدم فترة المئينات 95% المئينين 2.5 و97.5 من تلك الدرجات. وفي إعادة معاينة على مستوى الصور، تُضمَن تنبؤات كل صورة وشروحها التوضيحية معًا.
مثال تطبيقي: دقة التعرّف على الأرقام المكتوبة بخط اليد#
يدرّب مثال تصنيف الأرقام في scikit-learn آلة متجه الدعم على النصف الأول من صور الأرقام المضمّنة، ثم يقيّمها على النصف الثاني. ويستخدم الشيفرة التقسيم نفسه وتحسب فترة ويلسون باستخدام واجهة برمجة التطبيقات لنسبة ذي الحدين في SciPy.
from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC
X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])
correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")يصنّف النموذج 871 صورة من أصل 899 تصنيفًا صحيحًا: دقة تبلغ 96.9% مع فترة ويلسون بنسبة 95% من 95.5% إلى 97.8% وفق نموذج الصور المستقلة. وتأتي الصور المضمّنة من مجموعة اختبار الأرقام المكتوبة بخط اليد التابعة لـUCI، التي جُمعت من 13 كاتبًا. وقد تتشارك الصور التي كتبها الشخص نفسه سمات خطية، لذا يتطلب تقدير الدقة لدى كتّاب جدد مراعاة هذا التجميع.
فترات الثقة والدرجات والتنبؤات#
درجة الثقة هي مخرج النموذج لتنبؤ واحد. في وضع التنبؤ في Ultralytics YOLO، تحدد conf الحد الأدنى للدرجة اللازمة للاحتفاظ بالكشف. وتقيس فترة الثقة لـالاستدعاء عند ذلك الحد عدم اليقين في تقدير الاستدعاء المستند إلى عينة الاختبار.
تستهدف فترة التنبؤ مشاهدة مستقبلية. فعلى سبيل المثال، استُخدم التنبؤ المطابقي لإنشاء فترات تنبؤ لكل بكسل على KITTI لتقديرات العمق في إطارات جديدة.
مقارنة نماذج الرؤية الحاسوبية#
تقيس فترة نموذج ثابت عدم اليقين الناجم عن أخذ عينات مجموعة الاختبار. وتشمل مقارنة مسارات التدريب أيضًا التباين الناجم عن عوامل مثل التهيئة العشوائية وضبط المعلمات الفائقة، ويمكن قياس ذلك عبر عمليات تدريب متكررة.
عند تشغيل كاشفي الأجسام على مجموعة الاختبار نفسها، تسحب إعادة المعاينة bootstrap المقترنة الوحدات نفسها لكلا النموذجين وتحسب الفرق في mAP لكل سحبة. ويمكن سحب الصور الثابتة المستقلة واحدة تلو الأخرى. وعندما تحتوي مقاطع الفيديو المستقلة على إطارات مترابطة، فإن سحب مقاطع الفيديو كاملة يحافظ على الترابط بين الإطارات. وقد يؤدي التعامل مع الإطارات المتجاورة على أنها مستقلة إلى جعل الفترة أضيق من اللازم. ولأن الاقتران يحافظ على العلاقة بين النتائج للمدخلات نفسها، فقد تستبعد فترة فرق mAP الصفر حتى عندما تتداخل فترتا الثقة لكل نموذج على حدة.










