Precision-Recall Curve

منحنى الدقة والاستدعاء رسم بياني يوضح تغير دقة النموذج واستدعائه مع تغير عتبة القرار. يُمثَّل الاستدعاء على المحور الأفقي، والدقة على المحور الرأسي. تنتج كل نقطة تشغيل مقاسة عن عتبة تحدد عدد الحالات الإيجابية التي يكتشفها النموذج ومدى موثوقية تنبؤاته الإيجابية. يساعد المنحنى على تقييم المصنفات والكواشف عندما تختلف تكلفة الإنذارات الكاذبة والحالات التي لم تُكتشف.

آلية عمل منحنى الدقة والاستدعاء#

الدقة هي نسبة التنبؤات الإيجابية الصحيحة: TP / (TP + FP). أما الاستدعاء، ويُسمى أيضًا الحساسية، فهو نسبة الحالات الإيجابية الفعلية التي عُثر عليها: TP / (TP + FN). يشير TP إلى الإيجابيات الحقيقية، وFP إلى الإيجابيات الكاذبة، وFN إلى السلبيات الكاذبة، وهي النتائج التي تُحصى في مصفوفة الالتباس.

يؤدي تغيير عتبة الثقة عبر درجات التنبؤ إلى إنتاج أزواج من الدقة والاستدعاء. يؤدي خفض العتبة إلى قبول مزيد من التنبؤات، لذلك يزداد الاستدعاء أو يظل ثابتًا. وقد ترتفع الدقة أو تنخفض مع دخول التنبؤات الصحيحة والخاطئة إلى المجموعة، ما ينتج منحنى على شكل درجات.

قدّم Cyril Cleverdon مخططات الاستدعاء مقابل الملاءمة في تقرير كرانفيلد لعام 1962، مؤسسًا بذلك الجذور المرتبطة باسترجاع المعلومات لتقييم الدقة والاستدعاء. في البحث عن المستندات، تُعد المستندات ذات الصلة التي جرى استرجاعها إيجابيات حقيقية، بينما تُعد المستندات غير ذات الصلة التي جرى استرجاعها إيجابيات كاذبة.

تفسير المنحنى وخط الأساس#

يشير المنحنى الذي يحافظ على دقة مرتفعة مع اقتراب الاستدعاء من 1 إلى أداء قوي. وعندما تتقاطع المنحنيات، يكون أداء كل نموذج أفضل في منطقة تشغيل مختلفة. ويُظهر الانخفاض الحاد في الدقة الموضع الذي تؤدي فيه التنبؤات الإضافية إلى إدخال عدد كبير من الإنذارات الكاذبة.

خط الأساس لترتيب عشوائي لا يحمل معلومات هو معدل انتشار الفئة الإيجابية، أي نسبة الأمثلة المصنفة على أنها إيجابية. إذا كانت نسبة الإيجابيات 1%، تكون دقة خط الأساس 0.01. يؤدي تغير معدل الانتشار إلى تغير الدقة، لذا يُعد مجتمع التقييم جزءًا من النتيجة.

يرسم منحنى خاصية تشغيل المستقبل (ROC) الاستدعاء مقابل معدل الإيجابيات الكاذبة، FP / (FP + TN)، حيث يشير TN إلى السلبيات الحقيقية. ويعبّر تقييم الدقة والاستدعاء مباشرةً عن نسبة التنبيهات الصحيحة، ما يجعله مفيدًا عند ندرة الإيجابيات. وقد تهيمن الفئة الأكبر على الدقة الإجمالية.

اختيار عتبة التشغيل#

حدّد نقطة تشغيل على بيانات التحقق وفقًا لتكاليف الأخطاء. عند اشتراط حد أدنى للاستدعاء، اختر النقطة الممكنة ذات أعلى دقة؛ وعند اشتراط حد أدنى للدقة، اختر النقطة الممكنة ذات أعلى استدعاء. ويمنح تعظيم درجة F1، وهي المتوسط التوافقي للدقة والاستدعاء، المقياسين وزنًا متساويًا. وتُستمد قيم العتبة من الدرجات الأساسية أو من مخططات الدقة مقابل الثقة والاستدعاء مقابل الثقة.

تتيح تنبؤات Ultralytics YOLO اختيار العتبة عبر conf، الذي يرشّح الكشوف ذات الدرجات. في تقييم Academy لـYOLO26n على أربع صور تحقق من COCO8 عند IoU بقيمة 0.50، أدى رفع conf من 0.10 إلى 0.25 إلى تغيير دقة/استدعاء فئة الأشخاص المستوفاة إلى 0.63/0.80 بدلًا من 1.00/0.54: انخفضت الإنذارات الكاذبة، لكن زاد عدد الأشخاص الذين لم يُكتشفوا.

أبقِ العتبة المحددة ثابتة عند تقييم بيانات الاختبار المنفصلة.

رسم منحنى الدقة والاستدعاء في Python#

يميّز هذا المثال الرقم 9 المكتوب بخط اليد عن الأرقام الأخرى باستخدام الصور المضمّنة والانحدار اللوجستي. ثبّت التبعيات باستخدام pip install scikit-learn matplotlib، ثم استخدم واجهة برمجة التطبيقات لرسم منحنى الدقة والاستدعاء في scikit-learn.

import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import PrecisionRecallDisplay
from sklearn.model_selection import train_test_split

X, digits = load_digits(return_X_y=True)
y = digits == 9
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=42)
model = LogisticRegression(max_iter=2000)
model.fit(X_train, y_train)
PrecisionRecallDisplay.from_estimator(model, X_test, y_test)
plt.savefig("precision_recall_curve.png", bbox_inches="tight")

يعرض الرسم المحفوظ الدقة عند كل مستوى ممكن للاستدعاء لصور الأرقام المحجوزة للاختبار.

كشف الأجسام ومتوسط الدقة#

في كشف الأجسام، يُحتسب الصندوق المحيط المتنبأ به إيجابيةً حقيقيةً عندما يطابق جسمًا مشروحًا غير مُسند من الفئة نفسها عند عتبة التقاطع على الاتحاد (IoU) أو أعلى منها. وتُحتسب التنبؤات غير المطابقة، بما فيها التنبؤات المكررة، إيجابيات كاذبة. ويكون لكل فئة منحنى مستقل مع تثبيت شرط IoU.

يلخّص متوسط الدقة (AP) المنحنى عبر مستويات الاستدعاء. وتستخدم المساحة تحت منحنى الدقة والاستدعاء بطريقة شبه المنحرف ومتوسط الدقة غير المستوفى قواعد تكامل مختلفة. ويحسب متوسط متوسط الدقة (mAP) متوسط قيم AP للفئات. وفي مقاييس أداء الكشف، يستخدم mAP₅₀ قيمة IoU تساوي 0.50، بينما يحسب mAP50–95 المتوسط عبر عشر عتبات IoU من 0.50 إلى 0.95 بزيادات مقدارها 0.05.