Conformal Prediction

التنبؤ المطابق إطار لـتكميم عدم اليقين يحوّل درجات أي نموذج مدرّب إلى مجموعات تنبؤ أو فواصل مضمونة لاحتواء الإجابة الصحيحة بمعدل يختاره المستخدم، مثل 95%. ويعيد مصنّف الصور المطابق كل تسمية تظل محتملة: تسمية واحدة للصورة الواضحة وعدة تسميات للصورة الملتبسة، بينما يعيد نموذج الانحدار المطابق فاصلاً. وينطبق الضمان على أي نموذج وأي توزيع للبيانات، شريطة أن تكون بيانات المعايرة والبيانات الجديدة قابلة للتبادل، وهو ما ينطبق على العينات المستقلة المأخوذة من المصدر نفسه. وطوّر فلاديمير فوفك وألكسندر غاميرمان وغلين شافر الطريقة منذ أواخر التسعينيات، وعرضوها في كتابهم الصادر عام 2005 التعلّم الخوارزمي في عالم عشوائي، فيما يقدم البرنامج التعليمي لعام 2021 لأناستاسيوس أنجيلوبولوس وستيفن بيتس مقدمة مبسطة إلى التنبؤ المطابق عرضاً للطرائق الحديثة المستخدمة في التعلّم الآلي.

آلية عمل التنبؤ المطابق المنقسم#

تعيد الطريقة المطابقة الأصلية الكاملة ملاءمة النموذج لكل إجابة مرشحة، وهذا بطيء جدًا بالنسبة إلى التعلّم العميق. أما التنبؤ المطابق بالتقسيم، أو الاستقرائي، الذي قدّمه هاريس بابادوبولوس وزملاؤه عام 2002، فلا يحتاج إلا إلى نموذج واحد مدرّب ومجموعة معايرة محجوبة:

1. درّب النموذج على بيانات التدريب كالمعتاد.
2. شغّله على n من أمثلة المعايرة المصنّفة التي لم يسبق له رؤيتها، واحسب درجة عدم المطابقة لكل منها؛ وهي قيمة تزداد كلما بدت الإجابة الحقيقية أقل اعتيادية للنموذج. ومن الدرجات الشائعة للمصنّف 1 ناقص الاحتمال المسند إلى الفئة الحقيقية.
3. خذ الكمية الكمية ceil((n + 1) x (1 - alpha)) / n من تلك الدرجات، وتُسمى qhat. والحد (n + 1) تصحيح للعينة المحدودة يجعل الضمان دقيقًا.
4. بالنسبة إلى مُدخل جديد، أدرج كل تسمية مرشحة لا تتجاوز درجتها qhat.

تحتوي المجموعة الناتجة على التسمية الحقيقية باحتمال لا يقل عن 1 - alpha. ولأن درجة المثال الجديد قابلة للتبادل مع درجات المعايرة n، فمن المتساوي الاحتمال أن تقع في أي رتبة بينها، ولذلك تقع عند qhat أو دونه بنسبة لا تقل عن 1 - alpha من الحالات.

ما الذي يشمله الضمان#

الضمان هامشي: فهو يصح في المتوسط على جميع المُدخلات. وقد يبالغ النموذج في التغطية للفئات السهلة ويقلّلها لفئة نادرة، لذا يعاير التنبؤ المطابق المشروط بالفئة (موندريان) قيمة qhat منفصلة لكل فئة. قابلية التبادل هي الافتراض الوحيد، وهي لا تصح عند انجراف البيانات، حين تختلف صور الإنتاج عن صور المعايرة؛ لذلك يجب أن تأتي مجموعة المعايرة من بيانات النشر، وأن تُحدّث عند تغير تلك البيانات. وينتقل تحيز مجموعة البيانات في مجموعة المعايرة مباشرةً إلى المجموعات.

حجم المجموعة هو الإشارة المفيدة. تحقق كل الإجراءات الصحيحة التغطية المستهدفة، لذا تتنافس الأساليب على تصغير مجموعاتها، ويؤدي النموذج الأكثر دقة إلى مجموعات أصغر. تستخدم مجموعات التنبؤ التكيفية (APS) ومجموعات التنبؤ التكيفية المنتظمة (RAPS)، التي اختُبرت الأخيرة على مصنّفات ImageNet، الاحتمالات التراكمية لكي يعكس حجم المجموعة صعوبة المسألة، بينما ينتج الانحدار الكمي المطابق فواصل تتسع حيث تكون البيانات مشوشة.

يختلف التنبؤ المطابق عن ثلاثة مفاهيم ذات صلة. درجة الثقة قيمة واحدة لا يرتبط بها أي ضمان. أما أساليب المعايرة مثل تحجيم درجة الحرارة، فتجعل الدرجات أكثر توافقًا مع الدقة الملحوظة، ما يقلّص المجموعات المطابقة من دون أن يضمن التغطية بمفرده. ويصف فاصل الثقة الإحصائي عدم اليقين بشأن معلمة مجتمع إحصائي مثل المتوسط، بينما تصف المجموعة المطابقة المجال الذي ستقع فيه نتيجة جديدة واحدة.

مجموعات التنبؤ في الممارسة#

فيما يلي الخطوات باستخدام scikit-learn، مع مجموعة تدريب صغيرة عمدًا كي يرتكب المصنّف أخطاء:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# Split handwritten digits into training, calibration, and test sets
X, y = load_digits(return_X_y=True)
X_train, X_rest, y_train, y_rest = train_test_split(X, y, train_size=100, random_state=0)
X_cal, X_test, y_cal, y_test = train_test_split(X_rest, y_rest, train_size=500, random_state=0)
model = LogisticRegression(max_iter=2000).fit(X_train, y_train)

# Nonconformity score: 1 minus the probability given to the true class
scores = 1 - model.predict_proba(X_cal)[np.arange(len(y_cal)), y_cal]

# Finite-sample corrected quantile for 95% coverage
alpha, n = 0.05, len(y_cal)
qhat = np.quantile(scores, np.ceil((n + 1) * (1 - alpha)) / n, method="higher")

# Prediction set: every class whose score is at most qhat
sets = 1 - model.predict_proba(X_test) <= qhat
coverage = sets[np.arange(len(y_test)), y_test].mean()
print(f"Top-1 accuracy: {model.score(X_test, y_test):.3f}")
print(f"Set coverage: {coverage:.3f}, average set size: {sets.sum(axis=1).mean():.2f}")

يكون التنبؤ الأعلى وحده صحيحًا في 91.6% من الحالات، بينما تحتوي المجموعات المطابقة على الرقم الحقيقي في 96.5% من صور الاختبار البالغ عددها 1,197، متجاوزةً الهدف البالغ 95%، وبمتوسط 1.27 تسمية. وتوفّر مكتبات مثل MAPIE هذه الخطوات للتصنيف والانحدار والسلاسل الزمنية.

التطبيقات#

• تحليل الصور الطبية: تُبيّن مجموعة من النتائج المحتملة ذات معدل خطأ معروف للأطباء في الرعاية الصحية متى يكون الفحص ملتبسًا، وتشير المجموعة ذات التسمية الواحدة إلى الحالات التي يتعامل معها النموذج بموثوقية.
• نماذج اللغة الكبيرة (LLMs): تعاير الأساليب المطابقة عدد الإجابات المأخوذة بالعينات التي ينبغي إرجاعها أو الادعاءات التي ينبغي الإبقاء عليها، لكي يتضمن الناتج إجابة صحيحة بالمعدل المحدد، مكملةً الإنتروبيا الدلالية بوصفها وسيلةً للحد من الهلوسة.
• اكتشاف الأجسام: تنشئ الهوامش المطابقة حول الصناديق المحيطة المتنبأ بها منطقةً تحتوي على الصندوق الحقيقي بالمعدل المحدد، وهو أمر مفيد لتخطيط المركبات ذاتية القيادة حول المشاة.

توفّر مصنّفات الصور المُدخل نفسه الوارد في مثال scikit-learn. وتُرجع نماذج التصنيف من Ultralytics YOLO26 متجه softmax الكامل لكل صورة في results[0].probs.data، لذا ينتج عن تقييم مجموعة محجوبة من الصور المصنّفة قيمة qhat، وتنضم إلى مجموعة التنبؤ كل فئة يكون احتمالها 1 - qhat على الأقل.