Uncertainty Quantification

قياس عدم اليقين (UQ) هو ممارسة تقدير مدى عدم يقين نموذج التعلّم الآلي بشأن كل تنبؤ، والتحقق من موثوقية تلك التقديرات. وإلى جانب التسمية أو القيمة أو المربع المحيط، يعيد النموذج الذي يستخدم قياس عدم اليقين توزيعًا احتماليًا أو فاصلًا تنبؤيًا أو مجموعة تسميات محتملة أو تباينًا. وتستخدم الأنظمة هذه التقديرات لتحديد متى تتصرف تلقائيًا، ومتى تحيل الأمر إلى شخص، وأي بيانات جديدة ينبغي جمعها. ودرجة الثقة أحد هذه التقديرات؛ كما يسأل قياس عدم اليقين عما إذا كانت هذه الدرجة معايرة، أي إن التنبؤات ذات الثقة البالغة 80% تكون صحيحة نحو 80% من الوقت.

عدم اليقين العشوائي والمعرفي#

ينشأ عدم اليقين في التنبؤ من مصدرين، وهو تقسيم أدخله أليكس كيندال ويارين غال إلى التعلّم العميق للرؤية في ورقتهما لعام 2017 ما أوجه عدم اليقين التي نحتاج إليها في التعلّم العميق البايزي لرؤية الحاسوب؟:

• عدم اليقين العشوائي: ضوضاء في البيانات نفسها، مثل ضبابية الحركة أو ضوضاء المستشعر أو الحجب أو التسميات التي يختلف المعلّقون عليها. ولا تزيله زيادة بيانات التدريب، لأن المدخل لا يحتوي على المعلومات المفقودة. ويمكن للنموذج تعلّمه والتنبؤ به كمخرج إضافي، مثل تباين لكل تقدير للعمق.
• عدم اليقين المعرفي: نقص معرفة النموذج، ويكون مرتفعًا للمدخلات التي تختلف عن كل ما في بيانات التدريب، مثل كاميرا أو فصل أو نوع جسم جديد. ويتراجع عند إضافة بيانات ذات صلة، لذا يشير إلى انحراف البيانات والمدخلات الخارجة عن التوزيع.

يحدد هذا التمييز الإجراء المناسب للتنبؤ غير اليقيني:

طرائق تقدير عدم اليقين#

• الاحتمالات المتوقعة: يُعد مخرج softmax للمصنّف أرخص التقديرات، لكن دراسة أجراها تشوان غو وزملاؤه عام 2017 وجدت أن الشبكات العميقة الحديثة تبالغ منهجيًا في الثقة. ويصحح تحجيم درجة الحرارة على بيانات محجوزة جانبًا قدرًا كبيرًا من هذا التفاوت.
• إسقاط مونت كارلو: يُبقي الإسقاط مفعّلًا أثناء الاستدلال، ويشغّل المدخل عدة مرات، مع اعتبار تشتت المخرجات تقديرًا بايزيًا تقريبيًا لعدم اليقين، كما أظهر يارين غال وزوبين غهرماني عام 2016.
• المجموعات العميقة: تدرّب عدة نسخ من شبكة بتهيئات عشوائية مختلفة، وتقيس اختلافها؛ وهي طريقة قدّمها بالاجي لاكشمينارايانان وزملاؤه في DeepMind عام 2017. وصمدت المجموعات أمام تحوّل مجموعات البيانات أفضل من غيرها في مقارنة واسعة لأساليب قياس عدم اليقين أجرتها Google عام 2019.
• التنبؤ المطابق: يغلّف أي نموذج لإنتاج مجموعات تنبؤ أو فواصل تحتوي على الإجابة الصحيحة بمعدل محدد، مثل 95%.
• الإنتروبيا الدلالية: تسحب عدة إجابات من نموذج لغوي كبير (LLM)، وتقيس عدد المعاني المختلفة التي تعبّر عنها، وهي إشارة لاكتشاف الهلوسات.

تُظهر مجموعة عميقة في مهمة انحدار أحادية البعد عدم اليقين المعرفي مباشرةً:

import numpy as np
from sklearn.neural_network import MLPRegressor

# Noisy samples of sin(x), observed only between -3 and 3
rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, (200, 1))
y = np.sin(x).ravel() + rng.normal(0, 0.1, 200)

# Deep ensemble: the same network trained from five random initializations
ensemble = [MLPRegressor(hidden_layer_sizes=(32, 32), max_iter=3000, random_state=seed).fit(x, y) for seed in range(5)]

# Members agree where data exists and diverge where it does not
for x_new in (1.0, 8.0):
    preds = np.array([m.predict([[x_new]])[0] for m in ensemble])
    print(f"x={x_new}: mean {preds.mean():+.2f}, std {preds.std():.2f}")

عند x = 1، داخل نطاق التدريب، تتنبأ الشبكات الخمس بمتوسط قدره 0.86 مقابل قيمة حقيقية قدرها 0.84، وانحراف معياري قدره 0.01. وعند x = 8، بعيدًا خارج النطاق، تتنبأ بقيمة ‎-1.17 مقابل قيمة حقيقية قدرها 0.99، ويقفز الانحراف المعياري إلى 0.59، فتشير المجموعة إلى التنبؤ الخاطئ تحديدًا.

تقييم تقديرات عدم اليقين#

يُتحقق من المعايرة باستخدام مخطط موثوقية يجمع التنبؤات في فئات حسب الثقة، ويرسم الدقة الفعلية لكل فئة، ويُلخّصها خطأ المعايرة المتوقع أو درجة بريير. وتُقيّم الفواصل التنبؤية بالتغطية، أي نسبة القيم الحقيقية الواقعة ضمنها، وبالعرض، لأن الفاصل الواسع بما يكفي ليغطي كل شيء لا يحمل أي معلومات. ويُقيّم اكتشاف المدخلات الخارجة عن التوزيع باستخدام المساحة تحت منحنى ROC للتمييز بين المدخلات المألوفة وغير المألوفة، كما تعرض المعايير الآن المعايرة إلى جانب الدقة: فقد وجدت اختبار البشرية الأخير أن أخطاء معايرة النماذج اللغوية الكبيرة عند إطلاقها تراوحت بين 73% و89%.

التطبيقات#

• تحليل الصور الطبية: تحيل النماذج التشخيصية في الرعاية الصحية الصور ذات عدم اليقين المرتفع إلى اختصاصي أشعة، بحيث تشمل الأتمتة الحالات الواضحة ويراجع الأشخاص الحالات الملتبسة.
• المركبات ذاتية القيادة: توسّع أنظمة الإدراك هوامش السلامة أو تعيد التحكم إلى السائق عند ارتفاع عدم اليقين في العمق أو الاكتشاف، كما يحدث في الضباب أو وهج الضوء.
• التعلّم النشط: يحدد عدم اليقين الصور غير المصنفة التي تستحق التعليق التوضيحي، لأن العينات التي يقل يقين النموذج بشأنها هي الأكثر إفادة له.

يُستخدم عدم اليقين بأكثر الطرق مباشرةً في مسارات الكشف ضمن التعلّم النشط. إذ يشغّل قالب «جمع الاكتشافات غير اليقينية» في وكلاء منصة Ultralytics صور مجموعة البيانات عبر نموذج YOLO26 منشور، وينسخ كل صورة تضم اكتشافًا واحدًا على الأقل تقع ثقته ضمن نطاق محدد، مثل 0.25 إلى 0.5، إلى مجموعة بيانات للمراجعة، من دون تسميات، لتكون جاهزة للتعليق التوضيحي وإعادة التدريب.