Concept Bottleneck Models

نموذج عنق الزجاجة المفاهيمي (CBM) هو شبكة عصبية تتنبأ أولًا بمجموعة من المفاهيم ذات الأسماء البشرية انطلاقًا من مدخلاتها، ثم تتنبأ بالتسمية النهائية باستخدام تلك المفاهيم وحدها. في صورة أشعة سينية للركبة، قد تشمل المفاهيم تضيق المسافة المفصلية والنتوءات العظمية؛ وفي صورة طائر، لون الجناح وشكل المنقار. ولأن كل تنبؤ يمر عبر هذه الطبقة الضيقة ذات التسميات، يستطيع الشخص معرفة المفاهيم التي قادت إلى القرار وتصحيح مفهوم خاطئ لتغيير النتيجة، ما يجعل نماذج عنق الزجاجة المفاهيمي شكلًا من الذكاء الاصطناعي القابل للتفسير (XAI) المدمج في البنية. وقد قدّم بانغ وي كوه وثاو نغوين ويو سيانغ تانغ وستيفن موسمان وإيما بيرسون وبين كيم وبيرسي ليانغ من ستانفورد وGoogle هذا المصطلح في نماذج عنق الزجاجة المفاهيمي في مؤتمر ICML 2020، وأظهروا دقة تنافسية مع النماذج التقليدية من البداية إلى النهاية في مهمتين: تصنيف خشونة مفصل الركبة من صور الأشعة السينية وتحديد أنواع الطيور.

كيفية عمل نماذج عنق الزجاجة للمفاهيم#

يتألف نموذج عنق الزجاجة المفاهيمي (CBM) من جزأين: متنبئ بالمفاهيم يحوّل المدخل، مثل الصورة، إلى قيم للمفاهيم، ومتنبئ بالتسمية يحوّل قيم المفاهيم إلى المخرج. وقارن كوه وزملاؤه ثلاث طرق لتدريبهما:

• مستقل: يتعلّم متنبئ المفاهيم من شروح المفاهيم، بينما يتعلّم متنبئ التسمية من المفاهيم الحقيقية، كلٌّ على حدة.
• تتابعي: يُدرّب متنبئ المفاهيم أولًا، ثم يتعلّم متنبئ التسمية من مفاهيمه المتوقعة.
• مشترك: يُدرّب الجزآن معًا على مجموع موزون لخسارة المفاهيم وخسارة التسميات.

في بيانات مبادرة التهاب المفاصل العظمي، التي تضم 36,369 صورة أشعة سينية للركبة مصنفة بحسب درجة الشدة لكيلغرين-لورنس، كانت المفاهيم 10 نتائج ترتيبية يقيّمها اختصاصيو الأشعة بالفعل، مثل تضيق المسافة المفصلية والنتوءات العظمية وتصلب العظام. وفي مجموعة بيانات Caltech-UCSD Birds التي تضم 11,788 صورة لـ200 نوع، كانت المفاهيم 112 سمة ثنائية، مثل لون الجناح وشكل المنقار. ويحتاج كل مثال تدريبي إلى شروح للمفاهيم والتسميات معًا، وهو التكلفة الرئيسية لهذا النهج.

يتيح عنق الزجاجة التدخل وقت الاختبار: فعندما يلاحظ خبير أن مفهومًا متوقعًا غير صحيح، يستبدله بالقيمة الصحيحة، ويعيد متنبئ التسمية حساب المخرج. وفي مهمة صور الأشعة السينية، أدى إدخال القيم الحقيقية لمفهومين فقط إلى خفض خطأ درجة الشدة المتوقعة من أكثر من 0.4 إلى نحو 0.3 وفق الجذر التربيعي لمتوسط مربع الخطأ.

يدرّب هذا المثال باستخدام PyTorch نموذج عنق زجاجة مفاهيمي (CBM) مستقلًا على بيانات تجريبية تولّد فيها ستة مفاهيم ثنائية مدخلات مشوشة، وتعتمد فيها التسمية على المفاهيم وحدها، ثم يقيس دقة التسميات بينما يزوّد خبير النموذج بالقيم الحقيقية لأقل المفاهيم يقينًا:

import torch
from torch import nn

torch.manual_seed(0)
# Toy data: 6 binary concepts generate noisy 20-D inputs, and the label depends only on the concepts
concepts = torch.randint(0, 2, (3000, 6)).float()
inputs = concepts @ torch.randn(6, 20) + 2 * torch.randn(3000, 20)
labels = (concepts @ torch.tensor([3.0, 2, 2, 1, 1, 1]) >= 5).float()
train, test = slice(0, 2000), slice(2000, None)

# Independent training: inputs -> concepts, and concepts -> label, each against its own ground truth
concept_model, label_model = nn.Linear(20, 6), nn.Linear(6, 1)
optimizer = torch.optim.Adam([*concept_model.parameters(), *label_model.parameters()], lr=0.05)
bce = nn.functional.binary_cross_entropy_with_logits
for _ in range(500):
    optimizer.zero_grad()
    loss = bce(concept_model(inputs[train]), concepts[train]) + bce(label_model(concepts[train])[:, 0], labels[train])
    loss.backward()
    optimizer.step()

with torch.no_grad():
    probs = concept_model(inputs[test]).sigmoid()
    print(f"Concept accuracy: {((probs > 0.5) == concepts[test]).float().mean():.3f}")
    for k in range(4):
        # Test-time intervention: replace the k least certain predicted concepts with their true values
        uncertain = (probs - 0.5).abs().argsort(dim=1)[:, :k]
        fixed = probs.scatter(1, uncertain, concepts[test].gather(1, uncertain))
        accuracy = ((label_model(fixed)[:, 0] > 0) == labels[test].bool()).float().mean()
        print(f"Intervene on {k} of 6 concepts: label accuracy {accuracy:.3f}")

يصيب متنبئ المفاهيم 0.834 من أصل 6,000 مفهوم اختباري، ويصنّف نموذج عنق الزجاجة المفاهيمي (CBM) 0.819 من أصل 1,000 مثال اختباري على نحو صحيح. ويؤدي تزويد النموذج بالقيم الحقيقية لأقل مفهوم أو مفهومين أو ثلاثة مفاهيم يقينًا في كل مثال إلى رفع الدقة إلى 0.861 و0.915 و0.951، من دون تغيير أي من النموذجين.

مجالات استخدام نماذج عنق الزجاجة المفاهيمي (CBM)#

تلائم نماذج عنق الزجاجة المفاهيمي المجالات التي يستند فيها الخبراء أصلًا إلى نتائج مسماة. ففي تحليل الصور الطبية، استخدمت دراسة صور الأشعة السينية أعلاه النتائج نفسها التي يسجلها اختصاصيو الأشعة، لذا يستطيع الطبيب التحقق من كل نتيجة. وتتبّع مراقبة السلامة البنية نفسها: إذ يكتشف نموذج Ultralytics YOLO26 المدرّب على مجموعة بيانات Construction-PPE فئات مسماة مثل helmet وno_helmet وvest وno_boots، وتصبح قاعدة الامتثال التي تقرأ هذه الاكتشافات وحدها عنق زجاجة مفاهيميًا يستطيع المراجع تتبّع قراره إلى عنصر محدد مفقود.

خففت الأبحاث اللاحقة شرط التعليقات التوضيحية. إذ تنشئ نماذج عنق الزجاجة المفاهيمي من دون تسميات قائمة مفاهيم باستخدام نموذج لغوي، وتقيّم المفاهيم باستخدام CLIP، ما يوسّع الفكرة لتشمل ImageNet من دون تسميات للمفاهيم؛ كما تحوّل نماذج عنق الزجاجة المفاهيمي اللاحقة نموذجًا مدرّبًا بالفعل عبر إسقاط تضميناته على اتجاهات المفاهيم.

القيود#

نادرًا ما تشمل مجموعات المفاهيم كل ما يحدد التسمية، وهذا يضع حدًا لدقة نموذج عنق الزجاجة المفاهيمي (CBM). وعندما يتلقى متنبئ التسميات احتمالات المفاهيم بدلًا من قيمها المحددة، قد تحمل تلك الاحتمالات معلومات إضافية عن التسمية تتجاوز معنى كل مفهوم، ويُسمى هذا الأثر تسرّب المفاهيم، ما يقلل موثوقية التفسيرات والتدخلات. وتمثّل نماذج تضمين المفاهيم كل مفهوم بمتجه متعلَّم للحفاظ على دقة عالية مع دعم التدخل. وتؤدي المفاهيم سيئة التعريف أو المترابطة إلى تفسيرات غير موثوقة، كما تنقل التعليقات التوضيحية المتحيزة للمفاهيم التحيز إلى كل قرار يعتمد عليها.

نماذج عنق الزجاجة المفاهيمي (CBM) والمفاهيم ذات الصلة#

• خرائط البروز: تبرز وحدات البكسل التي أثرت في نموذج صندوق أسود مدرّب بالفعل. وتفسّر نماذج عنق الزجاجة المفاهيمي القرارات بمفاهيم مسماة، وتتيح تعديل تلك المفاهيم.
• قابلية التفسير الآلية: تعكس هندسيًا الميزات والدوائر التي تعلمها نموذج مدرّب من تلقاء نفسه. أما نماذج عنق الزجاجة المفاهيمي، فتحدد المفاهيم الوسيطة مسبقًا عن طريق الإشراف.
• الاستقصاء الخطي: يختبر إمكانية فك ترميز مفهوم من تنشيطات نموذج مدرّب من دون تغيير طريقة تنبؤه. وتقيس مسابير المفاهيم على نماذج الصندوق الأسود، مثل TCAV الذي قدّمه بين كيم وزملاؤه، تأثير المفهوم بعد التدريب.
• هندسة الميزات: تحسب ميزات المدخل يدويًا انطلاقًا من البيانات الخام. أما مفاهيم نموذج عنق الزجاجة المفاهيمي، فيتنبأ بها نموذج مدرّب من المدخلات الخام، ويُشرف على تدريبها باستخدام تسميات بشرية.