Multiple Instance Learning

التعلّم متعدد الأمثلة (MIL) شكل من تعلّم الآلة تأتي فيه أمثلة التدريب ضمن مجموعات تسمى حقائب، وتحمل كل حقيبة وحدها تصنيفًا، بينما لا تحمل الأمثلة المفردة داخلها أي تصنيف. فشريحة أنسجة مرضية ممسوحة ضوئيًا ومصنّفة «سرطان» هي حقيبة تضم آلاف رقع الأنسجة، قد يُظهر عدد قليل منها خلايا ورمية؛ ومقطع فيديو مراقبة مصنّف «حادث» هو حقيبة من مقاطع قصيرة، معظمها لا يتضمن أحداثًا. يتعلم MIL التنبؤ بتصنيفات الحقائب من هذه البيانات، ويحدد في أثناء ذلك الأمثلة المسؤولة عنها. وهو نوع من الإشراف الضعيف، يُستخدم عندما يستغرق تصنيف كل مثال وقتًا طويلًا من المختصين أو يكون مستحيلًا.

قدّم Thomas Dietterich وRichard Lathrop وTomás Lozano-Pérez هذا الإطار عام 1997 للتنبؤ بنشاط الأدوية. يمكن للجزيء أن يتخذ أشكالًا عديدة، ويرتبط بهدف إذا ناسبه شكل واحد على الأقل؛ لذا تعاملوا مع كل جزيء بوصفه حقيبة من أشكاله الممكنة، ولم يستخدموا سوى النشاط المقاس للجزيء تصنيفًا.

الافتراض القياسي في MIL#

يفترض النهج التقليدي للتصنيفات الثنائية أن الحقيبة موجبة إذا احتوت على مثال موجب واحد على الأقل، وسالبة فقط إذا كانت جميع أمثلتها سالبة. أما إسناد تصنيف الحقيبة إلى كل مثال، كما يفعل التعلّم الخاضع للإشراف العادي، فيؤدي إلى تصنيف الأمثلة السالبة الكثيرة في كل حقيبة موجبة تصنيفًا خاطئًا. بدلًا من ذلك، يسجّل MIL درجة لكل مثال، ثم يجمع الدرجات في تنبؤ واحد للحقيبة. ويطابق أخذ القيمة القصوى الافتراض القياسي تمامًا: إذ تسجّل الحقيبة درجة تساوي درجة أكثر أمثلتها إثارةً للشك، ولا تتلقى إشارة الانتشار العكسي من تصنيف الحقيبة إلا درجة ذلك المثال.

يدرّب مثال PyTorch هذا مسجّلًا خطيًا للأمثلة على 16,000 حقيبة، تضم كل منها 20 مثالًا عشوائيًا، حيث تخفي كل حقيبة موجبة مثالًا واحدًا «شاهدًا» يختلف في 4 من ميزاته الست عشرة. يستخدم التدريب تصنيفات الحقائب فقط، وتختبر 1,000 حقيبة اختبار تنبؤات الحقائب وما إذا كان المثال الأعلى درجة هو الشاهد:

import torch

torch.manual_seed(0)
n = 17000  # 16,000 training bags and 1,000 test bags, each holding 20 instances with 16 features
bags, labels, witness = torch.randn(n, 20, 16), torch.randint(0, 2, (n,)).float(), torch.randint(0, 20, (n,))
bags[torch.arange(n), witness, :4] += 2.0 * labels[:, None]  # a positive bag hides one shifted "witness" instance

scorer = torch.nn.Linear(16, 1)  # gives every instance a score
optimizer = torch.optim.Adam(scorer.parameters(), lr=1e-2)
for i in range(0, 16000, 32):  # train on 32 bags per step, using bag labels only
    bag_logits = scorer(bags[i : i + 32]).squeeze(-1).max(dim=1).values  # max pooling: a bag scores as its top instance
    loss = torch.nn.functional.binary_cross_entropy_with_logits(bag_logits, labels[i : i + 32])
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

with torch.no_grad():
    scores = scorer(bags[16000:]).squeeze(-1)  # one score per test instance
positive = labels[16000:].bool()
bag_accuracy = ((scores.max(dim=1).values > 0) == positive).float().mean()
located = (scores.argmax(dim=1) == witness[16000:])[positive].float().mean()
print(f"Bag accuracy: {bag_accuracy:.3f}, witness ranked first in {located:.3f} of positive bags")

يصنّف النموذج 0.917 من حقائب الاختبار تصنيفًا صحيحًا، ويرتّب الشاهد أولًا في 0.960 من الحقائب الموجبة، رغم عدم استخدام أي تصنيف للأمثلة قط. ويتيح ترتيب الأمثلة هذا لأنظمة MIL الإشارة إلى الرقع أو المقاطع التي استند إليها القرار.

التجميع وMIL القائم على الانتباه#

يعتمد التجميع بالقيمة القصوى على مثال واحد، لذا قد يقلب مثال مشوش واحد نتيجة الحقيبة. أما التجميع بالمتوسط فيستخدم جميع الأمثلة لكنه يخفف الإشارة النادرة، ويناسب الافتراضات الجماعية التي يعتمد فيها التصنيف على نسبة الأمثلة التي تُظهر سمة ما. اقترح Maximilian Ilse وJakub Tomczak وMax Welling في 2018 تعلّمًا عميقًا متعدد الأمثلة قائمًا على الانتباه: إذ تمنح شبكة صغيرة كل مثال وزنًا، ويكون تمثيل الحقيبة هو المتوسط المرجّح لميزات الأمثلة. وتتعامل آلية الانتباه مع الحقائب بأي حجم، وتتجاهل ترتيب الأمثلة، وتنتج أوزانًا تعمل خريطةً حرارية للمناطق التي تستند إليها التنبؤات، على غرار خرائط البروز.

صور الشرائح كاملةً ضخمة للغاية بحيث يتعذر تدريب نموذج عليها من البداية إلى النهاية، لذا تحوّلها كثير من خطوط معالجة علم الأمراض أولًا إلى متجه ميزات باستخدام مشفّر مدرّب مسبقًا ومجمّد، ثم تدرّب شبكة التجميع والمصنّف فقط على تصنيفات الشرائح. ويمكن لنموذج تصنيف الصور من YOLO26 أن يؤدي دور ذلك المشفّر: إذ تعيد model.embed() متجه ميزات مجمّعًا واحدًا لكل صورة مُدخلة، فتتحول دفعة من الرقع إلى حقيبة من متجهات الأمثلة لوحدة تجميع قائمة على الانتباه.

التطبيقات#

في تحليل الصور الطبية، يلغي MIL حاجة اختصاصيي علم الأمراض إلى تحديد الأورام يدويًا على الشرائح ذات المليارات من البكسلات. درّب Gabriele Campanella وزملاؤه في Memorial Sloan Kettering نظام MIL على 44,732 صورة شريحة كاملة من 15,187 مريضًا، مستخدمين تشخيصات تقارير علم الأمراض فقط، وأفادت دراستهم لعام 2019 بأن المساحة تحت منحنى ROC تجاوزت 0.98 لسرطان البروستاتا وسرطان الخلايا القاعدية ونقائل سرطان الثدي إلى العقد اللمفاوية.

في مجال الفيديو، تعامل Waqas Sultani وChen Chen وMubarak Shah مع كل فيديو مراقبة بوصفه حقيبة من المقاطع لكشف الحالات الشاذة، وأصدروا مجموعة بيانات UCF-Crime التي تضم 1,900 فيديو غير مقتطع، ولا تحمل سوى تصنيفات على مستوى الفيديو، لتدريب نموذج يمنح أعلى درجة شذوذ للمقاطع التي يقع فيها حادث. ويتعامل كشف الكائنات بإشراف ضعيف مع الصورة بوصفها حقيبة من المناطق المرشحة المصنّفة بالفئات الموجودة فيها فقط، وتصبح المناطق الأعلى درجة هي الصناديق المحيطة المتنبأ بها. وفي كل هذه الأطر، يؤدي إبقاء جميع الرقع أو الإطارات التابعة لشريحة أو مريض أو فيديو واحد ضمن المجموعة نفسها إلى تجنب تسرّب البيانات الناتج عن توزيع أمثلة شبه متطابقة بين مجموعتي التدريب والاختبار.

MIL والأطر ذات الصلة#

يمزج التعلّم شبه الخاضع للإشراف بين أمثلة مصنّفة بالكامل وأخرى غير مصنّفة، بينما تحمل كل حقيبة في MIL تصنيفًا، لكن أمثلتها لا تحمل تصنيفات. ويسند التصنيف متعدد التسميات عدة فئات إلى مثال واحد، ويمكن الجمع بينه وبين MIL في التعلّم متعدد الأمثلة ومتعدد التسميات. ويمكن أن يتبع التعلّم النشط نهج MIL، فيرسل الأمثلة الأعلى درجة من الحقائب الموجبة إلى الخبراء عندما تصبح كلفة تصنيف الأمثلة الفردية مجدية.