Zero-Shot Learning

التعلم من دون أمثلة (ZSL) هو قدرة النموذج على التعرّف على فئات لم يرَ لها أي أمثلة تدريب موسومة. فبدلًا من الأمثلة، يتلقى النموذج وصفًا لكل فئة جديدة، مثل قائمة بالسمات أو، في الأنظمة الحديثة، اسم الفئة نصيًا، ثم يطابق المدخلات مع تلك الأوصاف في فضاء تضمين مشترك. ولا يستطيع التعلم الخاضع للإشراف القياسي التنبؤ إلا بالفئات الموجودة في تسميات التدريب، لذا يتطلب إضافة فئة جمع بيانات جديدة ووسمها وإعادة التدريب. أما نموذج التعلم من دون أمثلة فيضيف الفئة بإضافة اسمها. وقد حقق CLIP من OpenAI، المدرّب على 400 مليون زوج من الصور والتعليقات التوضيحية، دقة ResNet-50 الأصلي الخاضع للإشراف على ImageNet من دون استخدام أي من صور التدريب الموسومة البالغ عددها 1.28 مليون صورة.

آلية عمل التعلّم دون أمثلة#

ينقل التعلم من دون أمثلة المعرفة عبر فضاء دلالي يربط الفئات المرئية وغير المرئية. وكانت الأساليب المبكرة تصف كل فئة بسمات يحددها البشر، مثل "مخطط" و"له حوافر" و"يعيش في المراعي"، وتدرّب النماذج على توقع تلك السمات، بحيث يمكن التعرّف على حيوان لم يسبق ظهوره في التدريب بوصفه الفئة التي تطابق سماته. واستبدلت النماذج البصرية اللغوية السمات المصممة يدويًا باللغة الطبيعية. يدرّب CLIP مُرمِّز صور ومُرمِّز نصوص باستخدام التعلم التبايني، بحيث تحصل الصور والتعليقات التوضيحية المتطابقة على تضمينات متشابهة. وللتصنيف، يُضمّن النموذج مطالبة لكل فئة مرشحة، مثل "صورة لحمار وحشي"، ويُضمّن الصورة، ثم يختار الفئة ذات أعلى تشابه جيب التمام:

بما أن المصنّف يُنشأ من النص وقت الاستدلال، يمكن أن تتغير قائمة الفئات مع كل طلب. وينطبق النمط نفسه على النماذج اللغوية الكبيرة (LLMs)، حيث تعني المطالبة من دون أمثلة إعطاء النموذج تعليمة فقط، من دون أمثلة محلولة، وفق تعريف ورقة GPT-3.

كشف الأجسام من دون أمثلة#

توسّع الكواشف ذات المفردات المفتوحة التعلم من دون أمثلة من الصور بأكملها إلى الأجسام الفردية. وهي تسجل درجات كل منطقة مرشحة مقارنةً بتضمينات نصية للفئات المطلوبة، لذا يمكنها العثور على أجسام خارج أي مجموعة تسميات ثابتة، مثل منتج محدد في أرشيف فيديو. ويطبق YOLO-World هذا النهج على نماذج YOLO الآنية. أما YOLOE-26 من Ultralytics، وهو إصدار مفتوح المفردات من YOLO26، فيرمّز كل اسم فئة مُمرر إلى set_classes() باستخدام مُرمِّز النص MobileCLIP2، ويعيد مربعات وأقنعة تجزئة المثيلات لتلك الفئات من دون إعادة تدريب:

from ultralytics import YOLOE

# ⁨نقطة تحقق YOLOE-26 التي تقبل المطالبات النصية⁩
model = YOLOE("yoloe-26s-seg.pt")

# ⁨حدّد الفئات وقت الاستدلال، مستخدمًا هنا كلمات ليست من تسميات COCO⁩
model.set_classes(["city bus", "sneakers", "glasses"])

# ⁨اكشف الفئات المحددة وقسّمها⁩
results = model.predict("https://ultralytics.com/images/bus.jpg")
result = results[0]
result.save(filename="zero_shot_result.jpg")

ينزّل الاستدعاء الأول لـset_classes() مُرمِّز النص. وفي كشف الكائنات، تعني عبارة "من دون أمثلة" أن النموذج لم يتلقّ صناديق موسومة لفئة ما، مع احتمال ورود اسم الفئة في بيانات الصور والنصوص المستخدمة لتدريب مُرمِّزاته مسبقًا. وتُجري منصة Ultralytics وسمًا آليًا لمجموعات بيانات الكشف باستخدام كواشف من دون أمثلة ونماذج الرؤية واللغة، وتقارن لوحة صدارة VLM مدى دقة كل نموذج في العثور على الأجسام ضمن صور واقعية.

التطبيقات#

• البحث البصري والإشراف على المحتوى: تعثر مكتبات الوسائط ومنصات المحتوى على صور تطابق استعلامًا نصيًا، أو ترصد فئات جديدة من المحتوى، من دون تدريب مصنّف لكل استعلام.
• الروبوتات: يستطيع روبوت يُطلب منه إحضار "الكوب الأزرق" تحديد فئة جسم لم يُدرّب قط على كشفها.
• الحياة البرية والتنوع البيولوجي: يصنّف BioCLIP، المدرّب على أكثر من 10 ملايين صورة تغطي شجرة الحياة، الأنواع من دون أمثلة اعتمادًا على أسمائها، وفاز بجائزة أفضل ورقة بحثية لطالب في CVPR 2024.
• التصوير الطبي: تستطيع النماذج المدرّبة على صور الأشعة السينية المقترنة بتقارير الأشعة المكتوبة رصد نتائج لم تُعنون مطلقًا كتسميات تدريب صريحة.

التحديات#

عادةً ما تكون دقة التعلم من دون أمثلة أقل من دقة نموذج دُرّب على أمثلة موسومة للفئات نفسها، لا سيما في الفئات الدقيقة أو المتخصصة التي نادرًا ما ترد أسماؤها في النصوص المتاحة على الويب. وفي التعلم المعمم من دون أمثلة، حيث قد تأتي صور الاختبار من فئات مرئية وأخرى غير مرئية، تفضّل النماذج الفئات التي تدربت عليها، وقد وجدت دراسات المعايير أن الدقة في الفئات غير المرئية تنخفض بشدة في هذه الحالة. وتعتمد النتائج أيضًا على صياغة الكلمات، ما يجعل هندسة المطالبات جزءًا من التصنيف من دون أمثلة: فقد ارتفعت دقة CLIP على ImageNet بنسبة 1.3% عند استبدال اسم الفئة المجرد بالمطالبة "صورة لـ{label}."

التعلم من دون أمثلة والمصطلحات ذات الصلة#

• التعلم قليل الأمثلة: يتعلم فئات جديدة من عدد قليل من الأمثلة الموسومة لكل فئة، يتراوح عادةً بين مثال واحد و10 أمثلة. أما التعلم من دون أمثلة فيستخدم صفرًا من الأمثلة ووصفًا بدلًا منها.
• التعلم بمثال واحد: حالة من التعلم قليل الأمثلة تستخدم مثالًا موسومًا واحدًا بالضبط لكل فئة، وغالبًا ما تتم مطابقة المثال بحسب تشابه التضمينات.
• التعلم بالنقل: يعيد استخدام نموذج مدرّب مسبقًا لمهمة جديدة، عادةً بضبطه الدقيق على بيانات موسومة. أما التعلم من دون أمثلة فينقل المعرفة عبر فضاء الصور والنصوص المشترك من دون تدريب إضافي.
• التلقين البصري: يحدد الهدف باستخدام صورة مثال أو مربع بدلًا من الكلمات، ما يفيد مع الأجسام التي يصعب وصفها، مثل جزء أو شعار محدد.