Few-Shot Learning

التعلم قليل الأمثلة (FSL) هو مسألة تعلّم مهمة جديدة، وغالبًا ما تكون التعرّف على فئات جديدة، اعتمادًا على عدد قليل فقط من الأمثلة المصنّفة لكل فئة، ويكون العدد عادةً بين 1 و10. يحتاج التعلم الخاضع للإشراف التقليدي إلى مئات أو آلاف الصور المصنّفة لكل فئة، ويكون جمعها مكلفًا أو مستحيلًا في حالات العيوب النادرة أو الأمراض النادرة أو منتج أُطلق بالأمس. تسد أساليب التعلم قليل الأمثلة الفجوة بالاستفادة من المعرفة السابقة: فالنموذج المدرّب مسبقًا على بيانات كبيرة ومرتبطة ينتج بالفعل سمات تفصل الفئات الجديدة جيدًا، لذا تكفي حفنة من الأمثلة لتعريفها. وتظهر الفكرة نفسها في النماذج اللغوية، حيث توجّه بضعة أمثلة محلولة في الموجّه النموذج إلى مهمة جديدة دون أي تدريب.

مهام N-Way K-Shot#

توصف مسائل التعلم قليل الأمثلة بصيغة N-way K-shot: هناك N فئات جديدة، لكل منها K أمثلة مصنّفة. وتشكل هذه الأمثلة مجموعة الدعم، ويُقيّم النموذج وفق مدى نجاحه في تصنيف مجموعة استعلام منفصلة من الأمثلة المنتمية إلى الفئات N نفسها. لذا تمنح مهمة 5-way 1-shot النموذج مثالًا واحدًا لكل فئة من خمس فئات لم يرها من قبل، وتطلب منه فرز صور جديدة ضمنها. ويمثل التعلم بمثال واحد الحالة K = 1، بينما يمثل التعلم دون أمثلة الحالة K = 0، حيث تُوصف الفئات بالنص أو السمات بدلًا من الأمثلة. تقيّم المعايير البحثية الأداء على فئات مستبعدة من التدريب، مثل Omniglot الذي يضم 1,623 حرفًا مكتوبًا باليد من 50 أبجدية، وminiImageNet الذي يضم 100 فئة من ImageNet، في كل منها 600 صورة.

مناهج التعلم قليل الأمثلة#

تدرّب أساليب التعلم بالمقاييس شبكةً لتحويل الصور إلى تضمينات تتقارب فيها أمثلة الفئة نفسها، لذا يأخذ الاستعلام تصنيف أمثلة الدعم الأكثر تشابهًا. تحسب الشبكات النموذجية متوسط تضمينات الدعم لكل فئة لتكوين نموذج أولي، وتعيّن الاستعلام إلى أقرب نموذج أولي، دون الحاجة إلى إعادة التدريب عند ظهور فئة جديدة.

تكيّف مناهج أخرى أوزان النموذج أو مدخلاته:

• التعلم الفوقي: يُدرّب على آلاف المهام المصطنعة الصغيرة المستمدة من الفئات الأساسية، ليتعلم النموذج كيفية التكيّف. يتعلم التعلم الفوقي غير المعتمد على النموذج (MAML) تهيئةً تمنح أوزانًا جيدة بعد بضع خطوات تدرج على مجموعة دعم مهمة جديدة.
• النقل والضبط الدقيق: درّب شبكة أساسية مسبقًا على مجموعة بيانات كبيرة، ثم درّب رأس تصنيف جديدًا فقط، أو درّب الشبكة كلها بمعدل تعلّم صغير، على مجموعة الدعم. يضاهي هذا الأساس البسيط أساليب التعلّم الفوقي المخصصة في معايير التعلّم من أمثلة قليلة الشائعة، ويظل الاستكشاف الخطي للنماذج الكبيرة المدرّبة مسبقًا أساسًا قويًا للتعلّم من أمثلة قليلة.
• توجيه النماذج التأسيسية: تنفذ النماذج اللغوية الكبيرة مهام جديدة اعتمادًا على بضعة أمثلة موضوعة في الموجّه، دون تحديث الأوزان؛ وقد برهن GPT-3 على هذه القدرة في أكثر من عشرين معيارًا لغويًا. وتستخدم نماذج الرؤية موجّهات بصرية، مثل إطارات الأمثلة، بالطريقة نفسها.

كشف الأجسام قليل الأمثلة باستخدام الموجّهات البصرية#

يضيف الكشف تحديد المواضع إلى مسألة التعلم قليل الأمثلة: إذ يجب على النموذج العثور على كل مثيل لفئة لم يتدرب عليها. وتدعم YOLO26 أيضًا YOLOE-26، وهي صيغة ذات مفردات مفتوحة يحوّل فيها مُرمّز الموجّهات البصرية إطارات الأمثلة إلى تضمين فئة، ثم يكشف الأجسام المطابقة ويجزئها في صور جديدة دون تدريب. وتُدمج الإطارات التي تشترك في معرّف الفئة في موجّه واحد، لذا يعمل مثالان من فئة واحدة كمجموعة دعم من نوع 2-shot. يستخدم هذا المثال شخصين في صورة واحدة كمجموعة دعم ويبحث عنهما في صورة مختلفة:

import numpy as np
from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

# ⁨نقطة تحقق YOLOE-26 التي تقبل الموجّهات البصرية⁩
model = YOLOE("yoloe-26s-seg.pt")

# ⁨مجموعة الدعم: إطارا مثال لفئة واحدة (أشخاص) في الصورة المرجعية⁩
boxes = np.array([[221.52, 405.8, 344.98, 857.54], [669.47, 392.19, 809.72, 877.04]])
support = {"bboxes": boxes, "cls": np.array([0, 0])}

# ⁨الاستعلام: اعثر على أجسام تشبه الأمثلة في صورة مختلفة، دون تدريب⁩
results = model.predict(
    "https://ultralytics.com/images/zidane.jpg",
    refer_image="https://ultralytics.com/images/bus.jpg",
    visual_prompts=support,
    predictor=YOLOEVPSegPredictor,
)
result = results[0]
result.save(filename="few_shot_result.jpg")

تجمع الموجّهات البصرية الأمثلة دون تسميتها، لذا تُوسم المطابقات في النتائج بـobject0 وobject1 وهكذا، باسم واحد لكل معرّف فئة.

تطبيقات عملية#

• فحص التصنيع: قد لا يظهر نوع جديد من العيوب، مثل شرخ في جزء أُدخل حديثًا، إلا مرات قليلة قبل أن يرغب المفتشون في الإبلاغ عنه؛ ويمكن للكشف قليل الأمثلة أو كشف الحالات الشاذة إضافته دون الحاجة إلى مجموعة بيانات جديدة كبيرة.
• التصوير الطبي: لا تتوفر سوى قلة من الصور الشعاعية المشروحة للحالات النادرة، لذا تكيّف نماذج تحليل الصور الطبية السمات المدرّبة مسبقًا لتتعرف على نتائج جديدة من مجموعة صغيرة من الحالات التي صنفها الخبراء.
• البيع بالتجزئة والروبوتات: تضيف المتاجر منتجات جديدة، وتواجه الروبوتات أجسامًا جديدة باستمرار؛ وتتيح بضع صور مرجعية للنظام التعرّف على كل جسم على الرف أو في الماسك.

التعلم قليل الأمثلة والمفاهيم المرتبطة به#

• التعلم بالنقل: الممارسة الأوسع لإعادة استخدام المعرفة المكتسبة في مهمة ما لمهمة أخرى. التعلم قليل الأمثلة هو حالة قصوى من شح البيانات، والتعلم بالنقل هو أداته الأكثر شيوعًا.
• التعلم الفوقي: استراتيجية تدريب تتعلم كيفية التعلم، وهي واحدة من طرق متعددة لحل مسائل التعلم قليل الأمثلة. ويشير التعلم قليل الأمثلة إلى إعداد المسألة نفسها.
• التوجيه قليل الأمثلة: يكيّف نموذجًا مجمّدًا عبر أمثلة في مدخلاته وقت الاستدلال، بينما يغيّر الضبط الدقيق قليل الأمثلة أوزان النموذج باستخدام المجموعة الصغيرة نفسها من الأمثلة.