Contrastive Learning

يدرّب التعلّم التبايني نموذجًا لإنتاج تضمينات تقترب فيها أزواج العينات المتطابقة، المسماة عينات موجبة، وتتباعد العينات غير المتطابقة، المسماة عينات سالبة. وقد تأتي الأزواج من البيانات نفسها، مثل قصاصتين معدّلتين من الصورة نفسها، أو من بيانات مقترنة طبيعيًا، مثل صورة وتعليقها، لذا لا يحتاج التعلّم التبايني إلى تسميات فئات. وهو من العائلات الرئيسية لأساليب التعلّم الذاتي الإشراف للصور، إلى جانب إعادة البناء المقنّع والتقطير الذاتي. تنتج المُرمّزات المدرّبة بهذه الطريقة ميزات قابلة للنقل إلى الكشف والتصنيف والاسترجاع، كما يدرّب الهدف نفسه نماذج الرؤية واللغة مثل CLIP، التي تستطيع بعد ذلك تصنيف الصور اعتمادًا على النص وحده عبر التعلّم دون أمثلة.

آلية عمل التعلّم التبايني#

يتألف الأسلوب التبايني من ثلاثة أجزاء: طريقة لإنشاء أزواج إيجابية، ومشفّر يحوّل كل عينة إلى تضمين مُطبّع، ودالة خسارة تقارن أوجه التشابه. في SimCLR، أنشأ تينغ تشين وزملاؤه في Google منظورين لكل صورة باستخدام القص العشوائي وتشويه الألوان والتمويه، ثم شفّرا كليهما باستخدام ResNet مشترك يتبعه رأس إسقاط صغير، واعتبرا الصور الأخرى في الدفعة عينات سلبية:

يحدد تعزيز البيانات ما يتعلم النموذج تجاهله. ولأن قصاصتين من الصورة نفسها يجب أن تتحولا إلى نقطتين متقاربتين، يتعلم المشفّر أن تغييرات الموضع والمقياس واللون لا تغيّر ما تعرضه الصورة، ويحافظ على السمات التي تميز صورة عن سائر الصور. وباستخدام ResNet-50 أعرض بأربعة أضعاف من المعتاد، حقق مصنف خطي دُرّب على سمات SimCLR المجمدة دقة top-1 بلغت 76.5% على ImageNet، وهي مطابقة لما حققه ResNet-50 خاضع للإشراف.

دوال خسارة التعلّم التبايني#

• الخسارة التباينية الزوجية: تسحب خسارة عام 2006 التي وضعها رايا هادسل وسوميت تشوبرا ويان لوكون كل زوج إيجابي إلى بعضه، وتدفع كل زوج سلبي إلى التباعد حتى تصبح المسافة بينهما مساوية لهامش m على الأقل.
• خسارة الثلاثيات: تقارن عينة مرجعية بعينة إيجابية وأخرى سلبية، وتشترط أن تكون الإيجابية أقرب بمقدار هامش محدد. وقد درّبت FaceNet من Google تضمينات الوجوه باستخدامها في عام 2015.
• InfoNCE: تقارن عينة إيجابية واحدة بعدد كبير من العينات السلبية دفعة واحدة. عند قسمة أوجه التشابه s على درجة حرارة τ، تكون خسارة العينة المرجعية −log[exp(s₊/τ) / Σⱼ exp(sⱼ/τ)]، وهي خسارة إنتروبيا متقاطعة باستخدام softmax، حيث تكون العينة الإيجابية هي الفئة الصحيحة من بين جميع المرشحين. أطلق آرون فان دن أورد وزملاؤه هذا الاسم في الترميز التنبؤي التبايني عام 2018، وتُعد خسارة NT-Xent في SimCLR وخسارة CLIP من أشكالها.
• خسارة سيغمويد: تحسب SigLIP درجة كل زوج على أنه تطابق مستقل بنعم أو لا باستخدام دالة سيغمويد، لذا لا تحتاج الخسارة إلى تطبيع على مستوى الدفعة.

في PyTorch، تختزل InfoNCE إلى خسارة الإنتروبيا المتقاطعة على مصفوفة تشابه يحتوي قطرها على العينات الإيجابية:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
# Stand-in embeddings for 8 images, a second view of each (row i of both is a positive pair),
# and 8 unrelated images
view1 = F.normalize(torch.randn(8, 128), dim=1)
view2 = F.normalize(view1 + 0.1 * torch.randn(8, 128), dim=1)
unrelated = F.normalize(torch.randn(8, 128), dim=1)

# InfoNCE: cosine similarities divided by a temperature, then cross-entropy where
# each row's positive (the diagonal) is the correct class among all 8 candidates
temperature = 0.1
targets = torch.arange(8)
for name, keys in [("Augmented views", view2), ("Unrelated images", unrelated)]:
    logits = view1 @ keys.T / temperature
    print(f"{name}: loss {F.cross_entropy(logits, targets):.3f}")

يطبع Augmented views: loss 0.016 وUnrelated images: loss 2.505. عندما تكون العينة الإيجابية في كل صف المفتاح الأكثر تشابهًا بوضوح، تقترب الخسارة من الصفر. أما مع مفاتيح غير مترابطة، فترتفع الخسارة فوق ln 8 ≈ 2.08، وهي خسارة تخمين متساوٍ بين ثمانية مرشحين، لأن القسمة على درجة حرارة 0.1 تحوّل أوجه التشابه العشوائية إلى تخمينات خاطئة واثقة. وتزيد درجة الحرارة المنخفضة حدة دالة softmax، وتركّز الخسارة على أصعب العينات السلبية. يستخدم MoCo القيمة τ = 0.07، كما يهيئ CLIP درجة حرارته المتعلّمة بالقيمة نفسها.

العينات السلبية وحجم الدفعة والمتغيرات#

يتحسن InfoNCE بزيادة عدد العينات السلبية، ما يجعل هذا العدد عامل تكلفة أساسيًا. وقد استمد SimCLR العينات السلبية من دفعات كبيرة جدًا. أما MoCo، الذي وضعه كايمينغ هي وزملاؤه في Facebook AI Research، فاحتفظ بقائمة انتظار تضم 65,536 تضمينًا من الدفعات الحديثة لاستخدامها عينات سلبية، وشفّرها بنسخة زخم من المشفّر يجري تحديثها ببطء، ما يفصل عدد العينات السلبية عن حجم الدفعة. وقد تكون العينات السلبية العشوائية سلبية كاذبة، مثل صورة أخرى للسلالة نفسها من الكلاب، كما أن العينات السلبية السهلة جدًا لا تقدم فائدة تُذكر، لذا يبحث التنقيب عن العينات السلبية الصعبة عن عينات يصعب تمييزها. ويستخدم التعلّم التبايني الخاضع للإشراف (SupCon) التصنيفات لاعتبار كل عينة من الفئة نفسها عينة إيجابية. أما الأساليب غير التباينية، مثل BYOL وSimSiam وDINO، فتحذف العينات السلبية تمامًا وتتجنب انهيار كل المدخلات إلى التضمين نفسه باستخدام شبكات غير متماثلة أو إيقاف التدرج أو التمركز.

التعلّم التبايني والمفاهيم ذات الصلة#

• تعلّم المقاييس: المهمة الأوسع نطاقًا لتعلّم دالة مسافة، ومنها تنبثق خسارتا التعلّم التبايني والثلاثيات. ويشير مصطلح "التعلّم التبايني" الآن عادةً إلى الشكل ذاتي الإشراف ذي العينات السلبية الكثيرة الذي شاع مع SimCLR وMoCo.
• المشفّرات التلقائية: تتعلم بإعادة بناء المدخلات، لذا يجب أن تحافظ سماتها على التفاصيل على مستوى وحدات البكسل. أما السمات التباينية فتحافظ فقط على ما يميز عينة عن غيرها.
• JEPA: تتنبأ بتضمينات مناطق الصور المخفية انطلاقًا من المناطق المرئية، وتتعلّم في فضاء التضمين دون أزواج سلبية.
• التعلّم الخاضع للإشراف: يدرّب النموذج على مجموعة ثابتة من الفئات التي عيّنها البشر، بينما لا يحتاج التدريب المسبق التبايني إلا إلى قاعدة تحدد العينات المتطابقة.

التطبيقات#

• نماذج الرؤية واللغة: درّب CLIP مشفّر صور ومشفّر نصوص على 400 مليون زوج من الصور والتعليقات التوضيحية باستخدام دفعات تضم 32,768 عينة، ما يتيح للمطالبات النصية تصنيف الصور واسترجاعها. وتشفّر نماذج YOLOE-26 من Ultralytics أسماء الفئات باستخدام مشفّر النصوص MobileCLIP2 من Apple، المدرّب بهدف تبايني على غرار CLIP، وتحسب درجة كل منطقة مرشحة بمقارنتها بتضمينات النصوص في رأس تبايني، لذا يحوّل set_classes(["forklift", "pallet"]) الأوزان نفسها إلى كاشف لفئات جديدة.
• البحث الدلالي: تُخزّن التضمينات التباينية المعيّنة للصور والنصوص في قاعدة بيانات متجهية، ويُبحث فيها عن طريق التشابه.
• التدريب المسبق مع قلة التصنيفات: في مجالات مثل تحليل الصور الطبية، حيث تندر التصنيفات التي يضعها الخبراء، يوفر التدريب المسبق التبايني على صور الأشعة غير المصنفة عمودًا فقريًا يكيّفه الضبط الدقيق باستخدام مجموعة صغيرة من البيانات المصنفة.
• التعرّف على الوجوه وإعادة التعرّف: تدرب الخسارتان التباينية والثلاثية تضمينات تتقارب فيها صور الشخص أو الجسم نفسه. وقد حققت تضمينات FaceNet ذات الأبعاد الـ128 دقة بلغت 99.63% على معيار Labeled Faces in the Wild.