Self-Supervised Learning

يدرّب التعلّم الذاتي الإشراف (SSL) نموذجًا على مهمة تأتي تسمياتها من البيانات نفسها، مثل التنبؤ بالكلمة التالية في جملة، أو ملء رقع صور مخفية، أو التعرّف على تطابق قصاصتين من الصورة نفسها، ما يتيح له التعلم من كميات كبيرة من البيانات غير المصنفة. ويحدّ التعلّم الخاضع للإشراف من الإمكانات بسبب تصنيف البيانات، وهو بطيء ومكلف، بينما تتوفر الصور ومقاطع الفيديو والصوت والنصوص الخام بكثرة. يستخدم SSL هذه البيانات للتدريب المسبق لمُرمِّز متعدد الأغراض، ثم يكيّفه الضبط الدقيق أو رأس صغير مدرَّب لمهمة لاحقة مثل تصنيف الصور أو اكتشاف الكائنات، باستخدام عدد أقل بكثير من التسميات. ويُدرَّب مسبقًا بهذه الطريقة كل نموذج لغوي كبير (LLM) حديث، عبر التنبؤ بالرمز التالي في النص كما في نماذج GPT، كما وسّعت DINOv3 من Meta نطاق التدريب المسبق الذاتي الإشراف على الصور ليصل إلى نموذج ذي 7 مليارات معلمة دُرّب على 1.7 مليار صورة.

آلية عمل التعلّم الذاتي الإشراف#

تحدد طريقة SSL مهمة تمهيدية: تخفي جزءًا من كل مُدخل أو تحوّله، ثم تدرّب الشبكة على استعادة الجزء المحذوف أو التعرّف على ما بقي كما هو. ونادرًا ما تكون المهمة التمهيدية نفسها مفيدة. المهم أن حلّها يجبر الشبكة على تعلم بنية البيانات، مثل أشكال الكائنات وملامسها والعلاقات بين أجزائها، وأن هذه السمات تنتقل إلى المهام ذات التسميات. وبعد التدريب المسبق، يُقيَّم المُرمِّز أو يُستخدم عبر الاستقصاء الخطي على سمات مجمّدة، أو بضبط جميع أوزانه بدقة:

الفئات الرئيسية للأساليب#

• التنبؤ المقنّع: يخفي جزءًا من المُدخل ويدرّب النموذج على إعادة بنائه. يتنبأ BERT بكلمات مخفية عشوائيًا، بينما تخفي المشفّرات التلقائية المقنّعة 75% من رقع الصورة وتعيد بناء وحدات البكسل فيها. وينطبق التنبؤ بالرمز التالي في تسلسل على الفكرة نفسها في النص.
• التعلّم التبايني: ينشئ منظورين محوّرين لكل صورة، ويدرّب التضمينات بحيث تتطابق المناظير للصورة نفسها ولا تتطابق للصور المختلفة. ويُعد SimCLR وMoCo أشهر مثالين عليه.
• التقطير الذاتي: تتعلم شبكة الطالب مطابقة مخرجات شبكة المعلم، وهي متوسط محدّث ببطء للطالب، على قصاصات مختلفة من الصورة نفسها، من دون أزواج سلبية. ويستخدم BYOL وDINO هذا الأسلوب، كما يوسّع DINOv2 وDINOv3 نطاقه ليشمل مجموعات بيانات منتقاة تضم أكثر من 100 مليون صورة.
• التنبؤ بالتضمينات المشتركة: يتنبأ بتضمينات المناطق المخفية انطلاقًا من المناطق المرئية، ليتعلم النموذج المحتوى المجرد من دون استهلاك سعته في تفاصيل البكسلات. وتطبّق I-JEPA وV-JEPA من Meta هذا الأسلوب على الصور ومقاطع الفيديو.

يؤثر الاختيار في السمات. فإعادة البناء المقنّع تحتفظ بالتفاصيل المكانية الدقيقة وتستجيب جيدًا للضبط الدقيق، بينما تنتج أساليب التعلّم التبايني والتقطير الذاتي سمات تعمل جيدًا وهي مجمّدة، ولهذا تحظى مُرمِّزات عائلة DINO بشعبية بوصفها شبكات أساسية لـتقدير العمق والتجزئة الدلالية.

التعلّم الذاتي الإشراف في الرؤية الحاسوبية#

تتكامل محوّلات الرؤية وSSL جيدًا: إذ يتوافق إخفاء الرقع الكاملة مباشرةً مع مُدخلات الرموز في ViT، وتستفيد ViT من بيانات تدريب أكثر مما توفره مجموعات البيانات المصنفة. وتبدأ كثير من النماذج الأساسية بمُرمِّزات ذاتية الإشراف. وترتكز SAM 2 من Meta، المتاحة ضمن حزمة Ultralytics لتجزئة الصور ومقاطع الفيديو القابلة للتوجيه بالمطالبات، على مُرمِّز صور Hiera دُرّب مسبقًا بوصفه مشفّرًا تلقائيًا مقنّعًا قبل أي تدريب على التجزئة.

التطبيقات#

• التصوير الطبي: تحتفظ المستشفيات بصور طبية يفوق عددها ما يستطيع أطباء الأشعة تصنيفه. ويوفر التدريب المسبق على صور أشعة سينية أو CT أو MRI غير مصنفة مُرمِّزًا يتعلم لاحقًا مهامًا مثل اكتشاف الأورام من مجموعة صغيرة من التسميات التي يضعها الخبراء.
• صور الأقمار الصناعية: درّبت Meta إصدارًا من DINOv3 على 493 مليون صورة للأقمار الصناعية، ويستخدمه معهد الموارد العالمية لرسم خرائط ارتفاع الغطاء الشجري. وفي منطقة في كينيا، خفّض متوسط خطأ الارتفاع في الخرائط السابقة القائمة على DINOv2 من 4.1 إلى 1.2 متر.
• التعرّف على الكلام: دُرّب wav2vec 2.0 مسبقًا على 53,000 ساعة من الصوت غير المصنف، ثم حقق، بعد ضبطه بدقة باستخدام 10 دقائق فقط من الكلام المفرّغ، معدلي خطأ كلمات 4.8% و8.2% على مجموعتي اختبار LibriSpeech للكلام النقي والكلام الآخر.

التعلّم الذاتي الإشراف مقارنةً بالمصطلحات ذات الصلة#

• التعلّم غير الخاضع للإشراف: التعلّم عمومًا من دون تسميات بشرية، ويشمل التجميع وتقدير الكثافة. ويُعد SSL عادةً شكلًا من التعلّم غير الخاضع للإشراف، لكنه يُدرَّب مثل التعلّم الخاضع للإشراف، إذ تُولّد الأهداف من البيانات.
• التعلّم شبه الخاضع للإشراف: يدرّب النموذج في الوقت نفسه على مجموعة صغيرة مصنفة وأخرى كبيرة غير مصنفة. أما SSL فيستخدم البيانات غير المصنفة وحدها للتدريب المسبق، ويمكن الجمع جيدًا بين الأسلوبين: فقد ضُبط نموذج ذاتي الإشراف كبير من SimCLRv2 بدقة باستخدام 1% من تسميات ImageNet، ثم قُطّر باستخدام الصور غير المصنفة.
• التعلّم بالنقل: يعيد استخدام نموذج مدرَّب مسبقًا لمهمة جديدة. وSSL إحدى طرق إنتاج ذلك النموذج المدرَّب مسبقًا من دون تسميات.
• زيادة البيانات: قصاصات عشوائية وتغييرات لونية وقلب للصور توسّع مجموعة بيانات مصنفة. وفي SSL التبايني، تحدد التحويلات نفسها المناظير التي تُعد الصورة نفسها، ولذلك تحدد ما يتعلم المُرمِّز تجاهله.