تنعيم الملصق

كيفية عمل تنعيم الملصق

بدلًا من استخدام 1 صارم للفئة الصحيحة و 0 للفئات الأخرى (ترميز أحادي)، فإن تسوية التسمية تعدّل احتمالات الهدف هذه. على سبيل المثال، إذا كان لدينا K الفصول وعامل التنعيم alphaفإن الاحتمال المستهدف للفئة الصحيحة يصبح 1 - alphaوتصبح احتمالية كل فئة غير صحيحة هي alpha / (K-1). يعني هذا التعديل البسيط أن النموذج يُعاقب إذا قام بتعيين احتمال كبير للغاية (قريب من 1) لفئة واحدة أثناء التدريب، حيث أن التسمية المستهدفة نفسها لا تعبر عن اليقين المطلق. نوقشت هذه التقنية بشكل ملحوظ في سياق تدريب نماذج تصنيف الصور المتقدمة في "إعادة التفكير في البنية الاستهلالية للرؤية الحاسوبية" الورق.

فوائد تنعيم الملصق

يمكن أن يوفر تنفيذ تجانس التسمية العديد من المزايا:

• تحسين التعميم: من خلال منع النموذج من أن يصبح متخصصًا جدًا في الأنماط الدقيقة في بيانات التدريب (الحد من الإفراط في التخصيص)، غالبًا ما يكون أداء النموذج أفضل على البيانات الجديدة غير المرئية. التعميم هو هدف رئيسي في التعلم الآلي.
• معايرة أفضل للنموذج: تميل النماذج المُدرّبة على تجانس التسمية إلى إنتاج درجات احتمالية تعكس بشكل أفضل الاحتمالية الحقيقية لصحة التنبؤ. وهذا يعني أن الثقة المتوقعة بنسبة 80% من المرجح أن تتوافق مع دقة فعلية بنسبة 80%. يعد فهم معايرة النموذج أمرًا بالغ الأهمية لأنظمة الذكاء الاصطناعي الموثوقة.
• تقليل الثقة المفرطة: يعالج بشكل مباشر مشكلة النماذج التي تُسند تنبؤات شبه مطلقة إلى التنبؤات، وهو ما قد يكون إشكالية في التطبيقات الواقعية حيث يوجد عدم يقين. يمكن أن تؤدي الثقة المفرطة إلى سوء اتخاذ القرار.
• تأثير التنظيم: يعمل كشكل من أشكال التنظيم، على غرار تقنيات مثل التسرب أو اضمحلال الوزن، عن طريق إضافة ضوضاء إلى التسميات، وبالتالي تقييد تعقيد أوزان النموذج المكتسبة.

التطبيقات والأمثلة

يتم تطبيق تجانس التسمية على نطاق واسع في سيناريوهات التصنيف في مختلف المجالات:

1. تصنيف الصور: في مهام تصنيف الصور على نطاق واسع، مثل التدريب على مجموعة بيانات ImageNet، يساعد تجانس التسمية النماذج على التعميم بشكل أفضل وتحقيق دقة أعلى في مجموعات التحقق من الصحة. غالبًا ما تستفيد نماذج مثل Vision Transformers (ViT) من هذه التقنية أثناء التدريب. يمكنك تدريب نماذج التصنيف باستخدام أدوات مثل Ultralytics HUB.
2. معالجة اللغة الطبيعية (NLP): في مهام مثل الترجمة الآلية أو تصنيف النصوص، حيث يتم استخدام نماذج مثل Transformers، يمكن أن يؤدي تجانس التسميات إلى تحسين الأداء من خلال منع النموذج من أن يصبح متأكدًا بشكل مفرط بشأن تنبؤات أو تصنيفات كلمات معينة، خاصةً بالنظر إلى الغموض المتأصل في اللغة.
3. التعرّف على الكلام: على غرار البرمجة اللغوية العصبية، يمكن أن تستفيد نماذج التعرّف على الكلام من تجانس التسمية للتعامل مع الاختلافات في النطق وعدم الدقة المحتملة في النسخ ضمن بيانات التدريب.

على الرغم من عدم تفصيلها دائمًا بشكل صريح لكل بنية معمارية، إلا أن تقنيات مثل تجانس التسمية غالبًا ما تكون جزءًا من وصفات التدريب القياسية لأحدث النماذج، بما في ذلك نماذج اكتشاف الأجسام مثل Ultralytics YOLO خلال مراحل تصنيفها، على الرغم من أن تأثيرها قد يختلف اعتمادًا على المهمة ومجموعة البيانات المحددة.

المفاهيم ذات الصلة

• ترميز واحد ساخن: الطريقة القياسية لتمثيل التسميات الفئوية حيث يُدخل ترميز التسمية تعديلاً. يعيّن الترميز ذو الدرجة الواحدة 1 للفئة الحقيقية و 0 للفئات الأخرى.
• تقطير المعرفة: تستخدم هذه التقنية أيضًا أهدافًا ناعمة، لكن الهدف مختلف. تستخدم تقنية تقطير المعرفة مخرجات الاحتمالات لنموذج "معلم" أكبر مدرب مسبقًا كتسميات ناعمة لتدريب نموذج "طالب" أصغر، ونقل المعرفة المكتسبة. تجانس التسمية هو أسلوب تنظيم ذاتي قائم بذاته يتم تطبيقه أثناء التدريب القياسي.
• دوال الخسارة: عادةً ما يتم استخدام تنعيم التسمية بالاقتران مع دوال الخسارة مثل دوال الخسارة مثل الانتروبيا المتقاطعة، وتعديل التوزيع المستهدف الذي يتم حساب الخسارة على أساسه.
• التنظيم: تندرج تحت الفئة الأوسع من تقنيات التنظيم التي تهدف إلى تحسين تعميم النموذج ومنع الإفراط في التعميم. وتشمل الأمثلة الأخرى التسرب والتسوية L1/L2.

الاعتبارات

على الرغم من أن تجانس التسميات مفيد، إلا أنه يتطلب تطبيقًا دقيقًا. إن عامل التنعيم (ألفا) هو معيار مفرط يحتاج إلى ضبط؛ قد يكون للقيمة الصغيرة جدًا تأثير ضئيل، في حين أن القيمة الكبيرة جدًا قد تعيق التعلم من خلال جعل التسميات غير مفيدة للغاية. على الرغم من أن تأثيره على معايرة النموذج، على الرغم من أنه غالبًا ما يكون إيجابيًا، إلا أنه يجب تقييمه للتطبيق المحدد، مما قد يتطلب طرق معايرة لاحقة في بعض الحالات. إنها أداة بسيطة لكنها فعالة غالبًا ما تُستخدم في أطر التعلم العميق الحديثة مثل PyTorch و TensorFlow.