تنعيم العلامات

تنعيم التصنيفات هو إحدى تقنيات التنظيم المستخدمة أثناء تدريب نماذج تعلم الآلة، وخاصة في مهام التصنيف. يعالج مشكلة الثقة المفرطة للنموذج عن طريق منع النموذج من تخصيص الاحتمالية الكاملة البالغة 1.0 للفئة الصحيحة. بدلاً من استخدام التصنيفات "الصلبة" (حيث تكون الفئة الصحيحة 1 وجميع الفئات الأخرى 0)، يقوم تنعيم التصنيفات بإنشاء تصنيفات "ناعمة"، وتوزيع جزء صغير من كتلة الاحتمالية على الفئات الأخرى. يشجع هذا النموذج على أن يكون أقل يقينًا بشأن تنبؤاته، مما قد يؤدي إلى تعميم أفضل وتحسين الأداء على البيانات غير المرئية. تم استخدام هذه التقنية بشكل ملحوظ في النماذج عالية الأداء وهي مفصلة في أوراق مثل متى يساعد تنعيم التصنيفات؟.

كيف يعمل تجانس الملصقات؟

في مسألة تصنيف التعلم الخاضع للإشراف النموذجية، تتكون بيانات التدريب من المدخلات والعلامات الصحيحة المقابلة لها. على سبيل المثال، في مهمة تصنيف الصور، سيكون لصورة قطة العلامة "قطة" ممثلة كمتجه بترميز "واحد ساخن" لفئات مثل [قطة، كلب، طائر]. عند حساب دالة الخسارة، تتم معاقبة النموذج بناءً على مدى بعد توقعه عن هذا الهدف الثابت.

يقوم تنعيم التصنيفات بتعديل هذا الهدف. فهو يقلل قليلاً من الاحتمالية المستهدفة للفئة الصحيحة (على سبيل المثال، إلى 0.9) ويوزع الاحتمالية الصغيرة المتبقية (0.1 في هذه الحالة) بالتساوي بين الفئات غير الصحيحة. لذلك، قد يبدو الهدف "الناعم" الجديد مثل [0.9، 0.05، 0.05]. يشجع هذا التغيير الطفيف الطبقة المنطقية النهائية للشبكة العصبية على عدم إنتاج قيم كبيرة للغاية لفئة واحدة، مما يساعد على منع التجاوز. يمكن إدارة هذه العملية أثناء تدريب النموذج باستخدام منصات مثل Ultralytics HUB.

فوائد تنعيم العلامات (Label Smoothing)

الميزة الأساسية لتنعيم التصنيفات هي أنه يحسن معايرة النموذج. تعكس درجات الثقة المتوقعة للنموذج المعاير جيدًا بدقة أكبر الاحتمالية الحقيقية للصحة. يعد هذا أمرًا بالغ الأهمية للتطبيقات التي يكون فيها فهم يقين النموذج مهمًا، كما هو الحال في تحليل الصور الطبية. من خلال منع الثقة المفرطة، فإنه يحسن أيضًا قدرة النموذج على التعميم على بيانات جديدة، وهو هدف رئيسي لأي مشروع تعلم آلي. غالبًا ما يؤدي هذا إلى زيادة طفيفة في الدقة. يؤدي التعميم الأفضل إلى نماذج أكثر قوة لـ الاستدلال في الوقت الفعلي و نشر النموذج النهائي.

تطبيقات واقعية

تنعيم التصنيفات هو أسلوب بسيط ولكنه فعال يتم تطبيقه في العديد من النماذج الحديثة.

1. تصنيف الصور على نطاق واسع: غالبًا ما تستخدم نماذج مثل Ultralytics YOLO المدربة على مهام تصنيف الصور على مجموعات بيانات ضخمة مثل ImageNet تجانس التصنيفات (Label Smoothing). يمكن أن تحتوي مجموعات البيانات هذه أحيانًا على تصنيفات مشوشة أو غير صحيحة من عملية تسمية البيانات. تجعل عملية تجانس التصنيفات النموذج أكثر قوة في مواجهة هذا التشويش في التصنيفات، مما يمنعه من تعلم أن يكون واثقًا بشكل مفرط بشأن التصنيفات التي قد تكون خاطئة. يمكنك استكشاف مجموعة متنوعة من مجموعات بيانات التصنيف لمشاريعك.
2. معالجة اللغة الطبيعية (NLP): في مهام مثل الترجمة الآلية، يمكن أن يكون هناك ترجمات متعددة صالحة لعبارة واحدة. يعمل تجانس التصنيفات (Label Smoothing)، المستخدم في نماذج مثل Transformer، على تثبيط النموذج من تعيين احتمال 1.0 لكلمة صحيحة واحدة في المفردات، مع الاعتراف بأن الكلمات الأخرى قد تكون مناسبة أيضًا. هذا المفهوم أساسي في معالجة اللغة الطبيعية (NLP) الحديثة وتتم مناقشته في موارد من مؤسسات مثل مجموعة ستانفورد لمعالجة اللغة الطبيعية (Stanford NLP Group).

تنعيم التصنيفات مقابل المفاهيم ذات الصلة

من المهم التمييز بين تسوية الملصقات وتقنيات التنظيم الأخرى.

• التصنيفات الصلبة: هذا هو النهج القياسي حيث يتم تدريب النموذج بيقين مطلق (100٪ للفئة الصحيحة). يعتبر تنعيم التصنيفات بديلاً مباشراً لذلك.
• زيادة البيانات: هذه تقنية تنظيم أخرى تنشئ أمثلة تدريب جديدة عن طريق تطبيق تحويلات على البيانات الموجودة. إنها تزيد من تنوع مجموعة البيانات، بينما يقوم Label Smoothing بتعديل القيم المستهدفة نفسها. يمكنك العثور على أدلة لـ زيادة بيانات YOLO داخل وثائق Ultralytics.
• Dropout: تقوم هذه الطريقة بتعطيل جزء من الخلايا العصبية عشوائيًا خلال كل خطوة تدريب لمنع التكيفات المعقدة. إنها تعدل بنية النموذج أثناء التدريب، بينما يقوم تجانس العلامات (Label Smoothing) بتعديل حساب الخسارة. يمكن العثور على نظرة أكثر تعمقًا حول التسرب في مقالة GeeksforGeeks حول الموضوع.
• تقطير المعرفة (Knowledge Distillation): في هذه التقنية، يتم تدريب نموذج "طالب" أصغر باستخدام الملصقات اللينة التي ينتجها نموذج "معلم" أكبر ومدرب مسبقًا. في حين أنه يستخدم أيضًا ملصقات لينة، فإن مصدر هذه الملصقات هو تنبؤات نموذج آخر، وليس استدلالًا بسيطًا يتم تطبيقه على ملصقات الحقيقة الأساسية كما هو الحال في تنعيم الملصقات. تقدم ورقة تقطير المعرفة في الشبكة العصبية الأصلية (Distilling the Knowledge in a Neural Network paper) فهمًا أساسيًا لهذا المفهوم.