التسوية

التنظيم (Regularization) عبارة عن مجموعة من التقنيات المستخدمة في التعلم الآلي (ML) لمنع مشكلة شائعة تعرف باسم التحيز الزائد (Overfitting). عندما يكون النموذج متحيزًا بشكل زائد، فإنه يتعلم بيانات التدريب بشكل جيد للغاية، بما في ذلك الضوضاء والتقلبات العشوائية، مما يؤثر سلبًا على قدرته على التعميم وتقديم تنبؤات دقيقة بشأن البيانات الجديدة غير المرئية. يعمل التنظيم عن طريق إضافة جزاء لتعقيد النموذج إلى دالة الخسارة (Loss Function)، مما يثبط النموذج عن تعلم الأنماط المعقدة بشكل مفرط. يساعد هذا في إنشاء نموذج أبسط وأكثر قابلية للتعميم ويعمل بشكل أفضل على كل من بيانات التدريب و بيانات التحقق (Validation Data).

تقنيات التنظيم الشائعة

هناك العديد من تقنيات التنظيم المستخدمة على نطاق واسع والتي تساعد على تحسين أداء النموذج وقوته:

• تسوية L1 و L2: هذه هي الأشكال الأكثر شيوعًا للتسوية. إنها تضيف جزاءً إلى دالة الخسارة بناءً على حجم أوزان النموذج. تميل تسوية L1 (Lasso) إلى تقليص أوزان الميزات الأقل أهمية إلى الصفر تمامًا، مما يؤدي فعليًا إلى تحديد الميزات. تجبر تسوية L2 (Ridge أو Weight Decay) الأوزان على أن تكون صغيرة ولكن نادرًا ما تكون صفرًا. يمكن العثور على مزيد من التفاصيل حول الاختلافات الرياضية في موارد مثل ملاحظات دورة Stanford CS229.
• طبقة التسرب (Dropout Layer): هذه التقنية خاصة بـ الشبكات العصبية. أثناء التدريب، تقوم عشوائيًا بتعيين جزء من تنشيطات الخلايا العصبية إلى الصفر في كل خطوة تحديث. هذا يمنع الخلايا العصبية من التكيف المشترك بشكل كبير ويجبر الشبكة على تعلم ميزات أكثر قوة. تم تقديم هذا المفهوم في ورقة بحثية مؤثرة للغاية.
• زيادة البيانات: من خلال التوسع الاصطناعي في حجم وتنوع بيانات التدريب، تساعد زيادة البيانات النموذج على أن يصبح أكثر ثباتًا للتغيرات الطفيفة. تتضمن التقنيات الشائعة تدوير الصور واقتصاصها وتغيير حجمها وتحويل الألوان فيها. تقدم Ultralytics طرق زيادة بيانات YOLO المضمنة لتحسين قوة النموذج.
• التوقف المبكر: هذه طريقة عملية حيث تتم مراقبة أداء النموذج على مجموعة التحقق أثناء التدريب. تتوقف عملية التدريب عندما يتوقف أداء التحقق عن التحسن، مما يمنع النموذج من البدء في الزيادة المفرطة في الحقب اللاحقة. يتوفر دليل عملي حول تنفيذ التوقف المبكر في وثائق PyTorch.

تطبيقات واقعية

التنظيم (Regularization) أمر أساسي لتطوير نماذج التعلم العميق (DL) الفعالة في مختلف المجالات.

1. الرؤية الحاسوبية: في نماذج اكتشاف الكائنات مثل Ultralytics YOLO، يعد التنظيم أمرًا بالغ الأهمية للتعميم من مجموعات البيانات مثل COCO إلى تطبيقات العالم الحقيقي. على سبيل المثال، في الذكاء الاصطناعي لحلول السيارات، يساعد تنظيم L2 والتسرب كاشف إشارات المرور على العمل بشكل موثوق في ظل ظروف الإضاءة والطقس المتغيرة، مما يمنعه من حفظ الأمثلة المحددة التي شوهدت أثناء التدريب.
2. معالجة اللغة الطبيعية (NLP): نماذج اللغة الكبيرة (LLMs) عرضة للإفراط في التخصيص (overfitting) نظرًا لعدد المعلمات الهائل لديها. في تطبيقات مثل الترجمة الآلية، يتم استخدام التسرب (dropout) داخل هياكل Transformer لضمان أن النموذج يتعلم القواعد النحوية والعلاقات الدلالية بدلاً من مجرد حفظ أزواج جمل محددة من بيانات التدريب الخاصة به.

التنظيم (Regularization) مقابل المفاهيم الأخرى

من المهم التمييز بين التنظيم (Regularization) والمفاهيم الأخرى ذات الصلة في تعلم الآلة:

• التنظيم مقابل التطبيع: التطبيع هو أسلوب معالجة مسبقة للبيانات يقوم بتوسيع نطاق ميزات الإدخال إلى نطاق قياسي (على سبيل المثال، من 0 إلى 1). يضمن عدم هيمنة أي ميزة واحدة على عملية التعلم بسبب حجمها. التنظيم، على النقيض من ذلك، هو أسلوب يقيد تعقيد النموذج أثناء التدريب لمنع التجاوز. في حين أن كلاهما يحسن أداء النموذج، يركز التطبيع على البيانات، بينما يركز التنظيم على النموذج نفسه. تطبيع الدُفعة هو أسلوب تطبيع على مستوى الطبقة يوفر أيضًا تأثيرًا تنظيميًا طفيفًا.
• التنظيم مقابل ضبط المعلمات الفائقة: تحتوي تقنيات التنظيم على معلمات فائقة خاصة بها، مثل قوة التنظيم (lambda) في L1/L2 أو معدل الاستبعاد. ضبط المعلمات الفائقة هو عملية إيجاد القيم المثلى لهذه الإعدادات، وغالبًا ما تتم تلقائيًا باستخدام أدوات مثل فئة Ultralytics Tuner. باختصار، يمكنك استخدام ضبط المعلمات الفائقة للعثور على أفضل طريقة لتطبيق التنظيم. يمكن أن تساعد منصات مثل Ultralytics HUB في إدارة التجارب اللازمة لهذه العملية.