مسرد المصطلحات

بيانات التحقق من الصحة

قم بتحسين نماذج التعلم الآلي باستخدام بيانات التحقق من الصحة لمنع الإفراط في الضبط، وضبط المعلمات الفائقة، وضمان أداء قوي وواقعي.

تدريب YOLO النماذج
ببساطة مع Ultralytics HUB

التعرف على المزيد

تُعد بيانات التحقق من صحة البيانات مكونًا حاسمًا في دورة تطوير التعلم الآلي (ML). وهي مجموعة فرعية منفصلة من مجموعة البيانات الأصلية، تختلف عن بيانات التدريب المستخدمة لملاءمة النموذج وبيانات الاختبار المستخدمة للتقييم النهائي. يتمثل الغرض الأساسي من بيانات التحقق من الصحة في توفير تقييم غير متحيز لملاءمة النموذج على مجموعة بيانات التدريب أثناء ضبط المعلمات الفائقة للنموذج واتخاذ قرارات بشأن بنية النموذج. تساعد هذه العملية في اختيار أفضل تكوين للنموذج قبل تقييم أدائه النهائي على البيانات غير المرئية.

دور بيانات التحقق من صحة البيانات

أثناء عملية تدريب النموذج، يتعلم نموذج التعلم الآلي الأنماط من بيانات التدريب. ومع ذلك، فإن تقييم النموذج على هذه البيانات فقط يمكن أن يكون مضللاً، لأن النموذج قد يحفظ ببساطة أمثلة التدريب، وهي ظاهرة تُعرف باسم الإفراط في التهيئة. تعمل بيانات التحقق من صحة البيانات كنقطة تحقق. من خلال تقييم أداء النموذج على هذه المجموعة المنفصلة بشكل دوري أثناء التدريب، يمكن للمطورين:

  1. ضبط المعلمات الفائقة: ضبط الإعدادات مثل معدل التعلّم أو حجم الدفعة أو تعقيد النموذج بناءً على مقاييس الأداء(الدقة أو mAP، إلخ) المحسوبة على مجموعة التحقق من الصحة. غالبًا ما يتم ذلك باستخدام التقنيات التي تمت مناقشتها في أدلة ضبط المعلمات الفائقة.
  2. تحديد النماذج: قارن بين بنيات أو إصدارات النماذج المختلفة (على سبيل المثال، مقارنة Ultralytics YOLOv8 مقابل YOLOv10) بناءً على أداء التحقق من صحتها.
  3. منع الإفراط في الملاءمة: راقب مقاييس التحقق من الصحة لاكتشاف متى يبدأ أداء النموذج في الأداء الأسوأ على مجموعة التحقق من الصحة حتى مع تحسن أداء التدريب، مما يشير إلى الإفراط في الملاءمة. تعتمد تقنيات مثل الإيقاف المبكر على أداء التحقق من الصحة.

بيانات التحقق من الصحة مقابل بيانات التدريب والاختبار

يعد فهم التمييز بين مجموعات بيانات التدريب والتحقق من الصحة والاختبار أمرًا أساسيًا لتطوير نموذج قوي:

  • بيانات التدريب: الجزء الأكبر من مجموعة البيانات، والتي تستخدمها خوارزمية التعلم مباشرةً لتعلم الأنماط وضبط أوزان النموذج. "يرى" النموذج هذه البيانات بشكل متكرر خلال حلقات التدريب(الحلقات).
  • بيانات التحقق من الصحة: جزء أصغر يستخدم بشكل غير مباشر أثناء التدريب. لا يتعلم النموذج مباشرةً من هذه البيانات، لكن الأداء على هذه المجموعة يوجه القرارات المتعلقة بالمعاملات الفائقة وبنية النموذج. يوفر ملاحظات حول مدى جودة تعميم النموذج على البيانات الجديدة أثناء مرحلة التطوير.
  • بيانات الاختبار: جزء منفصل تمامًا من البيانات التي لم يسبق للنموذج أن شاهدها أثناء التدريب أو التحقق من الصحة. يتم استخدامه مرة واحدة فقط بعد اكتمال جميع عمليات التدريب والضبط لتوفير تقدير نهائي غير متحيز لقدرة النموذج على التعميم على بيانات العالم الحقيقي غير المرئية.

يضمن الفصل المناسب، الذي غالبًا ما تتم إدارته باستخدام أدوات مثل Ultralytics HUB لإصدار مجموعة البيانات وإدارتها، عدم "تسرب" المعلومات من مجموعة الاختبار إلى عملية التدريب أو اختيار النموذج، مما قد يؤدي إلى تقديرات أداء مفرطة في التفاؤل.

ضبط البارامتر الفائق واختيار النموذج

لا غنى عن بيانات التحقق من الصحة لضبط المعلمات الفائقة. المعلمات الفائقة هي إعدادات تكوين خارجة عن النموذج نفسه، يتم ضبطها قبل بدء عملية التعلم. ومن الأمثلة على ذلك معدل التعلم، أو عدد الطبقات في الشبكة العصبونية، أو نوع خوارزمية التحسين المستخدمة. يقوم المطورون بتدريب إصدارات متعددة من النماذج بمجموعات مختلفة من المعلمات الفائقة، وتقييم كل منها على مجموعة التحقق من الصحة، واختيار المجموعة التي تحقق أفضل أداء. يمكن أتمتة هذا البحث المنهجي باستخدام طرق مثل البحث الشبكي أو التحسين البايزي، وغالبًا ما يتم تسهيله من خلال منصات مدمجة مع أدوات MLOps.

أمثلة من العالم الحقيقي

  1. اكتشاف كائناتالرؤية الحاسوبية: عند تدريب Ultralytics YOLO للكشف عن الأجسام في الصور (على سبيل المثال، باستخدام مجموعة بيانات VisDrone)، يتم وضع جزء من الصور المصنفة جانبًا كبيانات تحقق. أثناء التدريب، يتم حساب متوسط الدقة المتوسطة للنموذج (متوسط الدقة) على مجموعة التحقق هذه بعد كل مرحلة من مراحل التحقق. تساعد خطة التحقق من الصحة هذه في تحديد وقت إيقاف التدريب (التوقف المبكر) أو أي مجموعة من تقنيات زيادة البيانات تعمل بشكل أفضل، قبل إجراء فحص الأداء النهائي على مجموعة الاختبار. تعتمد استراتيجيات تقييم النماذج الفعالة بشكل كبير على هذا التقسيم.
  2. تصنيف نصوصمعالجة اللغات الطبيعية: عند تطوير نموذج لتصنيف مراجعات العملاء على أنها إيجابية أو سلبية(تحليل المشاعر)، يتم استخدام مجموعة التحقق من صحة النموذج لاختيار البنية المثلى (على سبيل المثال، LSTM مقابل Transformer) أو ضبط المعلمات الفائقة مثل معدلات التسرب. يتم اختيار النموذج الذي يحقق أعلى درجة F1 أو دقة في مجموعة التحقق من الصحة للاختبار النهائي. موارد مثل Hugging Face غالبًا ما توفر مجموعات بيانات مقسمة مسبقًا لهذا الغرض.

التحقق التبادلي

عندما تكون كمية البيانات المتوفرة محدودة، غالبًا ما يتم استخدام تقنية تسمى التحقق المتقاطع (تحديدًا التحقق المتقاطع K-Falidation). هنا، يتم تقسيم بيانات التدريب إلى مجموعات فرعية "K" (طيّات). يتم تدريب النموذج K مرات، وفي كل مرة يتم استخدام طيات K-1 للتدريب والطية المتبقية كمجموعة التحقق من الصحة. ثم يتم حساب متوسط الأداء عبر جميع عمليات التشغيل K. يوفر هذا تقديرًا أكثر قوة لأداء النموذج ويستفيد بشكل أفضل من البيانات المحدودة، كما هو موضح في دليل التحقق المتقاطع K-Falidation K-Fold للتحقق من صحة Ultralytics .

باختصار، بيانات التحقق من الصحة هي حجر الزاوية في بناء نماذج ذكاء اصطناعي موثوقة وعالية الأداء. فهي تُمكِّن من ضبط المعامل الفائق بفعالية، واختيار النماذج، ومنع الإفراط في التكييف، مما يضمن تعميم النماذج بشكل جيد خارج نطاق البيانات التي تم تدريبها عليها.

قراءة الكل