انجراف البيانات

انجراف البيانات هو تحدٍ شائع في التعلم الآلي (ML) يحدث عندما تتغير الخصائص الإحصائية للبيانات التي يواجهها النموذج في الإنتاج بمرور الوقت مقارنةً ببيانات التدريب التي تم بناؤها عليها. ويعني هذا التحول أن النموذج يعمل على بيانات لم يتم إعداده لها، مما قد يؤدي إلى تدهور صامت ولكن كبير في أدائه التنبؤي. تُعد إدارة انجراف البيانات بفعالية عنصراً حاسماً في دورة حياة عمليات التشغيل الآلي للذكاء الاصطناعي، مما يضمن بقاء أنظمة الذكاء الاصطناعي موثوقة بعد نشر النموذج. وبدون مراقبة استباقية للنموذج، يمكن ألا يتم اكتشاف هذه المشكلة، مما يؤدي إلى قرارات سيئة ونتائج سلبية على الأعمال.

انجراف البيانات مقابل انجراف المفاهيم

من المهم التمييز بين انجراف البيانات ومشكلة ذات صلة، وهي انجراف المفهوم. فبينما يمكن أن يؤدي كلاهما إلى تدهور أداء النموذج، فإن أسبابهما مختلفة.

• انجراف البيانات: يُعرف أيضًا باسم انجراف الميزة أو المتغيّر المشترك، ويحدث ذلك عندما يتغير توزيع بيانات المدخلات، لكن العلاقة الأساسية بين المدخلات والمخرجات تظل ثابتة. على سبيل المثال، قد يكون أداء نموذج الرؤية الحاسوبية المدرّب على صور من نوع واحد من الكاميرات ضعيفًا على صور من كاميرا جديدة ذات خصائص مستشعر مختلفة. تعريف الكائنات التي يتم اكتشافها هو نفسه، لكن خصائص بيانات المدخلات قد تغيرت.
• انجراف المفهوم: يحدث هذا عندما تتغير الخصائص الإحصائية للمتغير الهدف بمرور الوقت. تتغير العلاقة الأساسية بين خصائص المدخلات ومتغير المخرجات. في نظام الكشف عن الاحتيال المالي، على سبيل المثال، تتطور الأساليب التي يستخدمها المحتالون، مما يؤدي إلى تغيير ما يشكل معاملة "احتيالية". يمكن العثور على استكشاف مفصل لانجراف المفهوم في الأدبيات الأكاديمية.

أمثلة من العالم الحقيقي

1. إدارة مخزون التجزئة: يستخدم نظام البيع بالتجزئة الذي يعتمد على الذكاء الاصطناعي موجزات الكاميرا ونموذج الكشف عن الأشياء مثل Ultralytics YOLO11 لمراقبة مخزون الرفوف. يتم تدريب النموذج على مجموعة محددة من عبوات المنتجات. إذا قام أحد الموردين بتغيير تصميم العبوة أو قام المتجر بترقية إضاءته، فإن هذا يؤدي إلى انحراف البيانات. تختلف البيانات المرئية الجديدة عن مجموعة بيانات التدريب الأصلية، مما قد يتسبب في فشل النموذج في التعرف على المنتجات، مما يؤدي إلى عدم دقة جرد المخزون.
2. السيارات ذاتية القيادة: تستخدم السيارات ذاتية القيادة نماذج مدربة على كميات هائلة من بيانات أجهزة الاستشعار من مواقع جغرافية وظروف مناخية محددة. إذا تم نشر السيارة في مدينة جديدة أو واجهت حدثاً مناخياً نادراً مثل الثلوج لأول مرة، فإن نظام الإدراك الخاص بها يواجه انحرافاً في البيانات. ويختلف توزيع المدخلات (على سبيل المثال، علامات الطرق، وإشارات المرور، وسلوك المشاة) اختلافاً كبيراً عن تجربة التدريب، مما قد يضر بالسلامة ويتطلب اهتماماً فورياً. تستثمر شركة Waymo وغيرها من شركات القيادة الذاتية بكثافة في اكتشاف هذا الأمر والتخفيف من حدته.

اكتشاف انحراف البيانات والتخفيف من حدته

يعد اكتشاف ومعالجة انحراف البيانات عملية مستمرة تتضمن مجموعة من استراتيجيات المراقبة والصيانة.

طرق الكشف

• مراقبة الأداء: يمكن أن يشير تتبع مقاييس النماذج الرئيسية مثل الدقة والاستدعاء ودرجة F1 بمرور الوقت إلى تدهور الأداء الذي قد يكون ناتجًا عن الانجراف. يمكن لأدوات مثل TensorBoard أن تساعد في تصور هذه المقاييس.
• الرصد الإحصائي: تطبيق اختبارات إحصائية لمقارنة توزيع البيانات الواردة مع بيانات التدريب. تشمل الطرق الشائعة اختبار كولموغوروف-سميرنوف أو مؤشر ثبات السكان (PSI) أو اختبارات تشي-تربيع.
• أدوات المراقبة: استخدام منصات مراقبة متخصصة مصممة لمراقبة نماذج تعلّم الآلة في الإنتاج. تشمل الخيارات مفتوحة المصدر Prometheus و Grafana، في حين أن الأدوات المخصصة لتعلّم الآلة مثل Evidently AI و NannyML تقدم ميزات أكثر تحديداً للكشف عن الانجراف. يقدم موفرو الخدمات السحابية أيضًا حلولًا مثل AWS SageMaker Model Monitor و Vertex AI Model Monitoring من Google Cloud.

استراتيجيات التخفيف من المخاطر

• إعادة التدريب: تتمثل الاستراتيجية الأكثر وضوحًا في إعادة تدريب النموذج بانتظام على بيانات جديدة وحديثة تعكس بيئة الإنتاج الحالية. تعمل المنصات مثل Ultralytics HUB على تسهيل عمليات إعادة التدريب والنشر بسهولة.
• التعلّم عبر الإنترنت: يتضمن تحديث النموذج بشكل تدريجي عند وصول بيانات جديدة. يجب استخدامه بحذر، حيث يمكن أن يكون حساسًا للبيانات المشوشة وقد يتسبب في تذبذب أداء النموذج بشكل غير متوقع.
• تعزيز البيانات: يمكن أن يؤدي استخدام تقنيات زيادة البيانات بشكل استباقي خلال مرحلة التدريب الأولية إلى جعل النموذج أكثر قوة في مواجهة أنواع معينة من الاختلافات، مثل التغييرات في الإضاءة أو المقياس أو الاتجاه.
• تكييف المجال: توظيف التقنيات المتقدمة التي تحاول صراحةً تكييف نموذج مُدرَّب على توزيع بيانات المصدر مع توزيع بيانات مستهدفة مختلفة ولكن ذات صلة. وهذا مجال نشط في أبحاث التعلم الآلي.

تُعد إدارة انجراف البيانات بفعالية أمرًا حيويًا لضمان أن تظل أنظمة الذكاء الاصطناعي المبنية باستخدام أطر عمل مثل PyTorch أو TensorFlow دقيقة وتوفر قيمة طوال فترة تشغيلها. يمكنك معرفة المزيد حول أفضل ممارسات صيانة النماذج في مدونتنا.