Data Cleaning

تنظيف البيانات هو عملية بالغة الأهمية لاكتشاف السجلات التالفة أو غير الدقيقة أو غير ذات الصلة وتصحيحها (أو إزالتها) من مجموعة سجلات أو جدول أو قاعدة بيانات. وفي مجال الذكاء الاصطناعي (AI) والتعلم الآلي (ML)، غالبًا ما تُعد هذه الخطوة الجزء الأكثر استهلاكًا للوقت، وإن كان أساسيًا، من سير العمل. قبل أن يتمكن نموذج مثل YOLO26 من تعلم التعرّف على الكائنات بفعالية، يجب تنقية بيانات التدريب من الأخطاء لتجنب ظاهرة "مدخلات رديئة، مخرجات رديئة"، حيث تؤدي المدخلات منخفضة الجودة إلى مخرجات غير موثوقة.

أهمية تكامل البيانات في الذكاء الاصطناعي#

تعتمد نماذج الرؤية الحاسوبية عالية الأداء بدرجة كبيرة على جودة مجموعات البيانات التي تستهلكها. فإذا احتوت مجموعة البيانات على صور ذات تسميات خاطئة أو ملفات مكررة أو تالفة، فسيواجه النموذج صعوبة في تعميم الأنماط، مما يؤدي إلى فرط التكيّف أو ضعف دقة الاستدلال. ويسهم تنظيف البيانات الفعّال في تحسين موثوقية النماذج التنبؤية وضمان تعلّم الخوارزمية من الإشارات الصحيحة بدلًا من الضوضاء.

تقنيات تنظيف البيانات الشائعة#

يستخدم الممارسون استراتيجيات متنوعة لتحسين مجموعات بياناتهم، بالاستعانة بأدوات مثل Pandas للبيانات الجدولية أو أدوات الرؤية المتخصصة.

• معالجة القيم المفقودة: يتضمن ذلك إما إزالة السجلات التي تحتوي على بيانات مفقودة أو استخدام تقنيات الإكمال لملء الفجوات استنادًا إلى المتوسطات الإحصائية أو أقرب الجيران.
• إزالة التكرارات: قد تؤدي الصور المكررة في مجموعة التدريب إلى تحييز النموذج دون قصد. وتضمن إزالتها عدم حفظ النموذج لأمثلة محددة، مما يساعد على الحد من تحيّز مجموعة البيانات.
• اكتشاف القيم الشاذة: يُعد تحديد الشذوذات أو القيم الشاذة التي تنحرف بدرجة كبيرة عن المعيار ومعالجتها أمرًا بالغ الأهمية، إذ يمكن أن تؤدي هذه القيم إلى تحريف التحليل الإحصائي وأوزان النموذج.
• الإصلاح البنيوي: يشمل ذلك تصحيح الأخطاء المطبعية في تسميات الفئات (مثل تصحيح "Car" مقابل "car") لضمان اتساق الفئات.

التطبيقات الواقعية#

يُعد تنظيف البيانات محوريًا في مختلف القطاعات التي يُنشر فيها الذكاء الاصطناعي.

• تحليل الصور الطبية: في تطبيقات الذكاء الاصطناعي في الرعاية الصحية، غالبًا ما تحتوي مجموعات البيانات على صور مسح تتضمن شوائب أو بيانات وصفية غير صحيحة للمرضى أو ضوضاء خلفية غير ذات صلة. ويضمن تنظيف هذه البيانات تركيز نماذج تحليل الصور الطبية على المؤشرات البيولوجية المرتبطة بالتشخيص وحدها.
• إدارة مخزون البيع بالتجزئة: بالنسبة إلى الذكاء الاصطناعي في قطاع البيع بالتجزئة، قد تحتوي مجموعات بيانات المنتجات على عناصر قديمة أو صور ذات نسب أبعاد غير صحيحة. ويضمن تنظيف مجموعات البيانات هذه قدرة نماذج اكتشاف الكائنات على تحديد مستويات المخزون بدقة وتقليل الإيجابيات الكاذبة في بيئة مباشرة.

التمييز بين تنظيف البيانات والمعالجة المسبقة#

على الرغم من استخدام المصطلحين غالبًا بالتبادل، يختلف تنظيف البيانات عن المعالجة المسبقة للبيانات. يركز تنظيف البيانات على إصلاح الأخطاء وإزالة البيانات "السيئة". أما المعالجة المسبقة فتتضمن تحويل البيانات النظيفة إلى تنسيق مناسب للنموذج، مثل تغيير حجم الصور والتطبيع أو تطبيق زيادة البيانات لزيادة التنوع.

أتمتة فحوصات الجودة#

تدمج سير العمل الحديثة، مثل تلك المتاحة على منصة Ultralytics، فحوصات آلية لاكتشاف الصور التالفة أو حالات عدم اتساق التسميات قبل بدء التدريب. يوضح مثال Python البسيط أدناه كيفية فحص ملفات الصور التالفة وتحديدها باستخدام مكتبة Pillow القياسية، وهي خطوة شائعة قبل إدخال البيانات إلى نموذج مثل YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")