Data Cleaning

تنظيف البيانات هو العملية الحاسمة للكشف عن السجلات التالفة أو غير الدقيقة أو غير ذات الصلة من مجموعة سجلات أو جدول أو قاعدة بيانات وتصحيحها (أو إزالتها). في مجال الذكاء الاصطناعي (AI) وتعلم الآلة (ML)، تُعتبر هذه الخطوة غالبًا الجزء الأكثر استهلاكًا للوقت والأكثر أهمية في سير العمل. قبل أن يتمكن نموذج مثل YOLO26 من التعلم بفعالية للتعرف على الكائنات، يجب تنقية بيانات التدريب من الأخطاء لمنع ظاهرة "إدخال القمامة يؤدي إلى إخراج القمامة" (Garbage In, Garbage Out)، حيث تؤدي المدخلات منخفضة الجودة إلى مخرجات غير موثوقة.

Link to this sectionأهمية سلامة البيانات في الذكاء الاصطناعي#

تعتمد نماذج الرؤية الحاسوبية عالية الأداء بشكل كبير على جودة مجموعات البيانات التي تستهلكها. إذا كانت مجموعة البيانات تحتوي على صور مصنفة بشكل خاطئ، أو مكررات، أو ملفات تالفة، فسيعاني النموذج من صعوبة في تعميم الأنماط، مما يؤدي إلى فرط التخصيص أو ضعف دقة الاستدلال. يعمل التنظيف الفعال للبيانات على تحسين موثوقية النماذج التنبؤية ويضمن أن تتعلم الخوارزمية من إشارات صالحة بدلاً من الضوضاء.

Link to this sectionتقنيات تنظيف البيانات الشائعة#

يستخدم الممارسون استراتيجيات متنوعة لتحسين مجموعات بياناتهم باستخدام أدوات مثل Pandas للبيانات الجدولية أو أدوات الرؤية المتخصصة.

• التعامل مع القيم المفقودة: يتضمن ذلك إما إزالة السجلات التي تحتوي على بيانات مفقودة أو استخدام تقنيات التضمين لملء الفجوات بناءً على المتوسطات الإحصائية أو أقرب الجيران.
• إزالة التكرارات: يمكن للصور المكررة في مجموعة التدريب أن تؤثر على النموذج بشكل غير مقصود. تضمن إزالتها عدم حفظ النموذج لأمثلة محددة، مما يساعد في تخفيف تحيز مجموعة البيانات.
• اكتشاف القيم المتطرفة: يعد تحديد والتعامل مع الشذوذ أو القيم المتطرفة التي تنحرف بشكل كبير عن القاعدة أمرًا بالغ الأهمية، حيث يمكن أن تؤدي هذه إلى تحريف التحليل الإحصائي وأوزان النموذج.
• الإصلاح الهيكلي: يتضمن ذلك إصلاح الأخطاء المطبعية في تسميات الفئات (مثل تصحيح "Car" مقابل "car") لضمان اتساق الفئات.

Link to this sectionتطبيقات العالم الحقيقي#

يُعد تنظيف البيانات أمرًا محوريًا في مختلف الصناعات التي يتم فيها نشر الذكاء الاصطناعي.

• تحليل الصور الطبية: في تطبيقات الذكاء الاصطناعي في الرعاية الصحية، غالبًا ما تحتوي مجموعات البيانات على مسوحات تحتوي على عيوب، أو بيانات وصفية غير صحيحة للمرضى، أو ضوضاء خلفية غير ذات صلة. يضمن تنظيف هذه البيانات أن تركز نماذج تحليل الصور الطبية فقط على العلامات البيولوجية ذات الصلة بالتشخيص.
• إدارة مخزون التجزئة: بالنسبة لـ الذكاء الاصطناعي في التجزئة، قد تحتوي مجموعات بيانات المنتجات على عناصر قديمة أو صور بنسب عرض إلى ارتفاع غير صحيحة. يضمن تنظيف مجموعات البيانات هذه أن تتمكن نماذج اكتشاف الكائنات من تحديد مستويات المخزون بدقة وتقليل النتائج الإيجابية الكاذبة في بيئة حية.

Link to this sectionالتمييز بين تنظيف البيانات والمعالجة المسبقة#

على الرغم من استخدامهما بالتبادل في كثير من الأحيان، إلا أن تنظيف البيانات يختلف عن المعالجة المسبقة للبيانات. يركز تنظيف البيانات على إصلاح الأخطاء وإزالة البيانات "السيئة". في المقابل، تتضمن المعالجة المسبقة تحويل البيانات النظيفة إلى تنسيق مناسب للنموذج، مثل تغيير حجم الصورة، أو التسوية، أو تطبيق زيادة البيانات لزيادة التنوع.

Link to this sectionأتمتة فحوصات الجودة#

تدمج سير العمل الحديثة، مثل تلك المتاحة على منصة Ultralytics، فحوصات آلية لتحديد الصور التالفة أو تناقضات التسميات قبل بدء التدريب. فيما يلي مثال بسيط بلغة Python يوضح كيفية التحقق من ملفات الصور التالفة وتحديدها باستخدام مكتبة Pillow القياسية، وهي خطوة شائعة قبل إدخال البيانات في نموذج مثل YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")