Data Cleaning

Data cleaning is the critical process of detecting and correcting (or removing) corrupt, inaccurate, or irrelevant records from a record set, table, or database. In the realm of artificial intelligence (AI) and machine learning (ML), this step is often considered the most time-consuming yet essential part of the workflow. Before a model like YOLO26 can effectively learn to recognize objects, the training data must be scrubbed of errors to prevent the "Garbage In, Garbage Out" phenomenon, where poor quality input leads to unreliable output.

أهمية سلامة البيانات في الذكاء الاصطناعي#

تعتمد نماذج الرؤية الحاسوبية عالية الأداء بشكل كبير على جودة مجموعات البيانات التي تستخدمها. إذا احتوت مجموعة البيانات على صور مصنفة بشكل خاطئ، أو تكرارات، أو ملفات تالفة، فسوف يواجه النموذج صعوبة في تعميم الأنماط، مما يؤدي إلى التفرط في التخصيص أو ضعف دقة الاستدلال. يعمل تنظيف البيانات الفعال على تحسين موثوقية النماذج التنبؤية ويضمن أن الخوارزمية تتعلم من الإشارات الصحيحة بدلاً من التشويش.

تقنيات تنظيف البيانات الشائعة#

يستخدم الممارسون استراتيجيات مختلفة لتحسين مجموعات البيانات الخاصة بهم باستخدام أدوات مثل Pandas للبيانات الجدولية أو أدوات الرؤية المتخصصة.

• التعامل مع القيم المفقودة: يتضمن ذلك إما إزالة السجلات التي تحتوي على بيانات مفقودة أو استخدام تقنيات الإسناد لملء الفجوات بناءً على المتوسطات الإحصائية أو الجيران الأقرب.
• إزالة التكرارات: يمكن أن تؤدي الصور المكررة في مجموعة التدريب إلى تحيز النموذج عن غير قصد. تؤكد إزالتها على أن النموذج لا يحفظ أمثلة محددة، مما يساعد في تخفيف تحيز مجموعة البيانات.
• اكتشاف القيم الشاذة: يعد تحديد والتعامل مع القيم الشاذة أو القيم المتطرفة التي تحيد بشكل كبير عن القاعدة أمراً بالغ اهمية، حيث يمكن أن تؤدي هذه إلى تحريف التحليل الإحصائي وأوزان النموذج.
• الإصلاح الهيكلي: يتضمن ذلك إصلاح الأخطاء الإملائية في تسميات الفئات (مثل تصحيح "Car" مقابل "car") لضمان اتساق الفئات.

تطبيقات العالم الحقيقي#

يُعد تنظيف البيانات أمرًا محوريًا في مختلف الصناعات التي يتم فيها نشر الذكاء الاصطناعي.

• تحليل الصور الطبية: في تطبيقات الرعاية الصحية بالذكاء الاصطناعي، غالباً ما تحتوي مجموعات البيانات على عمليات مسح تحتوي على شوائب، أو بيانات تعريف غير صحيحة للمريض، أو ضوضاء خلفية غير ذات صلة. يضمن تنظيف هذه البيانات أن تركز نماذج تحليل الصور الطبية حصرياً على العلامات البيولوجية ذات الصلة بالتشخيص.
• إدارة مخزون التجزئة: بالنسبة لـ الذكاء الاصطناعي في قطاع التجزئة، قد تحتوي مجموعات بيانات المنتجات على عناصر قديمة أو صور ذات نسب أبعاد غير صحيحة. يضمن تنظيف مجموعات البيانات هذه أن تتمكن نماذج اكتشاف الكائنات من تحديد مستويات المخزون بدقة وتقليل الإيجابيات الكاذبة في البيئة الحية.

التمييز بين تنظيف البيانات والمعالجة المسبقة#

على الرغم من أنه غالباً ما يتم استخدامهما بالتبادل، إلا أن تنظيف البيانات يختلف عن معالجة البيانات المسبقة. يركز تنظيف البيانات على إصلاح الأخطاء وإزالة البيانات "السيئة". في المقابل، تتضمن المعالجة المسبقة تحويل البيانات النظيفة إلى تنسيق مناسب للنموذج، مثل تغيير حجم الصور، أو التسوية، أو تطبيق زيادة البيانات لزيادة التنوع.

أتمتة فحوصات الجودة#

تدمج سير العمل الحديثة، مثل تلك المتوفرة على Ultralytics Platform، فحوصات تلقائية لتحديد الصور التالفة أو تناقضات التسميات قبل بدء التدريب. أدناه مثال برمجي بسيط بلغة Python يوضح كيفية التحقق من ملفات الصور التالفة وتحديدها باستخدام مكتبة Pillow القياسية، وهي خطوة شائعة قبل إدخال البيانات في نموذج مثل YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")