Data Preprocessing

تعد معالجة البيانات الخطوة الأولى الحاسمة في خط سير عمل تعلم الآلة، حيث يتم تحويل البيانات الأولية إلى تنسيق نظيف ومفهوم للخوارزميات. في العالم الحقيقي، غالبًا ما تكون البيانات غير مكتملة أو غير متسقة وتفتقر إلى سلوكيات أو اتجاهات محددة، مما يجعلها تبدو "متسخة" أو "مشوشة" بالنسبة للكمبيوتر. تعمل المعالجة على سد الفجوة بين المعلومات الأولية والمدخلات المهيكلة التي تتطلبها الشبكات العصبية، مما يؤثر بشكل كبير على الدقة وكفاءة النموذج النهائي. من خلال توحيد مجموعات البيانات وتنظيفها، يضمن المهندسون قدرة البنيات المتطورة مثل YOLO26 على تعلم أنماط ذات مغزى بدلاً من الضوضاء.

Link to this sectionلماذا تعد معالجة البيانات مهمة؟#

نماذج تعلم الآلة، وخاصة تلك المستخدمة في الرؤية الحاسوبية، حساسة لجودة وحجم بيانات الإدخال. بدون معالجة مناسبة، قد يواجه النموذج صعوبة في التقارب أثناء التدريب أو قد ينتج تنبؤات غير موثوقة. على سبيل المثال، إذا كانت الصور في مجموعة البيانات ذات دقة أو مقاييس ألوان متفاوتة، يجب على النموذج بذل طاقة إضافية لتعلم كيفية التعامل مع هذه التناقضات بدلاً من التركيز على مهمة اكتشاف الأجسام الفعلية.

تهدف تقنيات المعالجة بشكل عام إلى:

• تحسين جودة البيانات: إزالة الأخطاء والقيم المتطرفة والتكرارات لضمان تمثيل مجموعة البيانات لمجال المشكلة بدقة.
• توحيد المدخلات: إعادة قياس الميزات (مثل قيم البكسل) إلى نطاق موحد، غالباً ما يكون بين 0 و1، لمساعدة خوارزميات التحسين مثل الانحدار المتدرج على العمل بشكل أكثر سلاسة.
• تقليل التعقيد: تبسيط تمثيلات البيانات من خلال تقنيات مثل تقليل الأبعاد، مما يجعل عملية التعلم أسرع.

Link to this sectionالتقنيات الرئيسية في المعالجة#

يتم استخدام العديد من الطرق القياسية لإعداد البيانات للتدريب، حيث تخدم كل منها غرضاً محدداً في خط أنابيب البيانات.

• تنظيف البيانات: يتضمن ذلك التعامل مع القيم المفقودة (الاحتساب)، وتصحيح التصنيف غير المتسق، وتصفية الملفات التالفة. في سياق رؤية الذكاء الاصطناعي، قد يعني هذا إزالة الصور الضبابية أو إصلاح إحداثيات صندوق الإحاطة غير الصحيحة.
• التطبيع والقياس: نظراً لأن كثافة البكسل يمكن أن تختلف اختلافاً كبيراً، فإن تطبيع الصور يضمن عدم سيطرة البكسلات ذات القيمة العالية على عملية التعلم. تشمل الطرق الشائعة قياس Min-Max وتطبيع Z-score.
• الترميز: يجب تحويل البيانات الفئوية، مثل تسميات الفئات (على سبيل المثال، "قطة"، "كلب")، إلى تنسيقات رقمية. تعتبر تقنيات مثل الترميز الأحادي أو ترميز التسميات ممارسة قياسية.
• تغيير الحجم والتنسيق: تتوقع نماذج التعلم العميق عادةً مدخلات ذات حجم ثابت. تقوم خطوط معالجة البيانات تلقائياً بتغيير حجم الصور المتباينة إلى بُعد قياسي، مثل 640x640 بكسل، وهو أمر شائع لـ الاستنتاج في الوقت الفعلي.

Link to this sectionتطبيقات العالم الحقيقي#

تعد معالجة البيانات منتشرة في جميع الصناعات، مما يضمن تحويل المدخلات الأولية إلى رؤى قابلة للتنفيذ.

Link to this sectionتشخيص التصوير الطبي#

في الرعاية الصحية بالذكاء الاصطناعي، تعد المعالجة حيوية لتحليل الأشعة السينية أو مسوحات التصوير بالرنين المغناطيسي. غالباً ما تحتوي الصور الطبية الأولية على ضوضاء ناتجة عن المستشعرات أو تباينات في الإضاءة والتباين اعتماداً على الجهاز المستخدم. تعمل خطوات المعالجة مثل مساواة الرسم البياني على تعزيز التباين لجعل الأورام أو الكسور أكثر وضوحاً، بينما توضح مرشحات تقليل الضوضاء بنية الصورة. يسمح هذا الإعداد للنماذج بإجراء اكتشاف الورم بدقة أعلى، مما قد ينقذ الأرواح عن طريق تقليل النتائج السلبية الكاذبة.

Link to this sectionالقيادة الذاتية#

تعتمد السيارات ذاتية القيادة على مدخلات من مستشعرات متعددة، بما في ذلك LiDAR والرادار والكاميرات. تنتج هذه المستشعرات بيانات بمعدلات ومقاييس مختلفة. تقوم المعالجة بمزامنة هذه التدفقات وتصفية الضوضاء البيئية، مثل المطر أو الوهج، قبل دمج البيانات. بالنسبة لـ المركبات ذاتية القيادة، يضمن هذا حصول نظام الإدراك على رؤية متماسكة للطريق، مما يتيح الملاحة الآمنة واكتشاف المشاة بشكل موثوق في البيئات الحقيقية.

Link to this sectionمفاهيم ذات صلة#

من المهم التمييز بين معالجة البيانات والمصطلحات الأخرى التي تظهر في سير عمل تعلم الآلة.

• مقابل زيادة البيانات: بينما تُعد المعالجة البيانات لتكون قابلة للاستخدام تقنياً من قبل النموذج (على سبيل المثال، تغيير الحجم)، فإن الزيادة تولد اختلافات جديدة للبيانات الموجودة (على سبيل المثال، تدوير الصور أو قلبها) لزيادة تنوع مجموعة البيانات. راجع دليلنا حول زيادة بيانات YOLO لمزيد من التفاصيل.
• مقابل هندسة الميزات: تتعلق المعالجة بالتنظيف والتنسيق. تتضمن هندسة الميزات إنشاء متغيرات جديدة وذات مغزى من البيانات لتحسين أداء النموذج، مثل حساب "مؤشر كتلة الجسم" من أعمدة الطول والوزن.
• مقابل تصنيف البيانات: التصنيف هو عملية تحديد الحقيقة الأساسية، مثل رسم صناديق الإحاطة حول الأجسام. تحدث المعالجة بعد جمع البيانات وتصنيفها ولكن قبل إدخال البيانات في الشبكة العصبية.

Link to this sectionمثال عملي#

في نظام Ultralytics البيئي، غالباً ما تتم المعالجة تلقائياً أثناء خط سير عمل التدريب. ومع ذلك، يمكنك أيضاً معالجة الصور يدوياً باستخدام مكتبات مثل OpenCV. يوضح المقتطف التالي تحميل صورة، وتغيير حجمها إلى حجم إدخال قياسي لنموذج مثل YOLO26، وتطبيع قيم البكسل.

import cv2
import numpy as np

# Load an image using OpenCV
image = cv2.imread("bus.jpg")

# Resize the image to 640x640, a standard YOLO input size
resized_image = cv2.resize(image, (640, 640))

# Normalize pixel values from 0-255 to 0-1 for model stability
normalized_image = resized_image / 255.0

# Add a batch dimension (H, W, C) -> (1, H, W, C) for inference
input_tensor = np.expand_dims(normalized_image, axis=0)

print(f"Processed shape: {input_tensor.shape}")

بالنسبة للمشاريع واسعة النطاق، يمكن أن يؤدي استخدام أدوات مثل منصة Ultralytics إلى تبسيط سير العمل هذه. تعمل المنصة على تبسيط إدارة مجموعات البيانات، وأتمتة العديد من مهام المعالجة والتعليق التوضيحي لتسريع الانتقال من البيانات الأولية إلى النموذج المنشور.