Data Preprocessing

المعالجة المسبقة للبيانات هي مجموعة التحويلات التي تحوّل البيانات الخام إلى مدخلات رقمية نظيفة ومتسقة التنسيق يتوقعها نموذج التعلم الآلي (ML)، وتُطبّق بالطريقة نفسها أثناء التدريب والاستدلال. وتعني معالجة البيانات الجدولية معالجة القيم المفقودة، وترميز الفئات في صورة أرقام، وتقييس السمات. أما معالجة الصور فتعني فك ترميز الملفات، وتغيير حجمها إلى حجم إدخال الشبكة، وترتيب قنوات الألوان، وتقييس قيم البكسل. وتُعد المعالجة المسبقة فعليًا جزءًا من النموذج: فالشبكة العصبية المدرّبة على صور RGB ذات القيم المقيّسة إلى 0–1 تنتج تنبؤات غير موثوقة عندما تتلقى صور BGR بقيم من 0 إلى 255، حتى إن لم تتغير أوزانها.

خطوات المعالجة المسبقة الشائعة#

• تنظيف البيانات: إزالة العناصر المكررة والملفات التالفة والقيم المستحيلة، وتصحيح التسميات أو الوحدات غير المتسقة.
• الإكمال: ملء القيم المفقودة بإحصائية مثل وسيط العمود، أو بتقدير قائم على نموذج، أو بفئة مستقلة باسم «مفقود»، أو حذف الصفوف التي تحتوي على فجوات كثيرة.
• الترميز: تحويل الفئات إلى أرقام، باستخدام الترميز أحادي الاتجاه للفئات غير المرتبة مثل اللون، ورموز ترتيبية للفئات المرتبة مثل الحجم، وفهارس صحيحة لأسماء الفئات.
• التحجيم والتطبيع: يعيّن تحجيم الحدين الأدنى والأقصى السمة إلى النطاق 0–1، بينما يطرح التقييس المتوسط ويقسم الناتج على الانحراف المعياري، حتى لا تطغى سمة مقاسة بالمليمترات على أخرى مقاسة بالأمتار في النماذج القائمة على المسافة، وحتى يتقارب الانحدار المتدرج بسرعة أكبر. تتوقع نماذج كثيرة مدرّبة مسبقًا على ImageNet في torchvision تقييس كل قناة RGB باستخدام المتوسطات 0.485 و0.456 و0.406 والانحرافات المعيارية 0.229 و0.224 و0.225.
• تغيير الحجم: جعل كل صورة بحجم إدخال الشبكة، إما بتمديدها أو باقتصاص مركزها أو باستخدام التحجيم إلى إطار، الذي يغيّر حجم الصورة لتلائم الإطار ويضيف حشوًا إلى المساحة المتبقية للحفاظ على نسب الكائنات.
• التقسيم إلى رموز: تقسيم النص إلى رموز وتعيين معرّف صحيح من مفردات ثابتة لكل رمز.

تُضاف إلى ذلك خطوات خاصة بكل مجال. تُطبّق نوافذ التصوير المقطعي المحوسب على نطاق من وحدات هاونسفيلد، مثل النطاق الذي يُظهر أنسجة الرئة، وتحويله إلى شدات العرض التي يراها النموذج، كما يُعاد أخذ عينات الصوت بمعدل ثابت ويُحوّل غالبًا إلى مخطط طيفي.

الملاءمة على بيانات التدريب والتطبيق على الجميع#

تُحسب الإحصاءات المستخدمة في المعالجة المسبقة، مثل متوسطات السمات والانحرافات المعيارية، وقيم التعويض، ومعاجم الفئات، على تقسيم التدريب فقط، وتُحفظ، ثم تُطبّق دون تغيير على بيانات التحقق والاختبار والإنتاج. إن حساب هذه الإحصاءات على مجموعة البيانات بأكملها قبل تقسيمها يتيح لمعلومات مجموعة الاختبار التأثير في مدخلات التدريب، وهو شكل من تسرّب البيانات يؤدي إلى تضخيم درجات التقييم. يفرض خط أنابيب scikit-learn هذه القاعدة بقصر ملاءمة خطوات المعالجة المسبقة فيه على البيانات الممررة إلى fit. ويؤدي تطبيق معالجة مسبقة مختلفة عند تقديم الخدمة، مثل استخدام طريقة أخرى لتغيير الحجم أو وحدة فك ترميز صور مختلفة، إلى انحراف بين التدريب وتقديم الخدمة، إذ يحقق النموذج نتائج جيدة في التقييم غير المتصل ونتائج أسوأ في الإنتاج.

المعالجة المسبقة للصور في نماذج الرؤية#

تحتاج نماذج الصور إلى تخطيط موحد للموترات. يفك OpenCV ترميز الصور في مصفوفات بترتيب الارتفاع × العرض × القناة، وبأعداد صحيحة من 8 بتات وبترتيب BGR، بينما تتوقع شبكات PyTorch دفعات من موترات عائمة بترتيب RGB مع وضع القنوات أولًا. تنفّذ تنبؤات YOLO26 في Ultralytics هذه الخطوات تلقائيًا: تغيّر حجم كل صورة بحيث يطابق ضلعها الأطول imgsz، وهو 640 بكسل افتراضيًا، من دون تشويهها؛ ثم تضيف إليها حشوًا من وحدات بكسل رمادية بقيمة 114 لتصبح مربعًا بحجم 640 × 640 في حالة النماذج المُصدَّرة ذات الأشكال الثابتة، أو إلى أقرب مضاعف تالٍ لخطوة 32 بكسل في حالة نماذج PyTorch؛ ثم تعكس ترتيب BGR إلى RGB، وتعيد ترتيب المصفوفة لتكون القنوات أولًا، وتقسم القيم على 255. ينفّذ النص البرمجي أدناه باستخدام OpenCV وNumPy عملية التحجيم إلى مربع يدويًا:

import urllib.request

import cv2
import numpy as np

# Download a sample photo and read it as a BGR uint8 array of shape (height, width, 3)
urllib.request.urlretrieve("https://ultralytics.com/images/bus.jpg", "bus.jpg")
image = cv2.imread("bus.jpg")

# Resize so the longer side is 640 pixels, keeping the aspect ratio
scale = 640 / max(image.shape[:2])
resized = cv2.resize(image, None, fx=scale, fy=scale, interpolation=cv2.INTER_LINEAR)

# Letterbox: center the resized image on a 640x640 canvas of gray (114) padding
canvas = np.full((640, 640, 3), 114, dtype=np.uint8)
top, left = (640 - resized.shape[0]) // 2, (640 - resized.shape[1]) // 2
canvas[top : top + resized.shape[0], left : left + resized.shape[1]] = resized

# Reorder BGR to RGB and HWC to CHW, scale pixels to 0-1, and add a batch dimension
tensor = canvas[:, :, ::-1].transpose(2, 0, 1).astype(np.float32) / 255.0
batch = tensor[None]
print(f"{image.shape} uint8 -> {batch.shape} float32 in [{batch.min():.1f}, {batch.max():.1f}]")

يطبع النص البرمجي (1080, 810, 3) uint8 -> (1, 3, 640, 640) float32 in [0.0, 1.0]: تتحول الصورة الفوتوغرافية ذات الأبعاد 1080 × 810 إلى دفعة من صورة واحدة بالتخطيط ونطاق القيم اللذين يتوقعهما كاشف PyTorch، مع أشرطة رمادية تملأ 80 بكسل على كل جانب.

المعالجة المسبقة للبيانات والمصطلحات ذات الصلة#

• وسم البيانات: إنشاء الأهداف الأساسية للحقيقة، مثل الفئات والمربعات، التي تحوّلها المعالجة المسبقة بعد ذلك إلى التنسيق الرقمي الذي تقرؤه عملية التدريب.
• هندسة السمات: إنشاء متغيرات إدخال جديدة اعتمادًا على معرفة المجال، مثل حساب مؤشر كتلة الجسم من عمودي الطول والوزن.
• تطبيع الدفعات: طبقة داخل الشبكة تقيّس التنشيطات الوسيطة أثناء التدريب والاستدلال. يحدث تطبيع الإدخال في المعالجة المسبقة مرة واحدة قبل وصول البيانات إلى الشبكة.
• زيادة البيانات: تحويلات عشوائية مثل القلب وتغييرات الألوان والتركيب الفسيفسائي، تُطبّق أثناء التدريب فقط لإنشاء نسخ متنوعة من كل مثال. أما المعالجة المسبقة فحتمية ومتطابقة أثناء التدريب والاستدلال.