Dimensionality Reduction

يحوّل تقليل الأبعاد البيانات الموصوفة بعدد كبير من الميزات إلى تمثيل يضم عددًا أقل بكثير من الميزات، مع الاحتفاظ بالمعلومات المهمة، مثل تباين البيانات، والمسافات بين النقاط، أو تحديد النقاط المتجاورة. تحتوي صورة ملونة بدقة 640x640 على أكثر من 1.2 مليون قيمة بكسل، وقد يضم نمط التعبير الجيني 20,000 قياس، وغالبًا ما يحتوي تضمين الصورة على مئات الأبعاد. ويؤدي تقليص عدد الأبعاد إلى تسريع نماذج التعلم الآلي، وخفض خطر فرط التكيّف، وتقليل متطلبات التخزين، وإتاحة رسم البيانات في بُعدين أو ثلاثة أبعاد لأغراض تصوّر البيانات.

لماذا يفيد تقليل الأبعاد؟#

صاغ ريتشارد بيلمان عبارة «لعنة الأبعاد» في أعماله عن البرمجة الديناميكية لوصف ازدياد صعوبة المسائل عند إضافة الأبعاد. إذ يزداد حجم الفضاء أسيًا مع كل ميزة جديدة، فتغطي كمية ثابتة من بيانات التدريب هذا الفضاء بدرجة أقل، وفي الأبعاد العالية جدًا تصبح المسافات بين النقاط العشوائية متقاربة تقريبًا، مما يضعف الأساليب القائمة على المسافات، مثل أقرب الجيران k والتجميع باستخدام k-means.

نادراً ما تملأ البيانات الواقعية فضاءها. تختلف صور الأرقام المكتوبة بخط اليد أساسًا في سُمك الخط وميله وبعض العوامل الأخرى، لذا تقع بالقرب من سطح أقل أبعادًا بكثير، أو متشعب، داخل فضاء البكسلات. ويعثر تقليل الأبعاد على إحداثيات هذا السطح، ولأنه لا يحتاج إلى تسميات، فإن معظم أساليبه تُعد شكلًا من أشكال التعلم غير الخاضع للإشراف.

الأساليب الخطية وغير الخطية#

يدير تحليل المكونات الرئيسية (PCA)، الذي قدمه كارل بيرسون عام 1901، البيانات نحو اتجاهات متعامدة مرتبة حسب مقدار التباين الذي تلتقطه، ويحتفظ بأولى هذه الاتجاهات. وتوضح نسبة التباين المفسر عدد المكونات التي تحتاج إليها مجموعة البيانات. أما التحليل التمييزي الخطي، الذي وضعه رونالد فيشر عام 1936، فيستخدم تسميات الفئات للعثور على الاتجاهات الأفضل فصلًا بينها. ويضرب الإسقاط العشوائي البيانات في مصفوفة عشوائية، وتضمن لمّة جونسون-ليندنشتراوس بقاء المسافات بين n نقطة ضمن هامش خطأ محدد، باستخدام عدد من الأبعاد لا ينمو إلا مع لوغاريتم n.

تتبع الأساليب غير الخطية المتشعبات المنحنية. ويحافظ كل من Isomap والتضمين الخطي المحلي، اللذين نُشرا في Science عام 2000، على المسافات على امتداد المتشعب والجوار الخطي المحلي. ويضع t-SNE وUMAP النقاط المتشابهة متقاربة على خريطة ثنائية الأبعاد، مما يجعلهما أداتين قياسيتين لعرض عناقيد التضمينات، مع أن المسافات بين العناقيد المتباعدة على تلك الخرائط لا تحمل دلالة كبيرة. وتتعلم المشفّرات التلقائية مُرمّزًا يحوّل كل مدخل إلى شيفرة صغيرة في فضاء كامن ومفككًا يعيد بناءه، وقد بيّن جيفري هينتون وروسالين سالاخوتدينوف عام 2006 أن المشفّرات التلقائية العميقة تنتج تمثيلات أفضل من PCA للصور والمستندات.

يضغط هذا المثال صور الأرقام ذات الأبعاد 8×8، وينقلها من 64 ميزة بكسلية إلى أقل عدد ممكن من المكونات الرئيسية التي تحتفظ بنسبة 90% من التباين، ثم يصنّف الأرقام باستخدام أقرب الجيران k قبل ذلك وبعده:

from sklearn.datasets import load_digits
from sklearn.decomposition import PCA
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline

X, y = load_digits(return_X_y=True)  # 1,797 images of 8x8 pixels = 64 features

# Keep the fewest principal components that explain 90% of the variance
pca = PCA(n_components=0.90).fit(X)
print(f"Features: {X.shape[1]} -> {pca.n_components_}")

# Classify with k-nearest neighbors on the raw pixels and on the reduced features
raw = cross_val_score(KNeighborsClassifier(), X, y).mean()
reduced = cross_val_score(make_pipeline(PCA(n_components=0.90), KNeighborsClassifier()), X, y).mean()
print(f"Accuracy: {raw:.3f} with 64 features, {reduced:.3f} with {pca.n_components_}")

تحتفظ 21 مكوّنًا بنسبة 90% من التباين، ولا تتغير الدقة المحسوبة بالتحقق المتقاطع إلا من 0.963 إلى 0.959 باستخدام ثلث الميزات. ويؤدي ملاءمة PCA داخل المسار إلى تعلّم الإسقاط من كل طية تدريب وحدها، لذا لا تتسرب أي معلومات من طيات الاختبار.

اختيار الميزات واستخراج الميزات#

يحتفظ اختيار الميزات بمجموعة فرعية من الأعمدة الأصلية، مثل إسقاط قنوات المستشعرات المتكررة، بحيث تحتفظ الميزات المتبقية بمعناها. أما خفض الأبعاد بمعناه الأضيق فهو استخراج الميزات: إذ ينشئ ميزات جديدة على هيئة تراكيب من الميزات القديمة، ما يتيح ضغطًا أفضل عادةً لكنه يجعل التفسير أصعب. وكلاهما خطوة في المعالجة المسبقة للبيانات وهندسة الميزات. تنفّذ الشبكات العميقة الاستخراج في أثناء التدريب، فتضغط وحدات البكسل في تضمينات، ويتعلّم التعلّم التمثيلي المتداخل كالدُمى الروسية تضمينات تعمل أبعادها الأولى بصورة مستقلة، بحيث تتمكن قاعدة بيانات المتجهات من تخزين متجهات أقصر.

الاستخدامات في الرؤية الحاسوبية#

تعتمد الرؤية الحاسوبية على التمثيلات المخفّضة في مراحل عدة. ويُظهر إسقاط تضمينات الصور إلى بُعدين باستخدام t-SNE أو UMAP ما إذا كانت الفئات منفصلة وأين تقع القيم الشاذة، كما يقلّص PCA أو التكميم المتجهي التضمينات الكامنة وراء البحث المتجهي، بحيث تتسع الذاكرة لملايين الصور. وتدمج نماذج تجزئة الكائنات من YOLO26 هذه الفكرة في مخرجاتها: إذ يحسب الرأس 32 قناعًا نموذجيًا لكل صورة عند ربع دقة الإدخال، ولا يتنبأ إلا بـ32 معاملًا لكل كائن، ويكون قناع كل كائن مجموعًا موزونًا للنماذج الأولية؛ لذا يُرمّز قناع بحجم 160×160 لإدخال من 640 بكسل، أي 25,600 قيمة، باستخدام 32 رقمًا.