Linear Probing

التحقيق الخطي هو تقنية تقييم وتكييف تقيس مدى فائدة الميزات المتعلمة للنموذج من خلال تدريب تنبؤ خطي بسيط فوق الميزات المجمدة. يظل المشفر المدرب مسبقًا دون تغيير، بينما يتم ملائمة طبقة خطية فقط - غالبًا الانحدار اللوجستري للتصنيف - للبيانات المصنفة. يشير أداء التحقيق القوي إلى أن التمثيلات (embeddings) الخاصة بالمشفر تنظم بالفعل المفاهيم ذات الصلة بحيث يمكن فصلها بحدود قرار بسيطة.

في التعلم الآلي (machine learning)، لا يرتبط المصطلح بالتحقيق الخطي في جداول التجزئة، حيث يتم فحص مواقع التخزين المجاورة بعد حدوث تصادم. في الذكاء الاصطناعي والتعلم العميق، يشير على وجه التحديد إلى التحقيق في تمثيل باستخدام نموذج خطي.

كيف يعمل التحقيق الخطي#

تحتوي الشبكة العصبية النموذجية على مشفر أو العمود الفقري (backbone) الذي يحول المدخلات الخام إلى متجه ميزات، يليه رأس تنبؤ خاص بالمهمة. يتبع التحقيق الخطي أربع خطوات:

1. تدريب مشفر مسبقًا أو تحميله.
2. تجميد معاملاته بحيث لا يمكن للتدريب تحديثها.
3. إجراء استخراج الميزات (feature extraction) على الأمثلة المصنفة.
4. تدريب مصنف خطي باستخدام تلك الميزات الثابتة.

بالنسبة للتصنيف متعدد الفئات، عادة ما يكون المسبار طبقة كثيفة واحدة ذات مخرج softmax أو مصنف انحدار لوجستري scikit-learn. على الرغم من أن الانحدار اللوجستري يتضمن تحولاً احتماليًا غير خطي، إلا أن درجات الفئات وحدود القرار الخاصة به هي دوال خطية لمدخلات الميزات.

يُعد التحقيق الخطي شائعًا بشكل خاص في التعلم شبه المشرف (self-supervised learning)، حيث يتعلم المشفر من البيانات غير المصنفة. يوضح مثال Keras NNCLR هذا عن طريق تدريب مصنف كثيف فوق ميزات مشفر مجمد. ونظرًا لأن المسبار ذو سعة محدودة، فلا يمكنه تعويض التمثيل الضعيف بسهولة عن طريق تعلم تحولات غير خطية معقدة.

ما يكشفه أداء التحقيق الخطي#

يختبر المسبار الخطي ما إذا كانت المعلومات موجودة وسهل الوصول إليها في التمثيل. إذا كانت صور القطط والكلاب تشكل مجموعات قابلة للفصل في مساحة التضمين، فيمكن لمصنف خطي التمييز بينها بمعاملات قابلة للتدريب قليلة. إذا تم ترميز المعلومات من خلال ترتيب أكثر تعقيدًا، فقد ينجح مصنف غير خطي حتى عندما يكون أداء التحقيق الخطي ضعيفًا.

لذلك يجب التعامل مع دقة المسبار كأداة تشخيصية وليست مقياسًا كاملاً لجودة النموذج. ويمكن أن تتأثر بـ:

• طبقة المشفر المحددة وبعد التضمين.
• دقة الإدخال والمعالجة المسبقة.
• كمية وتوازن بيانات التدريب المصنفة.
• الانتظام المطبق على النموذج الخطي.
• تسريب البيانات بين مجموعات التدريب والتقييم.

استخدم مجموعة بيانات التحقق (validation dataset) المحفوظة، ويفضل أن تكون منشأة إجراء قابل للاستنساخ وطبقي مثل أداة تقسيم التدريب والاختبار الخاصة بـ scikit-learn. بالإضافة إلى الدقة، يمكن لـ تقرير مقاييس التصنيف كشف الفئات التي لا يفصلها التمثيل بشكل متسق.

التحقيق الخطي مقابل الطرق ذات الصلة#

ينتمي التحقيق الخطي إلى العائلة الأوسع لطرق النقل وتقييم التمثيل، ولكن هناك عدة تمييزات مهمة:

• التحقيق الخطي مقابل الضبط الدقيق (fine-tuning): يقوم المسبار بتحديث الرأس الخطي فقط. يحدّث الضبط الدقيق بعض أو كل أوزان المشفر، مما يمنح النموذج مرونة أكبر ولكنه يتطلب حوسبة إضافية ويزيد من خطر التجهيز المفرط (overfitting). يصف دليل نقل التعلم لـ TensorFlow تجميد نموذج أساسي قبل إلغاء تجميده اختيارياً للضبط الدقيق.
• التحقيق الخطي مقابل استخراج الميزات: ينتج استخراج الميزات التضمينات؛ بينما يقوم التحقيق الخطي بتدريب وتقييم متنبئ على تلك التضمينات.
• التحقيق الخطي مقابل الانحدار الخطي: يتنبأ الانحدار الخطي بالقيم المستمرة. تتنبأ مسابر التصنيف بشكل عام بفئات منفصلة باستخدام الانحدار اللوجستري أو طبقة softmax.
• التحقيق الخطي مقابل تقييم الجار الأقرب: يتعلم المسبار الخطي حدود الفئات. تصنف طرق الجار الأقرب العينات وفقًا للتضمينات المخزنة القريبة دون تعلم تلك الحدود. يطلق البرنامج التعليمي لنقل التعلم في PyTorch على سير عمل المشفر المجمد المرتبط ارتباطًا وثيقًا اسم مستخرج ميزات ثابت.

التحقيق الخطي مع Ultralytics YOLO#

يمكن لـ نموذج تصنيف Ultralytics YOLO26 المدرب مسبقًا إنشاء تضمينات للصور من خلال واجهة برمجة التطبيقات model.embed() الموثقة. يقوم المثال التالي بتجميد المشفر ضمنيًا عن طريق الحساب المسبق للميزات، ثم ملائمة مسبار خطي للتمييز بين قطط CIFAR-10 وكلابها:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

فقط نموذج الانحدار اللوجستري يتعلم من تسميات القطط والكلاب؛ وتظل أوزان مشفر YOLO26 ثابتة. هذا يعزل فائدة تمثيله البصري بدلاً من قياس قدرته على التكيف من خلال التدريب الشامل من البداية إلى النهاية.

التطبيقات الواقعية والتوجيه العملي#

• تقييم التدريب المسبق غير المصنف: قد يقوم فريق الروبوتات بتدريب مشفر مسبقًا على كميات كبيرة من فيديو المستودع غير المصنف، ثم التحقيق في ميزاته باستخدام مجموعة بيانات مصنفة صغيرة للرافعات الشوكية والعمال والمنصات. تشير دقة المسبار العالية إلى أن التمثيل قد يدعم تصنيف الصور (image classification) أو الاكتشاف اللاحق بتعليقات توضيحية محدودة.

• مقارنة ملاءمة النطاق: يمكن لفريق التصوير الطبي تجميد عدة مشفرات مرشحة وتدريب مسابر خطية متطابقة لفئات الأنسجة. إذا كان أداء أحد المشفرات أفضل بشكل كبير تحت نفس الانقسام والمعالجة المسبقة، فإن تمثيله يعد نقطة بداية أقوى للضبط الدقيق اللاحق.

لإجراء مقارنات عادلة، حافظ على ثبات تقسيم مجموعة البيانات، وطبقة الميزات، والمعالجة المسبقة، والمصنف، وإعدادات التحسين. قم بتقييم كل من التحقيق الخطي والضبط الدقيق الكامل عندما يكون ذلك ممكنًا: يقيس المسبار المعلومات التي يمكن الوصول إليها في الميزات الثابتة، بينما يقيس الضبط الدقيق مدى فعالية النموذج الكامل في التكيف.