Linear Probing

الاستقصاء الخطي تقنية تقيس مقدار المعلومات المفيدة التي تتضمنها تمثيلات نموذج مدرّب مسبقًا، وذلك بتدريب مصنّف خطي فقط، يُسمى المسبار، فوق سماته المجمدة. لا تتغير أوزان المُرمِّز مطلقًا: إذ تمر الصور أو النصوص عبره مرة واحدة، وتصبح التضمينات الناتجة مدخلات ثابتة، ثم يتعلم انحدار لوجستي أو طبقة كثيفة واحدة التنبؤ بالتصنيفات انطلاقًا منها. وتعني دقة المسبار العالية أن المُرمِّز يرتب الأمثلة مسبقًا بطريقة تفصل فيها حدود مستقيمة بين الفئات. وفي هياكل البيانات، يشير الاسم نفسه إلى أسلوب مختلف لا حلّ التصادمات في جداول التجزئة عبر فحص الخانة التالية.

آلية عمل الاستقصاء الخطي#

تبدأ تجربة المسبار بتحميل مُرمِّز مدرّب مسبقًا وتجميده، ثم إجراء استخراج السمات من مجموعة بيانات معنونة، وتدريب مصنّف خطي على السمات المخزنة، مع الإبلاغ عن النتائج على مجموعة اختبار محجوبة. للمسبار وزن واحد لكل سمة ولكل فئة، إضافة إلى انحياز، لذا لا يمكنه رسم سوى حدود قرار خطية ولا يستطيع إنشاء سمات جديدة بنفسه؛ وتعكس أي دقة يحققها ما تعلمه المُرمِّز. يطبّق الانحدار اللوجستي سوفتماكس أو دالة سيغمويد على درجاته، لكن حدود القرار تظل خطية في فضاء السمات. ولأن المسبار وحده هو ما يتدرب، يمكن حساب السمات مرة واحدة وإعادة استخدامها، ما يجعل الاستقصاء أقل تكلفة بكثير من الضبط الدقيق.

تُتيح Ultralytics YOLO26 نماذج التصنيف الوصول إلى السمات المجمّدة عبر model.embed()، الذي يجمع افتراضيًا مخرجات الطبقة التي تسبق رأس التصنيف في متجه واحد لكل صورة، أي 256 قيمة للنموذج النانوي. يختبر المثال التالي هذه السمات على صور القطط والكلاب من CIFAR-10، وهي صور منخفضة الدقة لم يسبق للنموذج المدرّب على ImageNet أن شاهدها، ويُدرّب المسبار نفسه على وحدات البكسل الخام للمقارنة:

from pathlib import Path

import numpy as np
from PIL import Image
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from torchvision.datasets.utils import download_and_extract_archive
from ultralytics import YOLO

# 500 cat and 500 dog images from the CIFAR-10 test split
download_and_extract_archive("https://github.com/ultralytics/assets/releases/download/v0.0.0/cifar10.zip", "data")
cats = sorted(Path("data/cifar10/test/cat").glob("*.png"))[:500]
dogs = sorted(Path("data/cifar10/test/dog").glob("*.png"))[:500]
paths, labels = cats + dogs, [0] * 500 + [1] * 500

# Frozen YOLO26 classifier features, and raw pixels as a baseline representation
encoder = YOLO("yolo26n-cls.pt")
features = np.stack([encoder.embed(path, verbose=False)[0].cpu().numpy() for path in paths])
pixels = np.stack([np.asarray(Image.open(path)).ravel() / 255 for path in paths])

# Train the same linear probe on each representation and score it on held-out images
for name, x in [("raw pixels", pixels), ("YOLO26 features", features)]:
    x_train, x_test, y_train, y_test = train_test_split(x, labels, test_size=0.3, random_state=0, stratify=labels)
    probe = LogisticRegression(max_iter=5000)
    probe.fit(x_train, y_train)
    print(f"{name}: {probe.score(x_test, y_test):.3f}")

يحقق المسبار 0.573 على وحدات البكسل الخام، أي أعلى بقليل من 0.5 عند التخمين، و0.833 على سمات YOLO26؛ وتقيس هذه الفجوة معلومات الفئات التي يجعلها مُرمِّز YOLO26 المجمد متاحة خطيًا.

ما الذي يكشفه المسبار#

يختبر المسبار الخطي ما إذا كانت المعلومات موجودة وسهلة الاستخراج في آنٍ واحد. اقترح Guillaume Alain وYoshua Bengio استخدام مسابير المصنفات الخطية أداةً تشخيصية في بحثهما «فهم الطبقات الوسيطة باستخدام مسابير المصنفات الخطية»، ووجدا أن قابلية فصل السمات خطيًا تزداد بانتظام مع العمق في الشبكات التي درساها. ويبيّن استقصاء كل طبقة بهذه الطريقة الموضع الذي تكوّن فيه الشبكة المفاهيم اللازمة لمهمة ما. وفي التعلم الذاتي الإشراف، أصبحت دقة المسبار على ImageNet معيارًا لمقارنة المُرمِّزات المدرّبة دون تسميات، لأن المسبار لا يضيف تقريبًا أي قدرة يمكن لتمثيل ضعيف الاستناد إليها. وفي معالجة اللغة الطبيعية، تختبر المسابير المدرّبة على الحالات المخفية لنموذج لغوي ما إذا كان يرمّز خصائص مثل نوع الكلمة أو البنية النحوية أو صدق العبارة.

تعتمد نتائج المسبار على الطبقة المختارة ودقة الإدخال والمعالجة المسبقة، ومقدار البيانات المعنونة، والانتظام الخاص بالمسبار، والتقسيم بين صور التدريب والتقييم؛ لذا لا تصح المقارنة بين المُرمِّزات إلا إذا ظلت هذه العوامل كلها ثابتة. وعندما يفشل المسبار الخطي، ينجح أحيانًا مسبار صغير غير خطي، ما يدل على وجود المعلومات لكن بترميز غير خطي.

الاستقصاء الخطي والأساليب ذات الصلة#

• الضبط الدقيق: يحدّث بعض أوزان المُرمِّز أو كلها مع الرأس، ما يؤدي عادةً إلى دقة أعلى على البيانات المستهدفة. في بحث «قد يؤدي الضبط الدقيق إلى تشويه السمات المدرّبة مسبقًا»، زادت دقة الضبط الدقيق داخل التوزيع بمتوسط 2% على الاستقصاء الخطي عبر 10 مجموعات بيانات، لكنها انخفضت 7% عند تغيّر التوزيع؛ وتفوّق LP-FT، أي الاستقصاء الخطي أولًا ثم الضبط الدقيق انطلاقًا من ذلك الرأس، على الضبط الدقيق الكامل بنسبة 1% داخل التوزيع و10% عند تغيّره.
• تقييم أقرب الجيران k: يصنّف كل تضمين اختباري بحسب تسميات أقرب التضمينات التدريبية، دون أي تدريب، وهو بروتوكول شائع آخر للمُرمِّزات ذاتية الإشراف.
• استخراج السمات والتعلم بالنقل: ينتج استخراج السمات التضمينات التي يستهلكها المسبار، ويُعد تدريب رأس خطي فوق عمود فقري مجمد أقل أشكال التعلم بالنقل تكلفة؛ ويصف البرنامج التعليمي للتعلم بالنقل في PyTorch ذلك باستخدام الشبكة مستخرجًا ثابتًا للسمات.

حدود الاستقصاء الخطي#

يقيس الاستقصاء الخطي مدى سهولة الوصول إلى المعلومات خطيًا، وهذا يختلف عن مدى فائدة التمثيل بعد تكييفه. وجد مؤلفو المشفّرات التلقائية المقنّعة (MAE) أن نتائج الاستقصاء الخطي والضبط الدقيق لم تكن مترابطة إلى حد كبير: فقد حقق مُرمِّز ViT-L دقة 73.5% على ImageNet بالاستقصاء الخطي، ورفع ضبط آخر كتلة محوّل فقط الدقة إلى 81.0%، بينما حقق MoCo v3 نتيجة أعلى من MAE عند الاستقصاء، لكنه تخلف عنه في جميع إعدادات الضبط الدقيق الجزئي.