Knowledge Distillation

التقطير المعرفي هو تقنية متطورة في machine learning حيث يتم تدريب شبكة عصبية مدمجة، تُعرف باسم "الطالب"، على إعادة إنتاج سلوك وأداء شبكة أكبر وأكثر تعقيداً تُعرف باسم "المعلم". الهدف الأساسي لهذه العملية هو model optimization، مما يتيح للمطورين نقل قدرات التنبؤ للبنى الثقيلة إلى نماذج خفيفة الوزن مناسبة للنشر على الأجهزة المحدودة الموارد. ومن خلال التقاط المعلومات الغنية المشفرة في تنبؤات المعلم، يحقق نموذج الطالب غالباً accuracy أعلى بكثير مقارنة بتدريبه حصرياً على البيانات الخام، مما يردم الفجوة بفعالية بين الأداء العالي والكفاءة.

آلية نقل المعرفة#

في supervised learning التقليدي، تُدرب النماذج باستخدام "العلامات الثابتة" من training data، حيث تُصنف الصورة بشكل قاطع (مثل: 100% "كلب" و0% "قطة"). ومع ذلك، يُنتج نموذج المعلم المدرب مسبقاً مخرجات عبر softmax function تُخصص احتمالات لجميع الفئات. تُعرف توزيعات الاحتمالات هذه باسم "العلامات اللينة" أو "المعرفة الخفية".

على سبيل المثال، إذا قام نموذج المعلم بتحليل صورة لذئب، فقد يتنبأ بنسبة 90% ذئب، و9% كلب، و1% قطة. تكشف هذه التوزيعات أن الذئب يتشارك ميزات بصرية مع الكلب، وهو سياق تتجاهله العلامات الثابتة. خلال عملية التقطير، يقوم الطالب بتقليل loss function، مثل Kullback-Leibler divergence، لمواءمة تنبؤاته مع العلامات اللينة للمعلم. تساعد هذه الطريقة، التي شاع استخدامها بفضل Geoffrey Hinton's research، الطالب على التعميم بشكل أفضل وتقليل overfitting على مجموعات البيانات الأصغر.

تطبيقات العالم الحقيقي#

يعتبر تقطير المعرفة محوريًا في الصناعات التي تكون فيها الموارد الحسابية نادرة ولكن الأداء العالي أمر لا غنى عنه.

• الذكاء الاصطناعي على الحافة ورؤية الجوال: يتطلب تشغيل مهام object detection المعقدة على الهواتف الذكية أو أجهزة إنترنت الأشياء نماذج ذات inference latency منخفض. يقوم المهندسون بقطر الشبكات الهائلة إلى بنى صديقة للهواتف المحمولة مثل YOLO26 (تحديداً البدائل الصغرى nano أو الصغيرة small). يتيح هذا التطبيقات الفورية مثل face recognition أو مرشحات الواقع المعزز للعمل بسلاسة دون استنزاف battery life.
• معالجة اللغات الطبيعية (NLP): تتطلب large language models (LLMs) الحديثة مجموعات GPU ضخمة للعمل. يتيح التقطير للمطورين إنشاء إصدارات أصغر وأسرع من هذه النماذج التي تحافظ على قدرات language modeling الأساسية. يجعل هذا الأمر من الممكن نشر chatbots والمساعدين الافتراضيين سريعي الاستجابة على الأجهزة الاستهلاكية القياسية أو مثيلات السحابة الأبسط.

التمييز بين مصطلحات التحسين ذات الصلة#

من المهم التمييز بين تقطير المعرفة واستراتيجيات الضغط الأخرى، لأنها تعدل النماذج بطرق مختلفة جوهريًا.

• Transfer Learning: تتضمن هذه التقنية أخذ نموذج مدرب مسبقاً على benchmark dataset ضخم وتكييفه مع مهمة جديدة ومحددة (مثل fine-tuning مُصنِّف صور عام لاكتشاف الشذوذ الطبي). في المقابل، يركز التقطير على ضغط نفس المعرفة في شكل أصغر بدلاً من تغيير المجال.
• Model Pruning: يزيل التقليم جسدياً الاتصالات أو الخلايا العصبية الزائدة عن الحاجة من شبكة مدربة حالية لجعلها متفرقة. يتضمن التقطير عادةً تدريب بنية طالب أصغر منفصلة تماماً من الصفر باستخدام توجيه المعلم.
• Model Quantization: تقلل التكميم دقة أوزان النموذج (مثل التحول من الفاصلة العائمة 32-بت إلى الأعداد الصحيحة 8-بت) لتوفير الذاكرة وتسريع الحساب. غالباً ما تكون هذه خطوة أخيرة في model deployment متوافقة مع محركات مثل TensorRT أو OpenVINO، ويمكن دمجها مع التقطير لتحقيق أقصى قدر من الكفاءة.

تنفيذ نموذج الطالب#

في سير عمل عملي، تقوم أولاً بتحديد بنية خفيفة الوزن لتكون بمثابة الطالب. يمكن استخدام Ultralytics Platform لإدارة مجموعات البيانات وتتبع تجارب التدريب لهذه النماذج الفعالة. فيما يلي مثال على تهيئة نموذج YOLO26 مدمج، وهو مثالي للنشر على الحافة والعمل كشبكة طالب:

from ultralytics import YOLO

# Load a lightweight YOLO26 nano model (acts as the student)
# The 'n' suffix denotes the nano version, optimized for speed
student_model = YOLO("yolo26n.pt")

# Train the model on a dataset
# In a custom distillation loop, the loss would be influenced by a teacher model
results = student_model.train(data="coco8.yaml", epochs=5, imgsz=640)