Knowledge Distillation
تعلم كيف ينقل تقطير المعرفة (knowledge distillation) الذكاء من المعلمين الكبار إلى الطلاب الصغار. حسّن Ultralytics YOLO26 لنشر سريع وفعال على الحافة.
تقطير المعرفة هو تقنية متطورة في تعلم الآلة حيث يتم تدريب شبكة عصبية مدمجة، تُعرف باسم "الطالب"، لتعيد إنتاج سلوك وأداء شبكة أكبر وأكثر تعقيدًا، تُعرف باسم "المعلم". الهدف الأساسي من هذه العملية هو تحسين النموذج، مما يتيح للمطورين نقل القدرات التنبؤية للبنيات الثقيلة إلى نماذج خفيفة الوزن مناسبة للنشر على الأجهزة ذات الموارد المحدودة. من خلال التقاط المعلومات الغنية المشفرة في تنبؤات المعلم، غالبًا ما يحقق نموذج الطالب دقة أعلى بكثير مما لو تم تدريبه فقط على البيانات الأولية، مما يسد الفجوة بشكل فعال بين الأداء العالي والكفاءة.
Link to this sectionآلية نقل المعرفة#
في التعلم الخاضع للإشراف التقليدي، يتم تدريب النماذج باستخدام "تصنيفات صلبة" من بيانات التدريب، حيث يتم تصنيف الصورة بشكل قاطع (على سبيل المثال، 100% "كلب" و 0% "قطة"). ومع ذلك، ينتج نموذج المعلم المدرب مسبقًا مخرجات عبر دالة سوفت ماكس التي تعين احتمالات لجميع الفئات. تُعرف توزيعات الاحتمالات هذه باسم "التصنيفات اللينة" أو "المعرفة المظلمة".
على سبيل المثال، إذا قام نموذج المعلم بتحليل صورة لذئب، فقد يتنبأ بنسبة 90% ذئب، و 9% كلب، و 1% قطة. يكشف هذا التوزيع أن الذئب يشترك في سمات بصرية مع الكلب، وهو سياق يتجاهله التصنيف الصلب. أثناء عملية التقطير، يقلل الطالب دالة الخسارة، مثل تباعد كولباك ليبلر، لمواءمة تنبؤاته مع التصنيفات اللينة للمعلم. تساعد هذه الطريقة، التي شاع استخدامها بفضل بحث جيفري هينتون، الطالب على التعميم بشكل أفضل وتقليل فرط التخصيص على مجموعات البيانات الأصغر.
Link to this sectionتطبيقات العالم الحقيقي#
يعتبر تقطير المعرفة محوريًا في الصناعات التي تكون فيها الموارد الحسابية نادرة ولكن الأداء العالي أمر لا غنى عنه.
- الذكاء الاصطناعي على الحافة ورؤية الهاتف المحمول: يتطلب تشغيل مهام اكتشاف الأشياء المعقدة على الهواتف الذكية أو أجهزة إنترنت الأشياء نماذج ذات زمن استجابة للاستدلال منخفض. يقوم المهندسون بتقطير الشبكات الضخمة إلى بنيات صديقة للهواتف المحمولة مثل YOLO26 (تحديدًا المتغيرات النانوية أو الصغيرة). يتيح ذلك للتطبيقات ذات الوقت الفعلي مثل التعرف على الوجه أو فلاتر الواقع المعزز العمل بسلاسة دون استنزاف عمر البطارية.
- معالجة اللغات الطبيعية (NLP): تتطلب نماذج اللغة الكبيرة (LLMs) الحديثة مجموعات GPU هائلة للعمل. يتيح التقطير للمطورين إنشاء إصدارات أصغر وأسرع من هذه النماذج التي تحتفظ بقدرات نمذجة اللغة الأساسية. وهذا يجعل من الممكن نشر روبوتات الدردشة والمساعدين الافتراضيين المستجيبين على أجهزة المستهلك القياسية أو حالات سحابية أبسط.
Link to this sectionالتمييز بين مصطلحات التحسين ذات الصلة#
من المهم التمييز بين تقطير المعرفة واستراتيجيات الضغط الأخرى، لأنها تعدل النماذج بطرق مختلفة جوهريًا.
- تعلم النقل: تتضمن هذه التقنية أخذ نموذج مدرب مسبقًا على مجموعة بيانات معيارية واسعة وتكييفه مع مهمة محددة جديدة (على سبيل المثال، الضبط الدقيق لمصنف صور عام لاكتشاف الشذوذات الطبية). في المقابل، يركز التقطير على ضغط نفس المعرفة في شكل أصغر بدلاً من تغيير المجال.
- تقليم النموذج: يقوم التقليم بإزالة الاتصالات أو العصبونات الزائدة فعليًا من شبكة مدربة موجودة لجعلها متفرقة. يتضمن التقطير عادةً تدريب بنية طالب أصغر ومنفصلة تمامًا من الصفر باستخدام إرشادات المعلم.
- تكميم النموذج: يقلل التكميم من دقة أوزان النموذج (على سبيل المثال، من فاصلة عائمة 32-بت إلى أعداد صحيحة 8-بت) لتوفير الذاكرة وتسريع الحساب. غالبًا ما تكون هذه خطوة أخيرة في نشر النموذج المتوافق مع محركات مثل TensorRT أو OpenVINO، ويمكن دمجها مع التقطير لتحقيق أقصى قدر من الكفاءة.
Link to this sectionتنفيذ نموذج الطالب#
في سير عمل عملي، تختار أولاً بنية خفيفة الوزن لتكون بمثابة الطالب. يمكن استخدام منصة Ultralytics لإدارة مجموعات البيانات وتتبع تجارب تدريب هذه النماذج الفعالة. فيما يلي مثال لتهيئة نموذج YOLO26 مدمج، وهو مثالي للنشر على الحافة والعمل كشبكة طالب:
from ultralytics import YOLO
# Load a lightweight YOLO26 nano model (acts as the student)
# The 'n' suffix denotes the nano version, optimized for speed
student_model = YOLO("yolo26n.pt")
# Train the model on a dataset
# In a custom distillation loop, the loss would be influenced by a teacher model
results = student_model.train(data="coco8.yaml", epochs=5, imgsz=640)
