تقطير المعرفة

تقطير المعرفة هو تقنية متطورة في التعلم الآلي حيث يتم تدريب شبكة عصبية مدمجة ، يشار إليها باسم "الطالب"، على إعادة إنتاج سلوك وأداء شبكة أكبر وأكثر تعقيدًا، تُعرف باسم "المعلم". الهدف الأساسي من هذه العملية هو تحسين النموذج، مما يسمح للمطورين بنقل القدرات التنبؤية للبنى الثقيلة إلى نماذج خفيفة الوزن مناسبة للنشر على أجهزة محدودة الموارد. من خلال التقاط المعلومات الغنية المشفرة في تنبؤات المعلم، غالبًا ما يحقق نموذج التلميذ دقة أعلى بكثير مما لو تم تدريبه على البيانات الأولية فقط، مما يسد الفجوة بين الأداء العالي والكفاءة بشكل فعال.

آلية نقل المعرفة

في التعلم التقليدي الخاضع للإشراف، يتم تدريب النماذج باستخدام "تصنيفات صارمة" من بيانات التدريب، حيث يتم تصنيف الصورة بشكل قاطع (على سبيل المثال، 100٪ "كلب" و 0٪ "قطة"). ومع ذلك، فإن نموذج المعلم المدرب مسبقًا ينتج مخرجات عبر وظيفة softmax التي تحدد الاحتمالات لجميع الفئات. تُعرف توزيعات الاحتمالات هذه باسم "العلامات اللينة" أو "المعرفة المظلمة".

على سبيل المثال، إذا قام نموذج المعلم بتحليل صورة ذئب، فقد يتنبأ بأنها 90% ذئب و9% كلب و1% قطة. ويكشف هذا التوزيع أن الذئب يشترك في السمات البصرية مع الكلب، وهو سياق تتجاهله التسمية الصارمة. أثناء عملية التقطير، يقلل الطالب من وظيفة الخسارة، مثل تباعد كولباك-ليبلر، لمواءمة تنبؤاته مع العلامات الناعمة للمعلم. تساعد هذه الطريقة، التي شاع استخدامها بفضل أبحاث جيفري هينتون، الطالب على التعميم بشكل أفضل وتقلل من الإفراط في الملاءمة على مجموعات البيانات الأصغر.

تطبيقات واقعية

يعد تقطير المعرفة أمرًا محوريًا في الصناعات التي تكون فيها الموارد الحاسوبية نادرة ولكن الأداء العالي غير قابل للتفاوض.

• الذكاء الاصطناعي الحافي والرؤية المتنقلة: يتطلب تشغيل مهام الكشف عن الكائنات المعقدة على الهواتف الذكية أو أجهزة إنترنت الأشياء نماذج ذات زمن استدلال منخفض . يقوم المهندسون بتحويل الشبكات الضخمة إلى بنى متوافقة مع الأجهزة المتنقلة مثل YOLO26 (وبالتحديد النسخ الصغيرة أو النانوية). وهذا يتيح تشغيل التطبيقات في الوقت الفعلي مثل التعرف على الوجوه أو مرشحات الواقع المعزز بسلاسة دون استنزاف عمر البطارية.
• معالجة اللغة الطبيعية (NLP): تتطلب نماذج اللغة الكبيرة الحديثة (LLMs) موارد هائلة GPU لتشغيلها. يتيح التقطير للمطورين إنشاء إصدارات أصغر وأسرع من هذه النماذج التي تحتفظ بقدرات نمذجة اللغة الأساسية . وهذا يجعل من الممكن نشر روبوتات الدردشة والمساعدين الافتراضيين السريع الاستجابة على أجهزة المستهلكين القياسية أو حالات السحابة الأبسط.

التمييز بين مصطلحات التحسين ذات الصلة

من المهم التمييز بين تقطير المعرفة واستراتيجيات الضغط الأخرى، لأنها تعدل النماذج بطرق مختلفة تمامًا.

• التعلم النقلي: تتضمن هذه التقنية أخذ نموذج تم تدريبه مسبقًا على مجموعة بيانات قياسية واسعة وتكييفه مع مهمة جديدة ومحددة (على سبيل المثال، ضبط مصنف صور عام detect الشاذة). على العكس من ذلك، يركز التقطير على ضغط نفس المعرفة في شكل أصغر بدلاً من تغيير المجال.
• تقليم النموذج: التقليم هو عملية إزالة التوصيلات أو الخلايا العصبية الزائدة من شبكة مدربة موجودة لجعلها متفرقة. التقطير عادةً ما يتضمن تدريب بنية طلابية أصغر حجماً ومنفصلة تماماً من الصفر باستخدام إرشادات المعلم.
• تكمية النموذج: تقلل التكمية من دقة أوزان النموذج (على سبيل المثال، من 32 بت عائم إلى 8 بت صحيح) لتوفير الذاكرة وتسريع الحساب. غالبًا ما تكون هذه هي الخطوة الأخيرة في نشر النموذج المتوافق مع محركات مثل TensorRT أو OpenVINO، ويمكن دمجه مع التقطير لتحقيق أقصى قدر من الكفاءة.

تنفيذ نموذج الطالب

في سير العمل العملي، تختار أولاً بنية خفيفة الوزن لتكون بمثابة الطالب. يمكن استخدام Ultralytics لإدارة مجموعات track تجارب التدريب لهذه النماذج الفعالة. فيما يلي مثال على تهيئة نموذج YOLO26 المضغوط، وهو مثالي للنشر المتطور والعمل كشبكة طلابية:

from ultralytics import YOLO

# Load a lightweight YOLO26 nano model (acts as the student)
# The 'n' suffix denotes the nano version, optimized for speed
student_model = YOLO("yolo26n.pt")

# Train the model on a dataset
# In a custom distillation loop, the loss would be influenced by a teacher model
results = student_model.train(data="coco8.yaml", epochs=5, imgsz=640)