Knowledge Distillation
تعلّم كيف تنقل عملية تقطير المعرفة الذكاء من نماذج المعلمين الكبيرة إلى نماذج الطلاب المدمجة. حسّن Ultralytics YOLO26 للنشر الطرفي السريع والفعّال.
تقطير المعرفة هو أسلوب متقدم في التعلّم الآلي، حيث تُدرَّب شبكة عصبية مدمجة، يُشار إليها باسم «الطالب»، على محاكاة سلوك شبكة أكبر وأكثر تعقيدًا وأدائها، تُعرف باسم «المعلّم». والهدف الأساسي من هذه العملية هو تحسين النموذج، مما يتيح للمطورين نقل القدرات التنبؤية للبنى الثقيلة إلى نماذج خفيفة مناسبة للنشر على أجهزة ذات موارد محدودة. ومن خلال التقاط المعلومات الغنية المشفَّرة في تنبؤات المعلّم، يحقق نموذج الطالب غالبًا دقة أعلى بكثير مما لو دُرِّب على البيانات الخام وحدها، مما يسد الفجوة بين الأداء العالي والكفاءة بفاعلية.
آلية نقل المعرفة#
في التعلّم الخاضع للإشراف التقليدي، تُدرَّب النماذج باستخدام «التسميات الصلبة» من بيانات التدريب، حيث تُصنَّف الصورة تصنيفًا قاطعًا (مثلًا: 100% «كلب» و0% «قطة»). إلا أن نموذجًا معلّمًا مدرَّبًا مسبقًا ينتج مخرجًا عبر دالة softmax تُسنِد احتمالات إلى جميع الفئات. وتُعرف توزيعات الاحتمالات هذه باسم «التسميات اللينة» أو «المعرفة المظلمة».
على سبيل المثال، إذا حلّل نموذج معلّم صورةً لذئب، فقد يتنبأ باحتمال 90% للذئب، و9% للكلب، و1% للقطة. يكشف هذا التوزيع أن الذئب يشترك في سمات بصرية مع الكلب، وهو سياق تتجاهله التسمية الصلبة. وأثناء عملية التقطير، يقلّل الطالب دالة خسارة، مثل تباعد كولباك–لايبلر، لمواءمة تنبؤاته مع التسميات اللينة للمعلّم. وقد ذاع هذا الأسلوب بفضل أبحاث Geoffrey Hinton، إذ يساعد الطالب على التعميم بصورة أفضل ويقلّل فرط التكيّف على مجموعات البيانات الصغيرة.
التطبيقات الواقعية#
يؤدي تقطير المعرفة دورًا محوريًا في الصناعات التي تكون فيها الموارد الحاسوبية شحيحة، بينما لا يمكن التنازل عن الأداء العالي.
- الذكاء الاصطناعي الطرفي والرؤية على الأجهزة المحمولة: يتطلب تشغيل مهام معقدة في اكتشاف الكائنات على الهواتف الذكية أو أجهزة إنترنت الأشياء نماذج ذات زمن استدلال منخفض. ويُجري المهندسون تقطيرًا للشبكات الضخمة إلى بُنى ملائمة للأجهزة المحمولة مثل YOLO26 (وتحديدًا الإصدارات النانوية أو الصغيرة). ويتيح ذلك تشغيل تطبيقات آنية، مثل التعرّف على الوجوه أو مرشحات الواقع المعزز، بسلاسة من دون استنزاف عمر البطارية.
- معالجة اللغة الطبيعية (NLP): تتطلب نماذج اللغة الكبيرة (LLMs) الحديثة عناقيد هائلة من GPU لتعمل. ويتيح التقطير للمطورين إنشاء إصدارات أصغر وأسرع من هذه النماذج، مع احتفاظها بقدرات نمذجة اللغة الأساسية. وهذا يجعل نشر روبوتات المحادثة والمساعدين الافتراضيين سريعي الاستجابة على أجهزة المستهلكين القياسية أو مثيلات سحابية أبسط أمرًا ممكنًا.
التمييز بين مصطلحات التحسين ذات الصلة#
من المهم التمييز بين تقطير المعرفة واستراتيجيات الضغط الأخرى، لأنها تعدّل النماذج بطرق مختلفة جوهريًا.
- التعلّم بالنقل: يتضمن هذا الأسلوب أخذ نموذج مدرَّب مسبقًا على مجموعة بيانات معيارية واسعة وتكييفه لمهمة جديدة ومحددة (مثل الضبط الدقيق لمصنّف صور عام لاكتشاف الحالات الشاذة الطبية). وعلى العكس، يركّز التقطير على ضغط المعرفة نفسها في صيغة أصغر بدلًا من تغيير المجال.
- تشذيب النموذج: يزيل التشذيب فعليًا الوصلات أو الخلايا العصبية الزائدة من شبكة مدرَّبة موجودة لجعلها متناثرة. أما التقطير فعادةً ما يتضمن تدريب بنية طالب أصغر ومنفصلة تمامًا من الصفر، باستخدام توجيه المعلّم.
- تكميم النموذج: يقلّل التكميم دقة أوزان النموذج (مثلًا من أعداد فاصلة عائمة بدقة 32 بت إلى أعداد صحيحة بدقة 8 بت) لتوفير الذاكرة وتسريع الحسابات. وغالبًا ما تكون هذه خطوة نهائية في نشر النموذج المتوافق مع محركات مثل TensorRT أو OpenVINO، ويمكن دمجها مع التقطير لتحقيق أقصى قدر من الكفاءة.
تنفيذ نموذج الطالب#
في سير عمل عملي، تختار أولًا بنية خفيفة لتؤدي دور الطالب. ويمكن استخدام منصة Ultralytics لإدارة مجموعات البيانات وتتبع تجارب تدريب هذه النماذج الفعّالة. فيما يلي مثال على تهيئة نموذج YOLO26 مدمج، وهو مثالي للنشر الطرفي ولأداء دور شبكة الطالب:
from ultralytics import YOLO
# Load a lightweight YOLO26 nano model (acts as the student)
# The 'n' suffix denotes the nano version, optimized for speed
student_model = YOLO("yolo26n.pt")
# Train the model on a dataset
# In a custom distillation loop, the loss would be influenced by a teacher model
results = student_model.train(data="coco8.yaml", epochs=5, imgsz=640)
