تقطير المعرفة

التقطير المعرفي هو تقنية في التعلم الآلي (ML) حيث يتم تدريب نموذج أصغر حجماً وصغير الحجم ("الطالب") على محاكاة سلوك نموذج أكبر وأكثر تعقيداً ("المعلم"). الهدف الأساسي هو نقل "المعرفة" التي تعلمها نموذج المعلم إلى نموذج الطالب، مما يمكّن الطالب من تحقيق أداء مماثل ولكن بمتطلبات حاسوبية أقل بكثير، مثل انخفاض الحجم وزمن استنتاج أسرع. وهذا يجعل نماذج التعلم العميق المعقدة (DL) عملية للنشر في بيئات محدودة الموارد مثل الأجهزة المحمولة أو منصات الحوسبة المتطورة. وقد تم تعميم هذا المفهوم من قبل جيفري هينتون وزملائه في ورقتهم البحثية"تقطير المعرفة في الشبكة العصبية".

كيف يعمل تقطير المعرفة

تتضمن العملية عادةً نموذجًا مدرسًا مدربًا مسبقًا، والذي يمكن أن يكون نموذجًا واحدًا قويًا أو مجموعة من النماذج المعروفة بالدقة العالية. يتم بعد ذلك تدريب نموذج الطالب، الذي عادةً ما يكون ذو معلمات أقل أو بنية أقل سطحية (على سبيل المثال، شبكة عصبية تلافيفية أصغر (CNN))، باستخدام مخرجات نموذج المعلم كتوجيه. بدلًا من استخدام التسميات الثابتة (الحقيقة الأساسية) من بيانات التدريب فقط، يتعلم الطالب غالبًا من "الأهداف اللينة" للمعلم - وهي التوزيعات الاحتمالية الكاملة التي تنبأ بها المعلم في جميع الفئات. تحتوي هذه الأهداف اللينة على معلومات أكثر ثراءً حول كيفية تعميم نموذج المعلم وتمثيل أوجه التشابه بين الفئات. تُستخدم دالة خسارة خاصة، غالبًا ما تسمى خسارة التقطير، لتقليل الفرق بين تنبؤات الطالب والأهداف اللينة للمعلم، وأحيانًا يتم دمجها مع خسارة قياسية محسوبة باستخدام التسميات الفعلية.

الفوائد والأهمية

يوفر تقطير المعرفة العديد من المزايا الرئيسية:

• ضغط النماذج: إنشاء نماذج أصغر حجمًا تتطلب مساحة تخزين أقل.
• استدلال أسرع: يؤدي التعقيد المنخفض للنموذج إلى تنبؤات أسرع، وهو أمر بالغ الأهمية لتطبيقات الاستدلال في الوقت الحقيقي.
• كفاءة الطاقة: تستهلك النماذج الأصغر حجماً طاقة أقل، وهو أمر مهم للأجهزة التي تعمل بالبطاريات وممارسات الذكاء الاصطناعي المستدامة. راجع إرشاداتUltralytics للصحة والسلامة البيئية.
• النشر على أجهزة الحافة: تمكين قدرات الذكاء الاصطناعي القوية على أجهزة ذات ذاكرة وقوة معالجة محدودة، مثل Raspberry Pi أو NVIDIA Jetson.
• تحسين الأداء المحتمل: في بعض الأحيان، يمكن لنموذج الطالب أن يعمم بشكل أفضل من نموذج مماثل في الحجم تم تدريبه مباشرةً على تسميات صعبة، حيث يتعلم من الإشارة الإشرافية الأكثر ثراءً التي يقدمها المعلم.

التطبيقات الواقعية

يُستخدم تقطير المعرفة على نطاق واسع في مختلف المجالات:

1. الرؤية الحاسوبية: نماذج اكتشاف الأجسام الكبيرة أو نماذج تجزئة الصور، مثل الإصدارات المعقدة من Ultralytics YOLO أو محولات الرؤية (ViT)، يمكن تقطيرها إلى إصدارات خفيفة الوزن مناسبة لتطبيقات الأجهزة المحمولةUltralytics تطبيق Ultralytics HUB) أو الأنظمة المدمجة في المركبات ذاتية القيادة أو الروبوتات. على سبيل المثال، تستخدم Intuitivo تقنية التقطير المعرفي لنقل المعرفة من النماذج التأسيسية الكبيرة إلى نماذج أصغر حجماً وفعالة من حيث التكلفة لتوسيع نطاق ملايين نقاط الشراء المستقلة، مما يسرع من عملية التوضيح بشكل كبير (المصدر: حديث YOLO فيجن 2023).
2. معالجة اللغات الطبيعية (NLP): غالبًا ما يتم تقطير النماذج اللغوية الضخمة الضخمة (LLMs) مثل BERT أو GPT إلى إصدارات أصغر (على سبيل المثال، DistilBERT بواسطة Hugging Face) لمهام مثل تحليل المشاعر أو الإجابة عن الأسئلة على الأجهزة ذات الميزانيات الحاسوبية المحدودة أو للتطبيقات التي تتطلب وقت استجابة أقل، مثل روبوتات الدردشة.

المفاهيم ذات الصلة

يرتبط تقطير المعرفة بتقنيات تحسين النماذج الأخرى ولكنه يختلف عنها:

• تشذيب النموذج: يتضمن إزالة الأوزان أو الوصلات الأقل أهمية من شبكة مدربة بالفعل لتقليل حجمها. تقوم عملية التقطير بتدريب شبكة جديدة أصغر حجماً.
• التكميم الكمي للنموذج: يقلل من الدقة العددية لأوزان النموذج (على سبيل المثال، من 32 بت عائم إلى 8 بت أعداد صحيحة) لتقليل الحجم وتسريع الحساب، وغالبًا ما يُستخدم إلى جانب التقطير أو بعده. انظر عمليات التكامل مثل ONNX أو TensorRT.
• نقل التعلّم: إعادة استخدام أجزاء من نموذج مُدرَّب مسبقًا (عادةً ما يكون العمود الفقري) وضبطه على مجموعة بيانات أو مهمة جديدة. يركز التقطير على نقل السلوك التنبؤي للمعلم إلى بنية طلابية مختلفة محتملة.
• التعلم الموحد: تدريب النماذج عبر الأجهزة اللامركزية دون مشاركة البيانات الخام، مع التركيز على الخصوصية. يركز التقطير على ضغط النماذج.

يعد تقطير المعرفة أداة قوية لجعل أحدث نماذج الذكاء الاصطناعي أكثر سهولة وفعالية، وسد الفجوة بين النماذج البحثية واسعة النطاق ونشر النماذج العملية في العالم الحقيقي. تعمل منصات مثل Ultralytics HUB على تسهيل تدريب ونشر النماذج المقطرة المحتملة مثل YOLOv8 أو YOLO11.