اكتشف كيف تعمل تقنية تقطير المعرفة على ضغط نماذج الذكاء الاصطناعي من أجل استدلال أسرع ودقة محسّنة وكفاءة نشر الأجهزة المتطورة.
التقطير المعرفي هو تقنية في التعلم الآلي (ML) حيث يتم تدريب نموذج أصغر حجماً وصغير الحجم ("الطالب") على محاكاة سلوك نموذج أكبر وأكثر تعقيداً ("المعلم"). الهدف الأساسي هو نقل "المعرفة" التي تعلمها نموذج المعلم إلى نموذج الطالب، مما يمكّن الطالب من تحقيق أداء مماثل ولكن بمتطلبات حاسوبية أقل بكثير، مثل انخفاض الحجم وزمن استنتاج أسرع. وهذا يجعل نماذج التعلم العميق المعقدة (DL) عملية للنشر في بيئات محدودة الموارد مثل الأجهزة المحمولة أو منصات الحوسبة المتطورة. وقد تم تعميم هذا المفهوم من قبل جيفري هينتون وزملائه في ورقتهم البحثية"تقطير المعرفة في الشبكة العصبية".
تتضمن العملية عادةً نموذجًا مدرسًا مدربًا مسبقًا، والذي يمكن أن يكون نموذجًا واحدًا قويًا أو مجموعة من النماذج المعروفة بالدقة العالية. يتم بعد ذلك تدريب نموذج الطالب، الذي عادةً ما يكون ذو معلمات أقل أو بنية أقل سطحية (على سبيل المثال، شبكة عصبية تلافيفية أصغر (CNN))، باستخدام مخرجات نموذج المعلم كتوجيه. بدلًا من استخدام التسميات الثابتة (الحقيقة الأساسية) من بيانات التدريب فقط، يتعلم الطالب غالبًا من "الأهداف اللينة" للمعلم - وهي التوزيعات الاحتمالية الكاملة التي تنبأ بها المعلم في جميع الفئات. تحتوي هذه الأهداف اللينة على معلومات أكثر ثراءً حول كيفية تعميم نموذج المعلم وتمثيل أوجه التشابه بين الفئات. تُستخدم دالة خسارة خاصة، غالبًا ما تسمى خسارة التقطير، لتقليل الفرق بين تنبؤات الطالب والأهداف اللينة للمعلم، وأحيانًا يتم دمجها مع خسارة قياسية محسوبة باستخدام التسميات الفعلية.
يوفر تقطير المعرفة العديد من المزايا الرئيسية:
يُستخدم تقطير المعرفة على نطاق واسع في مختلف المجالات:
يرتبط تقطير المعرفة بتقنيات تحسين النماذج الأخرى ولكنه يختلف عنها:
يعد تقطير المعرفة أداة قوية لجعل أحدث نماذج الذكاء الاصطناعي أكثر سهولة وفعالية، وسد الفجوة بين النماذج البحثية واسعة النطاق ونشر النماذج العملية في العالم الحقيقي. تعمل منصات مثل Ultralytics HUB على تسهيل تدريب ونشر النماذج المقطرة المحتملة مثل YOLOv8 أو YOLO11.