اكتشف كيف يضغط تقطير المعرفة نماذج الذكاء الاصطناعي للحصول على استدلال أسرع، ودقة محسنة، وكفاءة نشر الأجهزة الطرفية.
تقطير المعرفة هي استراتيجية متطورة متطورة لتحسين النموذج في التعلم الآلي حيث يتم تدريب نموذج يتم تدريب نموذج "الطالب" المدمج على إعادة إنتاج أداء وسلوك نموذج "معلم" أكبر وأكثر تعقيدًا "معلم" أكبر. الهدف الأساسي هو نقل قدرات التعميم و"المعرفة" من شبكة المعلم الثقيلة إلى شبكة الطالب الخفيفة. تتيح هذه العملية نشر نماذج عالية الدقة عالية الدقة على أجهزة محدودة الموارد، مثل مثل أجهزة الحوسبة المتطورة، دون المعاناة من الانخفاض الكبير في الدقة الذي يصاحب عادةً البنى الأصغر. من خلال ضغط المعلومات، يمكن للمطورين يمكن للمطورين تحقيق زمن استنتاج أسرع وتقليل استخدام الذاكرة مع الحفاظ على قوة تنبؤية قوية.
تعتمد العملية على مفهوم "العلامات اللينة". في التعلّم القياسي القياسية، يتم تدريب النماذج على "التسميات الصلبة" من بيانات التدريب (على سبيل المثال, صورة بنسبة 100% "قطة" و 0% "كلب"). ومع ذلك، ينتج نموذج المعلم المدرّب مسبقًا توزيعات احتمالية توزيعات احتمالية، تُعرف باسم التسميات اللينة، عبر جميع الفئات. على سبيل المثال، قد يتنبأ المعلم بصورة 90% قطة، و9% كلب، و1% سيارة. تحتوي هذه التسميات البسيطة هذه على معلومات غنية حول العلاقات بين بين الفئات، مما يشير إلى أن القطة المحددة تشبه الكلب إلى حد ما.
أثناء عملية التقطير، يتم تدريب نموذج الطالب على تقليل الفرق بين تنبؤاته وتوقعات المعلم التسميات الناعمة، غالبًا باستخدام دالة خسارة محددة مثل تباعد كولباك-ليبلر. يسمح هذا يسمح للطالب بتعلّم "المعرفة المظلمة" أو البنية الدقيقة للبيانات التي اكتشفها المعلم اكتشفها المعلم بالفعل. للحصول على فهم أساسي، غالبًا ما يشير الباحثون إلى ورقة جيفري هينتون البحثية الأساسية حول هذا الموضوع.
بينما تتعامل المكتبات عادةً مع حسابات الخسارة المعقدة داخليًا، فإن تهيئة نموذج الطالب للتدريب
هو الخطوة العملية الأولى. فيما يلي كيفية تحميل نموذج طالب خفيف الوزن مثل
YOLO11 باستخدام ultralytics الحزمة:
from ultralytics import YOLO
# Load a lightweight student model (YOLO11n)
# 'n' stands for nano, the smallest and fastest version
student_model = YOLO("yolo11n.pt")
# Train the student model on a dataset
# In a distillation workflow, this training would be guided by a teacher model's outputs
results = student_model.train(data="coco8.yaml", epochs=5, imgsz=640)
يعد تقطير المعرفة أمرًا محوريًا في الصناعات التي تكون فيها الكفاءة أمرًا بالغ الأهمية مثل الدقة.
من المهم التفريق بين تقنية تقطير المعرفة والتقنيات الأخرى المستخدمة لتحسين كفاءة النموذج، حيث تعمل على مبادئ مختلفة.
من خلال الجمع بين هذه التقنيات - على سبيل المثال، تقطير المعلم إلى طالب، ثم تطبيق التكميم - يمكن للمطورين زيادة الأداء على الأنظمة المدمجة.
