Kullback-Leibler Divergence (KL Divergence)
يقيس تباعد كولباك-لايبلر مدى اختلاف توزيعين احتماليين. ويكتسب ترتيب التوزيعين أهمية في التدريب واكتشاف الانحراف والمعايرة بتنسيق INT8.
يقيس تباعد كولباك-لايبلر (تباعد KL)، المعروف أيضًا باسم الإنتروبيا النسبية، مقدار المعلومات الإضافية اللازمة، في المتوسط، لترميز نواتج مأخوذة من توزيع احتمالي باستخدام رمز مصمم لتوزيع آخر. وفي التعلم الآلي، يقيس تكلفة استخدام احتمالات نموذج بدلًا من توزيع مرجعي. ويكتسب الترتيب أهمية: إذ يحدد التوزيع الأول مقدار الوزن الذي يحمله كل ناتج. وقد استحدث سولومون كولباك وريتشارد أ. لايبلر هذا المقياس في ورقتهما المنشورة عام 1951 بعنوان حول المعلومات والكفاية.
كيفية حساب تباعد KL#
بالنسبة إلى التوزيعين المتقطعين P وQ، طابق النواتج بحسب التسمية أو الفئة. لكل ناتج، اقسم احتماله في P على احتماله في Q، ثم احسب اللوغاريتم واضربه في احتمال ذلك الناتج في P. اجمع هذه الحدود الموزونة. في الترميز D_KL(P || Q)، يوفّر P الأوزان. أما في التوزيعات المستمرة، فاستخدم كثافات الاحتمال واحسب تكامل نسبة اللوغاريتم الموزونة على فضاء النواتج. تعطي اللوغاريتمات الطبيعية ناتات؛ وتعطي اللوغاريتمات ذات الأساس 2 بتات.
عندما يكون P = (0.8, 0.2) وQ = (0.5, 0.5)، تكون الحدود 0.8 * ln(0.8 / 0.5) و0.2 * ln(0.2 / 0.5). ومجموعها 0.193 نات. وعند تبديل P وQ، يصبح الناتج 0.223 نات. قد تكون الحدود الفردية سالبة، لكن المجموع غير سالب دائمًا.
تباعد KL في Python#
تحتوي عينة الأرقام المكتوبة يدويًا المضمّنة مع scikit-learn على 1,797 صورة مصنفة. وتوضح مقارنة تكرارات التسميات بتوزيع منتظم مدى ابتعاد عينة تصنيف الصور عن التوازن المتساوي بين الفئات. وتطبّع entropy من SciPy كلا المدخلين، لذا تقبل أعداد الفئات وكذلك الاحتمالات.
import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits
digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)
# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")تبلغ النتيجة نحو 0.00011 نات، ما يعكس التقارب في عدد الصور لكل رقم.
كيفية تفسير قيم تباعد KL#
تعني الصفر تطابق التوزيعين. وتشير القيم الأكبر إلى تفاوت أكبر، ما دام الاتجاه والوحدات وتعريفات النواتج ثابتة. في مراقبة النماذج، يمكن لتباعد KL أن يكشف التغيرات في تكرارات الفئات المتوقعة بين نافذة بيانات مباشرة وخط أساس. ولا توجد عتبة تنبيه موحدة، إذ تتباين الدرجة بحسب تقسيم الفئات وحجم العينة. ويمكن أن يؤدي تغير تكرارات الفئات المتوقعة إلى بدء المراجعة؛ أما مقاييس الأداء المحسوبة على بيانات مصنفة فتحدد أي تراجع في جودة النموذج.
تحدث اللانهاية كلما كان لاحتمال ناتج متقطع قيمة موجبة في P وصفر في Q. ولا يسهم الناتج الذي يكون احتماله صفرًا في P في القيمة. وقد تعكس الفئة الفارغة في مدرج تكراري مرصود محدودية أخذ العينات. وتؤدي إضافة عدد صغير إلى كل فئة قبل التطبيع إلى درجة محدودة للتوزيعين الناتجين بعد التنعيم. وتشير التسمية غير الرسمية مسافة KL إلى الكمية نفسها، وهي غير متماثلة ولا تحقق متباينة المثلث المطلوبة للمسافة الرياضية.
استخدامات تباعد KL#
في تقطير المعرفة، يمكن للطالب أن يتعلم من توزيع الفئات الكامل للمعلم. ويستخدم التقطير بالهدف اللين احتمالات softmax المضبوطة بدرجة الحرارة لكلا النموذجين. إن وضع المعلم أولًا في تباعد KL يعاقب الطالب على منح احتمال ضئيل جدًا للفئات التي يعدّها المعلم معقولة. ويستخدم المشفّر التلقائي التبايني تباعد KL من أجل تنظيم التوزيع الكامن المرمّز ودفعه نحو توزيع قبلي مختار، وغالبًا ما يكون توزيعًا طبيعيًا معياريًا.
في تكميم النماذج بعد التدريب، تقارن معايرة الإنتروبيا مدرجات تنشيط الوحدات قبل التكميم المحاكى بتنسيق INT8 وبعده. وتختار عتبة القص التي تحقق أدنى تباعد KL. ويختار مصدّر Ultralytics إلى TensorRT معايرة الإنتروبيا لعمليات التصدير بعد التدريب بتنسيق INT8 الخاصة بـ YOLO26، والمستهدفة لمسرّع التعلم العميق (DLA) على NVIDIA Jetson، باستخدام إصدار TensorRT 7–10 المتوافق مع DLA.
تباعد KL مقارنةً بالإنتروبيا المتقاطعة وتباعد جنسن-شانون#
تضيف خسارة الإنتروبيا المتقاطعة عدم اليقين الملازم لـ P إلى التكلفة الإضافية التي يقيسها تباعد KL. وعندما يكون P ثابتًا، تحقق الخسارتان القيمة المثلى نفسها لـ Q. وعندما يكون P هدفًا أحاديًا، يكون عدم اليقين فيه صفرًا، لذا تساوي الخسارتان سالب لوغاريتم الاحتمال الذي يسنده Q للفئة المصنفة.
يحسب تباعد جنسن-شانون متوسط قيمتي KL: إحداهما من P إلى التوزيع المتوسط، والأخرى من Q إلى التوزيع المتوسط نفسه. ويسند التوزيع المتوسط احتمالًا موجبًا إلى كل ناتج يظهر في أي من التوزيعين. وهذا يجعل تباعد جنسن-شانون متماثلًا، ويمنحه قيمة قصوى قدرها 1 بت، تتحقق عندما لا يشترك التوزيعان في أي ناتج.










