ترخيص YOLO
العودة إلى مسرد Ultralytics

Kullback-Leibler Divergence (KL Divergence)

يقيس تباعد كولباك-لايبلر مدى اختلاف توزيعين احتماليين. ويكتسب ترتيب التوزيعين أهمية في التدريب واكتشاف الانحراف والمعايرة بتنسيق INT8.

يقيس تباعد كولباك-لايبلر (تباعد KL)، المعروف أيضًا باسم الإنتروبيا النسبية، مقدار المعلومات الإضافية اللازمة، في المتوسط، لترميز نواتج مأخوذة من توزيع احتمالي باستخدام رمز مصمم لتوزيع آخر. وفي التعلم الآلي، يقيس تكلفة استخدام احتمالات نموذج بدلًا من توزيع مرجعي. ويكتسب الترتيب أهمية: إذ يحدد التوزيع الأول مقدار الوزن الذي يحمله كل ناتج. وقد استحدث سولومون كولباك وريتشارد أ. لايبلر هذا المقياس في ورقتهما المنشورة عام 1951 بعنوان حول المعلومات والكفاية.

كيفية حساب تباعد KL#

بالنسبة إلى التوزيعين المتقطعين P وQ، طابق النواتج بحسب التسمية أو الفئة. لكل ناتج، اقسم احتماله في P على احتماله في Q، ثم احسب اللوغاريتم واضربه في احتمال ذلك الناتج في P. اجمع هذه الحدود الموزونة. في الترميز D_KL(P || Q)، يوفّر P الأوزان. أما في التوزيعات المستمرة، فاستخدم كثافات الاحتمال واحسب تكامل نسبة اللوغاريتم الموزونة على فضاء النواتج. تعطي اللوغاريتمات الطبيعية ناتات؛ وتعطي اللوغاريتمات ذات الأساس 2 بتات.

عندما يكون P = (0.8, 0.2) وQ = (0.5, 0.5)، تكون الحدود 0.8 * ln(0.8 / 0.5) و0.2 * ln(0.2 / 0.5). ومجموعها 0.193 نات. وعند تبديل P وQ، يصبح الناتج 0.223 نات. قد تكون الحدود الفردية سالبة، لكن المجموع غير سالب دائمًا.

تباعد KL في Python#

تحتوي عينة الأرقام المكتوبة يدويًا المضمّنة مع scikit-learn على 1,797 صورة مصنفة. وتوضح مقارنة تكرارات التسميات بتوزيع منتظم مدى ابتعاد عينة تصنيف الصور عن التوازن المتساوي بين الفئات. وتطبّع entropy من SciPy كلا المدخلين، لذا تقبل أعداد الفئات وكذلك الاحتمالات.

import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits

digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)

# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")

تبلغ النتيجة نحو 0.00011 نات، ما يعكس التقارب في عدد الصور لكل رقم.

كيفية تفسير قيم تباعد KL#

تعني الصفر تطابق التوزيعين. وتشير القيم الأكبر إلى تفاوت أكبر، ما دام الاتجاه والوحدات وتعريفات النواتج ثابتة. في مراقبة النماذج، يمكن لتباعد KL أن يكشف التغيرات في تكرارات الفئات المتوقعة بين نافذة بيانات مباشرة وخط أساس. ولا توجد عتبة تنبيه موحدة، إذ تتباين الدرجة بحسب تقسيم الفئات وحجم العينة. ويمكن أن يؤدي تغير تكرارات الفئات المتوقعة إلى بدء المراجعة؛ أما مقاييس الأداء المحسوبة على بيانات مصنفة فتحدد أي تراجع في جودة النموذج.

تحدث اللانهاية كلما كان لاحتمال ناتج متقطع قيمة موجبة في P وصفر في Q. ولا يسهم الناتج الذي يكون احتماله صفرًا في P في القيمة. وقد تعكس الفئة الفارغة في مدرج تكراري مرصود محدودية أخذ العينات. وتؤدي إضافة عدد صغير إلى كل فئة قبل التطبيع إلى درجة محدودة للتوزيعين الناتجين بعد التنعيم. وتشير التسمية غير الرسمية مسافة KL إلى الكمية نفسها، وهي غير متماثلة ولا تحقق متباينة المثلث المطلوبة للمسافة الرياضية.

استخدامات تباعد KL#

في تقطير المعرفة، يمكن للطالب أن يتعلم من توزيع الفئات الكامل للمعلم. ويستخدم التقطير بالهدف اللين احتمالات softmax المضبوطة بدرجة الحرارة لكلا النموذجين. إن وضع المعلم أولًا في تباعد KL يعاقب الطالب على منح احتمال ضئيل جدًا للفئات التي يعدّها المعلم معقولة. ويستخدم المشفّر التلقائي التبايني تباعد KL من أجل تنظيم التوزيع الكامن المرمّز ودفعه نحو توزيع قبلي مختار، وغالبًا ما يكون توزيعًا طبيعيًا معياريًا.

في تكميم النماذج بعد التدريب، تقارن معايرة الإنتروبيا مدرجات تنشيط الوحدات قبل التكميم المحاكى بتنسيق INT8 وبعده. وتختار عتبة القص التي تحقق أدنى تباعد KL. ويختار مصدّر Ultralytics إلى TensorRT معايرة الإنتروبيا لعمليات التصدير بعد التدريب بتنسيق INT8 الخاصة بـ YOLO26، والمستهدفة لمسرّع التعلم العميق (DLA) على NVIDIA Jetson، باستخدام إصدار TensorRT 7–10 المتوافق مع DLA.

تباعد KL مقارنةً بالإنتروبيا المتقاطعة وتباعد جنسن-شانون#

تضيف خسارة الإنتروبيا المتقاطعة عدم اليقين الملازم لـ P إلى التكلفة الإضافية التي يقيسها تباعد KL. وعندما يكون P ثابتًا، تحقق الخسارتان القيمة المثلى نفسها لـ Q. وعندما يكون P هدفًا أحاديًا، يكون عدم اليقين فيه صفرًا، لذا تساوي الخسارتان سالب لوغاريتم الاحتمال الذي يسنده Q للفئة المصنفة.

يحسب تباعد جنسن-شانون متوسط قيمتي KL: إحداهما من P إلى التوزيع المتوسط، والأخرى من Q إلى التوزيع المتوسط نفسه. ويسند التوزيع المتوسط احتمالًا موجبًا إلى كل ناتج يظهر في أي من التوزيعين. وهذا يجعل تباعد جنسن-شانون متماثلًا، ويمنحه قيمة قصوى قدرها 1 بت، تتحقق عندما لا يشترك التوزيعان في أي ناتج.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة