Temperature Scaling

تحجيم درجة الحرارة هو تقنية معالجة لاحقة مستخدمة على نطاق واسع ومصممة لمعايرة الاحتمالات المتوقعة لنماذج الذكاء الاصطناعي (AI) وتعلم الآلة (ML). في التعلم العميق الحديث، غالبًا ما تُظهر النماذج ثقة مفرطة، مما يعني أن احتمالاتها المتوقعة لا تعكس بدقة المعايرة الإحصائية الحقيقية أو احتمالية الصواب. يعالج تحجيم درجة الحرارة هذا الأمر عن طريق قسمة درجات المخرجات الخام للشبكة (اللوجيتات) على معامل عددي واحد يتم تعلمه يُعرف باسم "درجة الحرارة" (T) قبل تطبيق دالة softmax. يعمل هذا التعديل على تليين الاحتمالات دون تغيير قرار تصنيف الصور النهائي، مما يضمن توافق ثقة النموذج بشكل وثيق مع دقتها الفعلية.

Link to this sectionكيف يعمل تحجيم درجة الحرارة#

في شبكة التصنيف القياسية، تُخرج الطبقة النهائية لوجيتات خام، والتي يتم تمريرها بعد ذلك عبر تنشيط softmax لإنتاج احتمالات مجموعها واحد. تميل بنيات التعلم العميق الحديثة، وخاصة تلك المُحسَّنة بشكل مكثف باستخدام دوال الخسارة مثل الإنتروبيا المتقاطعة، إلى دفع هذه اللوجيتات إلى قيم متطرفة لتقليل الخسارة، مما يؤدي إلى ظاهرة يصبح فيها النموذج غير معاير وواثقاً بشكل مفرط.

يُدخل تحجيم درجة الحرارة معامل درجة الحرارة (T) في معادلة softmax.

• عندما تكون T = 1، تعمل دالة softmax بشكل طبيعي.
• عندما تكون T > 1، يتم تصغير حجم اللوجيتات، مما يعمل على تليين توزيع المخرجات، ويقلل فعلياً من ذروة الثقة ويوزع كتلة الاحتمالية بشكل أكثر توازناً عبر جميع الفئات.
• عندما تكون T < 1، يصبح التوزيع أكثر حدة، مما يدفع النموذج ليكون أكثر ثقة في توقعه الأعلى.

من خلال تحسين T على مجموعة تحقق مخصصة، يقلل المهندسون من خطأ المعايرة المتوقع. يُفضل هذا التعديل البسيط أحادي المعامل بشدة لأنه يتطلب حداً أدنى من العبء الحسابي ويحافظ على الدقة الأصلية لـ أوزان النموذج.

Link to this sectionتحجيم درجة الحرارة مقابل تنعيم التسميات#

بينما تهدف كلتا التقنيتين إلى منع الفرط في التخصيص والثقة المفرطة، فإنهما تعملان في مراحل مختلفة من دورة حياة النموذج. يتم تطبيق تنعيم التسميات أثناء التدريب. فهو يغير أهداف الحقيقة الأرضية (على سبيل المثال، تغيير تسمية صلبة من 1.0 إلى 0.9) لمنع النموذج من تخصيص احتمالية كاملة لفئة واحدة. في المقابل، يُعد تحجيم درجة الحرارة - والأنواع الأحدث مثل تحجيم درجة الحرارة البؤري - طرق معايرة لاحقة تُطبق بعد اكتمال التدريب، مما يعني أنها تعدل احتمالات مخرجات نموذج مدرب بالكامل دون الحاجة إلى إعادة تدريب.

Link to this sectionتطبيقات العالم الحقيقي#

تعد معايرة النموذج الصحيحة أمراً بالغ الأهمية للسلامة والموثوقية عبر مختلف الصناعات:

• التشخيص الطبي: في مهام مثل الكشف عن أورام المخ، يمكن أن يؤدي التصنيف الخاطئ الواثق جداً إلى عواقب سريرية وخيمة. يضمن استخدام تحجيم درجة الحرارة أن نظام النمذجة التنبؤية يُخرج احتمالات موثوقة. إذا كان توقع الفحص غير مؤكد إلى حد كبير بعد التحجيم، يمكن للنظام بثقة الإشارة إلى الصورة للمراجعة اليدوية من قبل أخصائي الأشعة. لا تزال الدراسات الحديثة حول معايرة النماذج السريرية تسلط الضوء على قيمتها في بيئات التشخيص المقيدة وعالية المخاطر.
• النماذج اللغوية الكبيرة (LLMs): بالنسبة لـ LLMs، يُستخدم تحجيم درجة الحرارة بكثافة للتحكم في العشوائية في المخرجات وتنوع التوليد، كما يظهر مع معامل درجة الحرارة لـ OpenAI. تنتج درجات الحرارة المرتفعة نصوصاً أكثر إبداعاً وتنوعاً، بينما تنتج درجات الحرارة المنخفضة استجابات حتمية ومركزة. مع تقدم الأبحاث، يتم تطوير تقنيات مثل تحجيم درجة الحرارة التكيفي (ATS) لتصحيح تدهور المعايرة الذي يحدث غالباً بعد التعلم التعزيزي من التغذية الراجعة البشرية.
• المركبات ذاتية القيادة: في القيادة الذاتية، يجب أن تقرر أنظمة اكتشاف الكائنات فوراً ما إذا كان العائق هو أحد المشاة أم ظلاً. تضمن معايرة نماذج الرؤية هذه تفعيل آليات الطوارئ، مثل الكبح الطارئ، بشكل موثوق عندما تنخفض الثقة الحقيقية للنموذج عن عتبة أمان حرجة.

Link to this sectionمثال برمجي: تنفيذ تحجيم درجة الحرارة#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

بالنسبة للفرق التي تتطلع إلى نشر أنظمة رؤية حاسوبية معايرة بسلاسة، توفر منصة Ultralytics أدوات قوية لإدارة تتبع التجارب، وضبط النماذج بدقة، ومراقبة زمن انتقال الاستدلال في الوقت الفعلي. بالإضافة إلى ذلك، يمكن إرجاع المعرفة التأسيسية حول تقنيات المعايرة الحديثة إلى دراسات مؤثرة مثل "حول معايرة الشبكات العصبية الحديثة"، والتي شاعت تحجيم درجة الحرارة كمعيار صناعي. لمزيد من التنفيذات العملية، استكشف أطر معايرة الاحتمالات في scikit-learn أو نماذج TensorFlow المدركة لعدم اليقين.