Temperature Scaling

Temperature scaling, Yapay Zeka (AI) ve Makine Öğrenimi (ML) modellerinin tahmin edilen olasılıklarını kalibre etmek için tasarlanmış, yaygın olarak kullanılan bir işlem sonrası tekniğidir. Modern derin öğrenmede modeller genellikle aşırı özgüven sergiler; bu, tahmin ettikleri olasılıkların gerçek istatistiksel kalibrasyonu veya doğruluk olasılığını tam olarak yansıtmadığı anlamına gelir. Temperature scaling, ağın ham çıktı puanlarını (logitler), softmax fonksiyonunu uygulamadan önce "sıcaklık" (T) olarak bilinen tek bir öğrenilmiş skaler parametreye bölerek bunu ele alır. Bu ayarlama, nihai görüntü sınıflandırma kararını değiştirmeden olasılıkları yumuşatır ve modelin güveninin gerçek doğruluğuyla yakından uyumlu olmasını sağlar.

Link to this sectionTemperature Scaling Nasıl Çalışır#

Standart bir sınıflandırma ağında, son katman ham logit çıktıları verir ve bunlar daha sonra toplamı bire eşit olan olasılıklar üretmek için softmax aktivasyonundan geçirilir. Modern derin öğrenme mimarileri, özellikle çapraz entropi gibi kayıp fonksiyonları ile yoğun bir şekilde optimize edilmiş olanlar, kaybı en aza indirmek için bu logitleri uç değerlere itme eğilimindedir; bu da modelin yanlış kalibre edilmesine ve aşırı güven duymasına yol açan bir olguya neden olur.

Temperature scaling, softmax denklemine bir sıcaklık parametresi (T) dahil eder.

• T = 1 olduğunda, softmax fonksiyonu normal şekilde davranır.
• T > 1 olduğunda, logitler ölçeklenerek düşürülür; bu da çıktı dağılımını yumuşatır, tepe güveni etkin bir şekilde düşürür ve olasılık kütlesini tüm sınıflara daha eşit bir şekilde dağıtır.
• T < 1 olduğunda, dağılım daha keskin hale gelir ve modeli en üst tahmininde daha da emin olmaya iter.

T parametresini belirlenmiş bir doğrulama kümesinde optimize ederek, beklenen kalibrasyon hatasını minimize edersin. Bu basit, tek parametreli ayarlama, minimum hesaplama yükü gerektirdiği ve model ağırlıklarının orijinal doğruluğunu koruduğu için oldukça tercih edilir.

Link to this sectionTemperature Scaling ve Label Smoothing Karşılaştırması#

Her iki teknik de aşırı öğrenmeyi (overfitting) ve aşırı özgüveni önlemeyi amaçlasa da, model yaşam döngüsünün farklı aşamalarında çalışırlar. Label smoothing eğitim sırasında uygulanır. Modelin tek bir sınıfa tam olasılık atamasını önlemek için gerçek hedef değerleri değiştirir (örneğin, 1.0 olan kesin bir etiketi 0.9 olarak değiştirmek). Buna karşılık, temperature scaling ve Focal Temperature Scaling gibi daha yeni varyantlar, eğitim tamamlandıktan sonra uygulanan post-hoc kalibrasyon yöntemleridir; yani tamamen eğitilmiş bir modelin çıktı olasılıklarını herhangi bir yeniden eğitim gerektirmeden değiştirirler.

Link to this sectionGerçek Dünya Uygulamaları#

Doğru model kalibrasyonu, çeşitli endüstrilerde güvenlik ve güvenilirlik için kritiktir:

• Tıbbi Tanı: Beyin tümörü tespiti gibi görevlerde, aşırı güvenli bir yanlış sınıflandırma ciddi klinik sonuçlara yol açabilir. Temperature scaling kullanmak, tahminleyici modelleme sisteminin güvenilir olasılıklar üretmesini sağlar. Eğer bir tarama tahmini ölçeklendirmeden sonra oldukça belirsizse, sistem görüntüyü bir radyolog tarafından manuel olarak incelenmek üzere güvenle işaretleyebilir. Klinik modellerin kalibrasyonu üzerine yapılan son çalışmalar, kısıtlı ve yüksek riskli tanı ortamlarındaki değerini vurgulamaya devam ediyor.
• Büyük Dil Modelleri (LLM'ler): LLM'ler için temperature scaling, OpenAI'ın sıcaklık parametresinde görüldüğü gibi, çıktı stokastisitesini ve üretim çeşitliliğini kontrol etmek için yoğun bir şekilde kullanılır. Yüksek sıcaklıklar daha yaratıcı, değişken metinler üretirken, düşük sıcaklıklar deterministik, odaklanmış yanıtlar sağlar. Araştırmalar ilerledikçe, insan geri bildirimlerinden pekiştirmeli öğrenme sonrasında sıklıkla meydana gelen kalibrasyon bozulmasını düzeltmek için Adaptif Temperature Scaling (ATS) gibi teknikler geliştirilmektedir.
• Otonom Araçlar: Otonom sürüşte, nesne algılama sistemleri bir engelin yaya mı yoksa gölge mi olduğuna anında karar vermelidir. Bu görme modellerini kalibre etmek, modelin gerçek güveni kritik bir güvenlik eşiğinin altına düştüğünde acil frenleme gibi yedekleme mekanizmalarının güvenilir bir şekilde tetiklenmesini sağlar.

Link to this sectionKod Örneği: Temperature Scaling Uygulaması#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Kalibre edilmiş bilgisayarlı görü sistemlerini sorunsuz bir şekilde dağıtmak isteyen ekipler için Ultralytics Platform, deney takibi, model ince ayarı ve gerçek zamanlı çıkarım gecikmesini izleme için güçlü araçlar sağlar. Ayrıca, modern kalibrasyon teknikleri hakkındaki temel bilgiler, temperature scaling yöntemini endüstri standardı haline getiren "On Calibration of Modern Neural Networks" gibi etkili çalışmalara dayandırılabilir. Daha fazla pratik uygulama için scikit-learn'in olasılık kalibrasyonu çerçevelerini veya TensorFlow'un belirsizlik farkındalığına sahip modellerini keşfedebilirsin.