Temperature Scaling

Temperature scaling, Yapay Zeka (AI) ve Makine Öğrenimi (ML) modellerinin tahmin edilen olasılıklarını kalibre etmek için tasarlanmış, yaygın olarak kullanılan bir işlem sonrası tekniğidir. Modern derin öğrenmede modeller genellikle aşırı özgüven sergiler; yani tahmin edilen olasılıkları, gerçek istatistiksel kalibrasyonu veya doğruluk olasılığını tam olarak yansıtmaz. Temperature scaling, softmax fonksiyonunu uygulamadan önce ağın ham çıktı skorlarını (logit'ler) "temperature" (T) olarak bilinen tek bir öğrenilmiş skaler parametreye bölerek bunu düzeltir. Bu ayarlama, nihai görüntü sınıflandırma kararını değiştirmeden olasılıkları yumuşatır ve modelin güven seviyesinin gerçek doğruluğu ile yakından uyumlu olmasını sağlar.

Link to this sectionTemperature Scaling Nasıl Çalışır#

Standart bir sınıflandırma ağında, son katman ham logit'ler üretir ve bunlar daha sonra toplamı bire eşit olan olasılıklar oluşturmak için bir softmax aktivasyonundan geçirilir. Modern derin öğrenme mimarileri, özellikle çapraz entropi gibi kayıp fonksiyonları ile yoğun bir şekilde optimize edilmiş olanlar, kaybı en aza indirmek için bu logit'leri aşırı uç değerlere itme eğilimindedir; bu da modelin kalibrasyonunun bozulduğu ve aşırı özgüvenli hale geldiği bir olguya yol açar.

Temperature scaling, softmax denklemine bir temperature parametresi (T) ekler.

• T = 1 olduğunda, softmax fonksiyonu normal şekilde çalışır.
• T > 1 olduğunda, logit'ler aşağı doğru ölçeklenir; bu da çıktı dağılımını yumuşatır, zirve güvenini etkin bir şekilde düşürür ve olasılık kütlesini tüm sınıflara daha eşit bir şekilde dağıtır.
• T < 1 olduğunda, dağılım keskinleşir ve modeli en iyi tahmininde daha da özgüvenli olmaya iter.

T'yi belirlenmiş bir doğrulama kümesi üzerinde optimize ederek, mühendisler beklenen kalibrasyon hatasını en aza indirir. Bu basit, tek parametreli ayarlama; minimum hesaplama yükü gerektirdiği ve model ağırlıklarının orijinal doğruluğunu koruduğu için oldukça tercih edilir.

Link to this sectionTemperature Scaling ve Label Smoothing Karşılaştırması#

Her iki teknik de aşırı öğrenmeyi ve aşırı özgüveni önlemeyi amaçlasa da, model yaşam döngüsünün farklı aşamalarında çalışırlar. Label smoothing, eğitim sırasında uygulanır. Modelin tek bir sınıfa tam olasılık atamasını önlemek için gerçek hedef değerleri değiştirir (örneğin, sert bir etiketi 1.0'dan 0.9'a düşürmek gibi). Buna karşılık, temperature scaling ve Focal Temperature Scaling gibi daha yeni varyantlar, eğitim tamamlandıktan sonra uygulanan post-hoc kalibrasyon yöntemleridir; yani tamamen eğitilmiş bir modelin çıktı olasılıklarını herhangi bir yeniden eğitim gerektirmeden değiştirirler.

Link to this sectionGerçek Dünya Uygulamaları#

Doğru model kalibrasyonu, çeşitli endüstrilerde güvenlik ve güvenilirlik için kritiktir:

• Tıbbi Teşhis: Beyin tümörü tespiti gibi görevlerde, aşırı özgüvenli bir yanlış sınıflandırma ciddi klinik sonuçlara yol açabilir. Temperature scaling kullanmak, tahminleyici modelleme sisteminin güvenilir olasılıklar üretmesini sağlar. Eğer bir tarama tahmini ölçeklendirmeden sonra oldukça belirsizse, sistem görüntüyü bir radyolog tarafından manuel olarak incelenmesi için güvenle işaretleyebilir. Klinik modellerin kalibrasyonu üzerine yapılan son çalışmalar, kısıtlı ve yüksek riskli teşhis ortamlarındaki değerini vurgulamaya devam etmektedir.
• Büyük Dil Modelleri (LLM'ler): LLM'ler için temperature scaling, OpenAI'nin temperature parametresinde görüldüğü gibi, çıktı stokastisitesini ve üretim çeşitliliğini kontrol etmek için yoğun bir şekilde kullanılır. Yüksek temperature değerleri daha yaratıcı, değişken metinler üretirken, düşük temperature değerleri deterministik, odaklanmış yanıtlar verir. Araştırmalar ilerledikçe, insan geri bildirimli pekiştirmeli öğrenmeden sonra genellikle oluşan kalibrasyon bozulmasını düzeltmek için Adaptive Temperature Scaling (ATS) gibi teknikler geliştirilmektedir.
• Otonom Araçlar: Otonom sürüşte, nesne tespiti sistemleri bir engelin yaya mı yoksa gölge mi olduğuna anında karar vermelidir. Bu vizyon modellerini kalibre etmek, modelin gerçek güveni kritik bir güvenlik eşiğinin altına düştüğünde acil frenleme gibi yedek mekanizmaların güvenilir bir şekilde tetiklenmesini sağlar.

Link to this sectionKod Örneği: Temperature Scaling Uygulaması#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Kalibre edilmiş bilgisayarlı görü sistemlerini sorunsuz bir şekilde dağıtmak isteyen ekipler için Ultralytics Platform, deney takibi, ince ayar modelleri ve gerçek zamanlı çıkarım gecikmesini izleme için güçlü araçlar sunar. Ayrıca, modern kalibrasyon teknikleri hakkındaki temel bilgiler, temperature scaling'i bir endüstri standardı haline getiren "On Calibration of Modern Neural Networks" gibi etkili çalışmalara dayandırılabilir. Daha fazla pratik uygulama için scikit-learn'ün olasılık kalibrasyonu çerçevelerini veya TensorFlow'un belirsizlik farkındalığına sahip modellerini keşfedebilirsin.