Uncertainty Quantification

Belirsizlik nicemleme (UQ), bir makine öğrenimi modelinin her tahmini konusunda ne kadar belirsiz olduğunu kestirme ve bu kestirimlerin güvenilirliğini denetleme pratiğidir. UQ kullanan bir model etiket, değer veya sınırlayıcı kutunun yanında olasılık dağılımı, tahmin aralığı, olası etiket kümesi ya da varyans döndürür. Sistemler bu kestirimleri, ne zaman otomatik hareket edeceklerine, ne zaman bir kişiye başvuracaklarına ve hangi yeni verileri toplayacaklarına karar vermek için kullanır. Güven puanı bu kestirimlerden biridir; UQ ayrıca bu puanın kalibre edilip edilmediğini, yani %80 güvenle yapılan tahminlerin zamanın yaklaşık %80'inde doğru olup olmadığını da sorgular.

Aleatorik ve Epistemik Belirsizlik#

Alex Kendall ve Yarin Gal, 2017'de What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? başlıklı makalelerinde görsel derin öğrenmeye, öngörü belirsizliğinin iki kaynağa ayrıldığı fikrini kazandırdı:

• Aleatorik belirsizlik: Verinin kendisindeki gürültü; hareket bulanıklığı, sensör gürültüsü, örtülme veya etiketleyicilerin üzerinde anlaşamadığı etiketler gibi. Daha fazla eğitim verisi bunu ortadan kaldırmaz, çünkü girdi bu eksik bilgiyi içermez. Bir model, her derinlik tahmini için varyans gibi ek bir çıktı olarak bunu tahmin etmeyi öğrenebilir.
• Epistemik belirsizlik: Modelin bilgi eksikliğidir; yeni bir kamera, mevsim veya nesne türü gibi eğitim verisindeki örneklerden farklı girdilerde yüksek olur. İlgili veriler eklendikçe azalır; bu nedenle veri kaymasını ve dağılım dışı girdileri işaret eder.

Belirsiz bir tahmin karşısında ne yapılacağını bu ayrım belirler:

Belirsizliği Tahmin Etme Yöntemleri#

• Tahmin edilen olasılıklar: Bir sınıflandırıcının softmax çıktısı en düşük maliyetli kestirimdir; ancak Chuan Guo ve çalışma arkadaşlarının 2017'de yaptığı bir çalışma, modern derin ağların sistematik olarak aşırı güvenli olduğunu ortaya koydu. Tutulan verilerde sıcaklık ölçekleme, bu farkın büyük bölümünü giderir.
• Monte Carlo dropout: Çıkarım sırasında dropout işlemini etkin tutar ve girdiyi birkaç kez çalıştırır; Yarin Gal ve Zoubin Ghahramani'nin 2016'da gösterdiği gibi, çıktıların dağılımını yaklaşık Bayesçi belirsizlik olarak ele alır.
• Derin topluluklar: Bir ağın birkaç kopyasını farklı rastgele başlangıçlarla eğitir ve aralarındaki uyuşmazlığı ölçer. DeepMind'dan Balaji Lakshminarayanan ve çalışma arkadaşları bu yöntemi 2017'de tanıttı. Google'ın 2019'da UQ yöntemlerini geniş ölçekte karşılaştırdığı çalışmada, veri kümesi kayması altında en iyi performansı topluluklar gösterdi.
• Konformal tahmin: Herhangi bir modeli, %95 gibi seçilen bir oranda gerçek yanıtı içeren tahmin kümeleri veya aralıkları üretecek biçimde genişletir.
• Anlamsal entropi: Bir büyük dil modelinden (LLM) birkaç yanıt örnekler ve bu yanıtların kaç farklı anlam ifade ettiğini ölçer; bu, halüsinasyonları saptamaya yarayan bir sinyaldir.

Tek boyutlu bir regresyon görevindeki derin topluluk, epistemik belirsizliği doğrudan gösterir:

import numpy as np
from sklearn.neural_network import MLPRegressor

# Noisy samples of sin(x), observed only between -3 and 3
rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, (200, 1))
y = np.sin(x).ravel() + rng.normal(0, 0.1, 200)

# Deep ensemble: the same network trained from five random initializations
ensemble = [MLPRegressor(hidden_layer_sizes=(32, 32), max_iter=3000, random_state=seed).fit(x, y) for seed in range(5)]

# Members agree where data exists and diverge where it does not
for x_new in (1.0, 8.0):
    preds = np.array([m.predict([[x_new]])[0] for m in ensemble])
    print(f"x={x_new}: mean {preds.mean():+.2f}, std {preds.std():.2f}")

Eğitim aralığının içindeki x = 1 noktasında beş ağ, 0,84 olan gerçek değere karşılık ortalama 0,86 tahmin eder ve standart sapma 0,01'dir. Aralığın çok dışındaki x = 8 noktasında ise 0,99 olan gerçek değer için -1,17 tahmin ederler; standart sapma 0,59'a çıkar ve topluluk yanlış olan tahmini işaretler.

Belirsizlik Kestirimlerini Değerlendirme#

Kalibrasyon, tahminleri güven düzeylerine göre gruplara ayıran ve her grubun gerçek doğruluğunu gösteren bir güvenilirlik diyagramıyla denetlenir; beklenen kalibrasyon hatası veya Brier puanı ile özetlenir. Tahmin aralıkları kapsamla, yani gerçek değerlerin aralık içinde kalan oranıyla ve genişlikle değerlendirilir; çünkü her şeyi kapsayacak kadar geniş bir aralık bilgi taşımaz. Dağılım dışı algılama, tanıdık ve tanıdık olmayan girdileri ayırma başarısı için ROC eğrisi altındaki alan ile puanlanır; kıyaslamalar artık kalibrasyonu doğruluğun yanında raporlar: Humanity's Last Exam, piyasaya çıktıkları dönemdeki LLM'lerin kalibrasyon hatalarının %73 ile %89 arasında olduğunu buldu.

Uygulamalar#

• Tıbbi görüntü analizi: Sağlık hizmetlerinde tanı modelleri, yüksek belirsizlik içeren taramaları radyoloğa yönlendirir; böylece otomasyon net vakaları ele alırken insanlar belirsiz olanları inceler.
• Otonom araçlar: Sis veya parlama gibi durumlarda derinlik ya da algılama belirsizliği yükseldiğinde algı sistemleri güvenlik paylarını artırır veya kontrolü insana devreder.
• Etkin öğrenme: Belirsizlik, etiketsiz görüntüler arasından hangilerinin açıklanmaya değer olduğuna karar verir; çünkü modelin en az emin olduğu örnekler ona en çok şeyi öğretir.

Algılama işlem hatlarında belirsizliğin en doğrudan kullanıldığı alan etkin öğrenmedir. Ultralytics Platform Agents içindeki Belirsiz Algılamaları Topla şablonu, bir veri kümesinin görüntülerini dağıtılmış bir YOLO26 modeliyle işler ve güveni 0,25 ile 0,5 gibi seçilen bir aralığa düşen en az bir algılama içeren her görüntüyü etiketsiz olarak inceleme veri kümesine kopyalar; görüntüler açıklama ve yeniden eğitim için hazır olur.