Confidence Interval
Güven aralığı, doğruluk ve mAP gibi model metriklerindeki örnekleme belirsizliğini ölçer. %95'lik aralık, uzun vadeli kapsama oranını tanımlar.
Güven aralığı (CI), belirli bir oranda bilinmeyen bir anakütle değerini kapsayacak şekilde tasarlanmış bir yöntemle örneklemden hesaplanan aralıktır. Makine öğreniminde test puanı, sabit bir modelin test kümesinin temsil ettiği türdeki girdilerde nasıl performans gösterdiğini tahmin eder. Aralık, bu performansın sınırlı bir örneklemden ne kadar hassas tahmin edildiğini gösterir.
%95 Güven Aralığı Ne Anlama Gelir?#
Test verilerinden benzer örneklemleri tekrar tekrar çekip her seferinde aynı şekilde bir aralık hesaplarsan, %95 kapsama oranına sahip bir yöntem uzun vadede 100 aralığın yaklaşık 95'inde gerçek metriği kapsar. Metrik sabittir; aralığın sınırları örneklemden örnekleme değişir. Jerzy Neyman bu frekansçı çerçeveyi örnekleme üzerine 1934 tarihli makalesinde ortaya koydu.
Daha yüksek bir güven düzeyi, aynı verilerden genellikle daha geniş bir aralık elde edilmesini sağlar. Daha fazla bağımsız gözlem, sabit bir güven düzeyinde genellikle aralığı daraltır. Aralığın genişliği örnekleme hassasiyetini gösterir: veri kümesi yanlılığı, test örneklemini dağıtım koşullarını temsil etmekten uzaklaştırsa bile aralık dar olabilir.
Güven Aralığı Nasıl Hesaplanır?#
Örneklem ortalaması için yaygın bir formül tahmin ± hata payı şeklindedir; hata payı, kritik değerin standart hatayla çarpılmasıyla elde edilir. Standart hata, tahminin tekrarlanan örneklemler arasında ne ölçüde değiştiğini gösterir. Aynı anakütleden alınan bağımsız gözlemlerde, ortalamanın tahmini standart hatası örneklem standart sapmasının örneklem büyüklüğünün kareköküne bölünmesiyle hesaplanır. İki taraflı %95 normal aralıkta kritik değer 1,96'dır ve her kuyrukta %2,5 bırakır. Tek örneklemli t aralığı, örneklem büyüklüğünden bir çıkarılarak elde edilen serbestlik derecesine sahip Student t kritik değerini kullanır. Aynı normal anakütleden alınan bağımsız gözlemler için bu aralığın kapsama oranı tamdır.
Yöntem, metriğe ve test verilerinin nasıl örneklendiğine bağlıdır:
- Sınıflandırma doğruluğu: Bağımsız görüntüler ve doğru sınıflandırma için ortak bir olasılık varsayımında Wilson skor aralığı, bu olasılığı tahmin etmek için doğru tahminlerin sayısını ve test kümesinin büyüklüğünü kullanır. Her iki sınır da %0 ile %100 arasında kalır.
- Ortalama hassasiyet (mAP): Test birimlerini yerine koyarak yeniden örnekleyip her çekiliş için mAP'yi yeniden hesaplayarak metriğin tamamı üzerinde bootstrap uygula. %95'lik yüzdelik aralık, bu puanların 2,5. ve 97,5. yüzdeliklerini kullanır. Görüntü düzeyinde bootstrap uygulandığında her görüntünün tahminleri ve açıklamaları birlikte ele alınır.
Uygulamalı Örnek: El Yazısı Rakamların Doğruluğu#
scikit-learn'in rakam sınıflandırma örneği, destek vektör makinesini birlikte sunulan rakam görüntülerinin ilk yarısında eğitir ve ikinci yarısında değerlendirir. Kod aynı bölmeyi kullanır ve SciPy'nin binom oranı API'siyle Wilson aralığını hesaplar.
from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC
X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])
correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")Sınıflandırıcı 899 görüntünün 871'ini doğru sınıflandırır: bağımsız görüntü modeline göre %95,5–%97,8 Wilson aralığıyla %96,9 doğruluk. Birlikte sunulan görüntüler, 13 yazardan alınan UCI el yazısı rakamlar test kümesinden gelir. Aynı yazarın görüntülerinde ortak el yazısı özellikleri bulunabilir; bu nedenle yeni yazarlar için doğruluğu tahmin ederken bu gruplamayı hesaba katmak gerekir.
Güven Aralıkları, Puanlar ve Tahminler#
Güven puanı, tek bir tahmin için modelin ürettiği çıktıdır. Ultralytics YOLO tahmin modunda, conf bir algılamanın tutulması için gereken minimum puanı belirler. Bu eşikteki duyarlılık için güven aralığı, test örnekleminden elde edilen duyarlılık tahminindeki belirsizliği nicel olarak ifade eder.
Tahmin aralığı, gelecekteki bir gözlemi hedefler. Örneğin, yeni karelerdeki derinlik tahminleri için KITTI'da piksel başına tahmin aralıkları oluşturmak amacıyla konformal tahmin kullanılmıştır.
Bilgisayarlı Görü Modellerini Karşılaştırma#
Sabit bir modele ait aralık, test kümesinden kaynaklanan örnekleme belirsizliğini ölçer. Eğitim işlem hatlarını karşılaştırırken rastgele başlatma ve hiperparametre ayarlama gibi etkenlerden kaynaklanan değişkenlik de hesaba katılır; bu değişkenlik tekrarlanan eğitim çalışmalarıyla ölçülebilir.
İki nesne algılayıcı aynı test kümesinde çalıştırıldığında, eşleştirilmiş bootstrap her iki model için de aynı birimleri çeker ve her çekilişte mAP farkını hesaplar. Bağımsız olarak örneklenmiş durağan görüntüler teker teker çekilebilir. Bağımsız olarak örneklenmiş videolarda kareler arasında korelasyon varsa videoları bir bütün olarak çekmek kareler arasındaki bağımlılığı korur. Komşu kareleri bağımsız kabul etmek aralığı gereğinden fazla daraltabilir. Eşleştirme, aynı girdiler üzerindeki sonuçlar arasındaki ilişkiyi koruduğu için iki ayrı güven aralığı örtüşse bile mAP farkının aralığı sıfırı dışarıda bırakabilir.










