Conformal Prediction

Konformal tahmin, eğitilmiş herhangi bir modelin puanlarını kullanıcının seçtiği, örneğin %95 gibi bir oranda gerçek yanıtı içerdiği garanti edilen tahmin kümelerine veya aralıklarına dönüştüren bir belirsizlik nicemleme çerçevesidir. Konformal bir görüntü sınıflandırıcısı, açık bir görüntü için tek etiket, belirsiz bir görüntü içinse birden çok etiket olmak üzere, hâlâ olası görünen her etiketi döndürür; konformal bir regresör ise bir aralık döndürür. Kalibrasyon verileriyle yeni verilerin değiş tokuş edilebilir olması, yani aynı kaynaktan gelen bağımsız örnekler olması koşuluyla, garanti her model ve veri dağılımı için geçerlidir. Vladimir Vovk, Alexander Gammerman ve Glenn Shafer yöntemi 1990'ların sonlarından itibaren geliştirdi ve 2005 tarihli Rastgele Bir Dünyada Algoritmik Öğrenme kitaplarında açıkladı; Anastasios Angelopoulos ve Stephen Bates'ın 2021 tarihli Konformal Tahmine Nazik Bir Giriş öğreticisi ise makine öğrenmesinde kullanılan modern yöntemleri ele alıyor.

Bölünmüş Konformal Tahmin Nasıl Çalışır#

Her aday yanıt için modeli yeniden eğiten özgün tam conformal yöntemi, derin öğrenme için fazla yavaştır. Harris Papadopoulos ve çalışma arkadaşlarının 2002'de ortaya koyduğu bölünmüş veya indüktif conformal tahmin için yalnızca eğitilmiş tek bir model ve ayrılmış bir kalibrasyon kümesi gerekir:

1. Modeli her zamanki gibi eğitim verileri üzerinde eğit.
2. Modelin daha önce görmediği, etiketli n kalibrasyon örneği üzerinde modeli çalıştır ve her örnek için, gerçek yanıt model açısından ne kadar alışılmadık görünüyorsa o kadar büyüyen bir değer olan uyumsuzluk puanını hesapla. Bir sınıflandırıcı için yaygın bir puan, gerçek sınıfa atanan olasılığın 1 eksiğidir.
3. Bu puanların ceil((n + 1) x (1 - alpha)) / n kantilini al; buna qhat denir. (n + 1) terimi, garantiyi kesin hâle getiren sonlu örneklem düzeltmesidir.
4. Yeni bir girdi için puanı qhat değerine eşit veya ondan düşük olan her aday etiketi kümeye ekle.

Ortaya çıkan küme, gerçek etiketi en az 1 - alpha olasılıkla içerir. Yeni örneğin puanı n kalibrasyon puanıyla değiştirilebilir olduğundan, bu puanın bunlar arasındaki herhangi bir sırada yer alma olasılığı eşittir; dolayısıyla zamanın en az 1 - alpha oranında qhat değerinde veya altında kalır.

Garanti Neleri Kapsar#

Garanti marjinaldir: tüm girdiler genelinde ortalama olarak geçerlidir. Bir model kolay sınıfları gereğinden fazla kapsarken nadir bir sınıfı yetersiz kapsayabilir; bu nedenle sınıf koşullu (Mondrian) konformal tahmin, her sınıf için ayrı bir qhat değerini kalibre eder. Tek varsayım değiş-tokuş edilebilirliktir ve üretim görüntülerinin kalibrasyon görüntülerinden farklı olmasıyla ortaya çıkan veri kayması bu varsayımı geçersiz kılar; bu nedenle kalibrasyon kümesi dağıtım verilerinden oluşturulmalı ve bu veriler değiştiğinde yenilenmelidir. Kalibrasyon kümesindeki veri kümesi yanlılığı tahmin kümelerine doğrudan yansır.

Küme boyutu işe yarar bir göstergedir. Her geçerli yöntem hedef kapsama oranına ulaşır; yöntemler kümelerinin ne kadar küçük olduğuna göre yarışır ve daha isabetli bir model daha küçük kümeler üretir. ImageNet sınıflandırıcılarında test edilen Adaptive Prediction Sets (APS) ve Regularized Adaptive Prediction Sets (RAPS), küme boyutunun zorluğa göre değişmesini sağlayan kümülatif olasılıkları kullanır; conformalized quantile regression ise verinin gürültülü olduğu yerlerde genişleyen aralıklar üretir.

Conformal tahmin, birbiriyle ilişkili üç kavramdan farklıdır. Güven puanı, kendisine bağlı bir garantisi olmayan tek bir sayıdır. Sıcaklık ölçekleme gibi kalibrasyon yöntemleri, puanların gözlenen doğrulukla daha iyi eşleşmesini sağlar; bu, conformal kümeleri küçültür ama kendi başına kapsama garantisi vermez. İstatistiksel güven aralığı, ortalama gibi bir popülasyon parametresine ilişkin belirsizliği tanımlarken conformal küme, tek bir yeni sonucun hangi aralıkta yer alacağını tanımlar.

Uygulamada Tahmin Kümeleri#

Aşağıdaki adımlar, sınıflandırıcının hata yapması için bilerek küçük tutulmuş bir eğitim kümesiyle scikit-learn kullanılarak uygulanıyor:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# Split handwritten digits into training, calibration, and test sets
X, y = load_digits(return_X_y=True)
X_train, X_rest, y_train, y_rest = train_test_split(X, y, train_size=100, random_state=0)
X_cal, X_test, y_cal, y_test = train_test_split(X_rest, y_rest, train_size=500, random_state=0)
model = LogisticRegression(max_iter=2000).fit(X_train, y_train)

# Nonconformity score: 1 minus the probability given to the true class
scores = 1 - model.predict_proba(X_cal)[np.arange(len(y_cal)), y_cal]

# Finite-sample corrected quantile for 95% coverage
alpha, n = 0.05, len(y_cal)
qhat = np.quantile(scores, np.ceil((n + 1) * (1 - alpha)) / n, method="higher")

# Prediction set: every class whose score is at most qhat
sets = 1 - model.predict_proba(X_test) <= qhat
coverage = sets[np.arange(len(y_test)), y_test].mean()
print(f"Top-1 accuracy: {model.score(X_test, y_test):.3f}")
print(f"Set coverage: {coverage:.3f}, average set size: {sets.sum(axis=1).mean():.2f}")

Tek başına en yüksek puanlı tahmin zamanın %91,6'sında doğruyken, conformal kümeler 1.197 test görüntüsünün %96,5'inde gerçek rakamı içeriyor; bu, %95 hedefinin üzerindedir ve ortalama 1,27 etiket içerir. MAPIE gibi kütüphaneler sınıflandırma, regresyon ve zaman serileri için bu adımları paketler.

Uygulamalar#

• Tıbbi görüntü analizi: Bilinen hata oranına sahip olası bulgular kümesi, bir taramanın belirsiz olduğu durumlarda klinisyenleri sağlık hizmetleri alanında bilgilendirir; tek etiketli bir küme ise modelin güvenilir şekilde ele aldığı vakaları gösterir.
• Büyük dil modelleri (LLMs): Conformal yöntemler, örneklenen yanıtlardan kaçının döndürüleceğini veya hangi iddiaların tutulacağını kalibre ederek çıktının seçilen bir oranda doğru yanıt içermesini sağlar; bu yöntemler, halüsinasyon önlemi olarak anlamsal entropiyi tamamlar.
• Nesne algılama: Tahmin edilen sınırlayıcı kutular etrafındaki conformal marjlar, seçilen bir oranda gerçek kutuyu içeren bir bölge sağlar; bu, yayaların çevresinde rota planlayan otonom araçlar için kullanışlıdır.

Görüntü sınıflandırıcıları, scikit-learn örneğindekiyle aynı girdiyi sağlar. Ultralytics YOLO26 sınıflandırma modelleri, results[0].probs.data içindeki her görüntü için tam softmax vektörünü döndürür; bu nedenle etiketli, ayrılmış bir görüntü kümesinin puanlanması qhat değerini verir ve olasılığı 1 - qhat değerine eşit veya daha yüksek olan her sınıf tahmin kümesine katılır.