Conformal Prediction

Conformal prediction is a statistical framework in machine learning (ML) that provides distribution-free measures of uncertainty for model predictions. Instead of outputting a single point prediction—such as one specific class label—a conformal predictor outputs a prediction set or interval that contains the true value with a user-specified probability (e.g., 90% or 95%). This framework wraps around any artificial intelligence (AI) model to provide formal statistical guarantees without requiring changes to the model's architecture. For an exhaustive list of up-to-date tools and research, you can explore the Awesome Conformal Prediction repository.

Link to this sectionUyumlu Tahmin Nasıl Çalışır#

Temel mekanizma, yeni bir tahminin geçmiş örneklere kıyasla ne kadar sıra dışı olduğunu bir uyumsuzluk puanı kullanarak değerlendirmeye dayanır.

• Model Eğitimi: İlk olarak, standart bir eğitim veri kümesi kullanarak bir temel model eğit.
• Kalibrasyon Aşaması: Eğitilmiş modelden ayrı, tutulan bir kalibrasyon veri kümesini geçir. Görüntü sınıflandırma gibi alanlarda, her tahmin için ters olasılık gibi bir uyumsuzluk puanı hesapla.
• Çeyrek Dilim (Quantile) Hesaplama: Hedef güven seviyesini (örneğin %95) belirle ve tahmin kümelerini oluşturmak için bu kalibrasyon puanlarının karşılık gelen çeyrek değerini bul.
• Çıkarım Uygulaması: Canlı çıkarım sırasında, yeni girdileri değerlendir ve puanları kalibrasyon çeyreğinin altında kalan tüm olası etiketleri dahil et.

Bu yaklaşımın matematiksel kanıtlarını A Gentle Introduction to Conformal Prediction eğitiminde inceleyebilir veya zamansal belirsizlikleri ele almak için zaman serisi tahmin yaklaşımları hakkında bilgi edinebilirsin.

Link to this sectionUyumlu Tahmini İlgili Terimlerden Ayırt Etme#

Bu çerçeveyi model testi sırasında kullanılan standart metriklerden ayırmak çok önemlidir:

• Uyumlu Tahmin vs. Güven Puanları: Standart bir güven puanı, modelin iç kesinliğini yansıtır ancak genellikle zayıf bir şekilde kalibre edilmiştir ve matematiksel garantilerden yoksundur. Uyumlu tahmin, bu ham puanları garantili kümelere dönüştürür. Geleneksel ayarlamalar için scikit-learn olasılık kalibrasyonu kısmına bakabilirsin.
• Uyumlu Tahmin vs. Doğruluk: Doğruluk, bir modelin tüm veri kümesinde ne sıklıkla doğru olduğunu tanımlayan küresel bir geçmiş metriğidir; uyumlu çıkarım ise her yeni tahmin için yerel ve örneğe özel bir aralık sağlar.

Link to this sectionGerçek Dünya Uygulamaları#

Uyumlu tahmin, modelin kör noktalarını bilmenin kritik olduğu yüksek riskli alanlarda vazgeçilmezdir.

• Tıbbi Tanılar: Sağlık hizmetlerinde taramaları analiz etmek için YZ kullanıldığında, bir model tek ve potansiyel olarak yanlış bir sınıf yerine bir dizi makul tanı çıktılayabilir. Bu, klinisyenlerin tüm uygulanabilir olasılıkları araştırmasını sağlar ve güvenilir genomik tıp ve görüntüleme üzerine yapılan güncel çalışmaları destekler.
• Otonom Sürüş: Otomotiv sistemlerinde YZ kullanırken, nesne algılama süreçlerine tahmin aralıkları uygulamak, bir yayanın etrafında uzamsal bir güven bölgesi oluşturur ve aracın fren sistemlerinin en kötü durum hareketlerini güvenli bir şekilde hesaba katmasını sağlar.

Link to this sectionTahmin Kümelerinin Uygulanması#

MAPIE (Model Agnostic Prediction Interval Estimator) gibi kütüphaneler Python için yerleşik araçlar sunar ve regresyon görevlerinde genellikle uyumlu çeyrek regresyonu kullanılır. Ayrıca Ultralytics YOLO26 gibi gelişmiş modellerden gelen olasılıkları kullanarak temel bir uyumlu tahmin mantığı uygulayabilirsin. Aşağıdaki örnek, kümülatif bir eşik karşılanana kadar en iyi sınıfları dahil etme mantığını taklit ederek YOLO26 sınıflandırma olasılıklarını kullanan bir tahmin kümesi oluşturur.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Perform inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Simple conformal-style prediction set logic based on cumulative probability
target_coverage = 0.95
prediction_set = []
cumulative_prob = 0.0

# Sort probabilities in descending order using the results object
probs = results[0].probs
sorted_indices = probs.top5

for idx in sorted_indices:
    class_name = results[0].names[idx]
    class_prob = probs.data[idx].item()

    prediction_set.append((class_name, round(class_prob, 3)))
    cumulative_prob += class_prob

    # Stop adding to the set once we reach the 95% coverage threshold
    if cumulative_prob >= target_coverage:
        break

print(f"95% Prediction Set: {prediction_set}")

Güvenilir sistemler geliştirmek, veri kaymasının kalibrasyonu bozmasını önlemek için sağlam veri uygulamaları gerektirir. Ultralytics Platform gibi araçlar, yeni sınıflandırma veri kümeleri toplama, modelleri yeniden eğitme ve model dağıtımını güvenli bir şekilde yönetme sürecini basitleştirir. Dengeli verilerin kürasyonu hakkında daha fazla bilgiyi veri kümesi yanlılığını anlama rehberimizde okuyabilir veya yıllık COPA konferansında sunulan en son gelişmeleri takip edebilirsin.