Konformal Tahmin

Konformal tahmin, makine öğreniminde (ML) model tahminleri için dağılımdan bağımsız belirsizlik ölçütlerisunan istatistiksel bir çerçevedir. Konformal tahminci, tek bir nokta tahmini (örneğin belirli bir sınıf etiketi) vermek yerine, kullanıcı tarafından belirtilen bir olasılıkla (ör. %90 veya %95) gerçek değeri içeren bir tahmin kümesi veya aralığı verir. Bu çerçeve, herhangi bir yapay zeka (AI) modelini sararak, modelin mimarisinde değişiklik yapılmasına gerek kalmadan resmi istatistiksel garantiler sağlar. Güncel araçların ve araştırmaların kapsamlı bir listesi için, Awesome Conformal Prediction deposunu inceleyebilirsiniz.

Konformal Tahmin Nasıl Çalışır?

Temel mekanizma, bir uyumsuzluk puanı kullanarak yeni bir tahminin geçmiş örneklerle karşılaştırıldığında ne kadar sıra dışı olduğunu değerlendirmeye dayanır.

• Model Eğitimi: İlk olarak, standart bir eğitim veri seti kullanarak bir temel model eğitin.
• Kalibrasyon Aşaması: Ayrı, ayrılmış bir kalibrasyon veri kümesini eğitilmiş modelden geçirin. Her bir tahmin için bir uyumsuzluk puanı hesaplayın ; örneğin, görüntü sınıflandırmasında ters olasılık gibi.
• Kuantil Hesaplaması: Hedef güven düzeyini (ör. %95) belirleyin ve tahmin kümelerini oluşturmak için bu kalibrasyon puanlarının karşılık gelen quantilini bulun.
• Çıkarım Uygulaması: Canlı çıkarım sırasında, yeni girdileri değerlendirin ve puanları kalibrasyon kuantili altında kalan tüm olası etiketleri dahil edin.

Bu yaklaşımın matematiksel kanıtlarını "Konformal Tahminlere Kolay Bir Giriş " başlıklı eğitimde inceleyebilir veya zamansal belirsizlikleri ele almak için zaman serisi tahmin yaklaşımlarıhakkında bilgi edinebilirsiniz.

Konformal Tahmin Kavramını İlgili Terimlerden Ayırt Etmek

Bu çerçeveyi, model testleri sırasında kullanılan standart ölçütlerden ayırt etmek çok önemlidir:

• Konformal Tahmin ve Güven Puanları: Standart bir güven puanı, bir modelin içsel kesinliğini yansıtır ancak genellikle kalibrasyonu yetersizdir ve matematiksel garantilerden yoksundur. Konformal tahmin, bu ham puanları garantili kümelere dönüştürür. Geleneksel ayarlamalar için bkz. scikit-learn'in olasılık kalibrasyonu.
• Konformal Tahmin ve Doğruluk: Doğruluk, bir modelin tüm veri kümesi genelinde ne sıklıkla doğru sonuç verdiğini açıklayan küresel bir tarihsel ölçüttür; buna karşılık uyumlu çıkarım her yeni tahmin için yerel, örneğe özgü bir aralık sağlar.

Gerçek Dünya Uygulamaları

Modelin kör noktalarını bilmek hayati önem taşıyan, riskli alanlarda konformal tahmin vazgeçilmezdir.

• Tıbbi Teşhis: Sağlık hizmetlerinde taramaları analiz etmek için yapay zekayı kullanırken, bir model tek bir, muhtemelen yanlış sınıflandırma yerine bir dizi olası tanı sonucu verebilir. Bu, klinisyenlerin tüm olasılıkları araştırmasını sağlar ve güvenilir genomik tıp ve görüntüleme üzerine yapılan son çalışmaları destekler.
• Otonom Sürüş: Otomotiv sistemlerinde yapay zeka kullanımında, nesne algılamaya tahmin aralıklarının uygulanması, yayaların çevresinde bir uzamsal güven bölgesi oluşturur ve bu sayede aracın fren sistemleri en kötü senaryodaki hareketleri güvenli bir şekilde hesaba katabilir.

Tahmin Kümelerinin Uygulanması

MAPIE (Model Agnostic Prediction Interval Estimator) gibi kütüphaneler, Python için yerleşik araçlar sunar ve regresyon görevlerinde genellikle konformal kuantil regresyon kullanılır. Ayrıca, Ultralytics gibi gelişmiş modellerden elde edilen olasılıkları kullanarak temel bir konformal tahmin mantığı da uygulayabilirsiniz. Aşağıdaki örnek, YOLO26 sınıflandırma olasılıklarını kullanarak bir tahmin kümesi oluşturur ve kümülatif bir eşik değere ulaşılana kadar en üst sınıfları dahil etme mantığını taklit eder.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Perform inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Simple conformal-style prediction set logic based on cumulative probability
target_coverage = 0.95
prediction_set = []
cumulative_prob = 0.0

# Sort probabilities in descending order using the results object
probs = results[0].probs
sorted_indices = probs.top5

for idx in sorted_indices:
    class_name = results[0].names[idx]
    class_prob = probs.data[idx].item()

    prediction_set.append((class_name, round(class_prob, 3)))
    cumulative_prob += class_prob

    # Stop adding to the set once we reach the 95% coverage threshold
    if cumulative_prob >= target_coverage:
        break

print(f"95% Prediction Set: {prediction_set}")

Güvenilir sistemler geliştirmek, veri sapmasının kalibrasyonu bozmasını önlemek için sağlam veri uygulamaları gerektirir. Ultralytics gibi araçlar, güncel sınıflandırma veri kümelerini toplama, modelleri yeniden eğitme ve model dağıtımını güvenli bir şekilde yönetme sürecini basitleştirir. Dengeli verilerin derlenmesi hakkında daha fazla bilgiyi, veri kümesi önyargısını anlama kılavuzumuzda bulabilir veya yıllık COPA konferansında sunulan en son track .