Uncertainty Quantification

Belirsizlik miktarı tespiti (UQ), bir AI veya machine learning modelinin tahminleri konusunda ne kadar belirsiz olduğunu tahmin etme, değerlendirme ve iletme sürecidir. Yalnızca bir etiket, değer veya sınırlayıcı kutu döndürmek yerine bir UQ iş akışı; olasılık dağılımı, tahmin aralığı, güven puanı veya tahmin kümesi gibi ek bilgiler sağlar. Bu, kullanıcıların bir modelin ne tahmin ettiğini anlamasının yanı sıra o tahkime ne kadar güven duymaları gerektiğini kavramasına da yardımcı olur.

Link to this sectionBelirsizlik Miktarı Tespiti Neden Önemlidir#

Modeller sınırlı verilerden örüntüler öğrenir, bu nedenle çıktıları hiçbir zaman tamamen kesin değildir. Girdiler gürültülü olabilir, etiketler belirsiz olabilir ve üretim verileri eğitim dağılımından farklılık gösterebilir. UQ, bu sınırlamaları ölçülebilir hale getirir ve daha güvenli kararları, insan incelemesini ve daha iyi veri toplamayı destekler.

Bu fikir, NIST’s virtual measurement program tarafından açıklanan model kalitesini karakterize etmeye yönelik daha geniş hedefi genişletir. AI sistemlerinde belirsizlik tahminleri, ekiplerin şunları yapmasına yardımcı olabilir:

• Belirsizlik kabul edilebilir bir seviyeyi aştığında tahminleri reddedin veya gözden geçirin.
• Tek bir yanıta güvenmek yerine alternatif tahminleri karşılaştırın.
• Tanıdık olmayan girdileri ve olası data drift durumlarını belirleyin.
• Active learning aracılığıyla etiketleme için belirsiz örnekleri önceliklendirin.
• Enerji Bakanlığı'nın uncertainty in computational models hakkındaki genel bakışında gösterildiği gibi, belirsizliği alt akış hesaplamalarına ve kararlarına aktarın.

Tahmin hatalarının eşit olmayan sonuçlar doğurduğu durumlarda UQ özellikle önemlidir. Bir yayayı kaçırmak, yol kenarındaki bir tabelayı yanlış tespit etmekten daha ciddidir; dolayısıyla kabul edilebilir belirsizlik eşik değeri uygulamaya bağlıdır.

Link to this sectionRastlantısal ve Epistemik Belirsizlik#

İki kategori, tahmine dayalı belirsizliğin nereden kaynaklandığını açıklar:

• Rastlantısal belirsizlik (aleatoric uncertainty), verilerdeki doğal rastgeledikten veya belirsizlikten kaynaklanır. Hareket bulanıklığı, sensör gürültüsü, kısmi kapanma ve tutarsız etiketler, iyi eğitilmiş bir model için bile bir görüntünün yorumlanmasını zorlaştırabilir. Daha fazla eğitim verisi bu belirsizliğin tahmin edilmesine yardımcı olabilir, ancak temel belirsizliği tamamen ortadan kaldıramaz.
• Epistemik belirsizlik, eksik model bilgisinden kaynaklanır. Genellikle eğitim verileri yetersiz, temsil yeteneğinden yoksun olduğunda veya önemli durumları içermediğinde ortaya çıkar. İlgili örneklerin toplanması, ek açıklamaların iyileştirilmesi veya modelin değiştirilmesiyle sıklıkla azaltılabilir.

UQ, bu kaynaklarla ilgili bilgileri yararlı çıktılarda birleştirir. TensorFlow Probability gibi olasılıksal modelleme araçları tahminleri dağılım olarak temsil edebilirken, ensemble methods birden fazla modeli veya eğitim çalışmasını karşılaştırarak belirsizliği tahmin eder. Büyük anlaşmazlıklar genellikle daha yüksek epistemik belirsizliğe işaret eder.

Belirsizlik, confidence score kavramıyla ilişkilidir ancak bundan daha kapsamlıdır. Güven, tek bir tahminin gücünü açıklarken UQ; bu puanın güvenilir olup olmadığını ve hangi belirsizlik kaynaklarının bunu etkilediğini değerlendirir. Benzer şekilde, conformal prediction, tanımlanan varsayımlar altında hedef kapsama sahip tahmin kümeleri veya aralıkları üretmek için kullanılan belirli bir tekniktir.

Link to this sectionYöntemler ve Değerlendirme#

Yaygın UQ yaklaşımları arasında olasılıksal çıktılar, topluluklar, tekrarlanan örnekleme, Bayesian modelleme ve tahmin aralıkları yer alır. Bootstrap confidence intervals, gözlemlenen verileri defalarca yeniden örnekleyerek değişkenliği tahmin eder. Sınıflandırma için kalibrasyon, yaklaşık %80 olasılık atanan tahminlerin zamanın yaklaşık %80'inde doğru olup olmadığını kontrol eder.

Bir model doğru olabilir ancak zayıf kalibre edilmiş olabilir; bu nedenle ekipler hem görev performansını hem de belirsizlik kalitesini değerlendirmelidir. Probability calibration tools, tahmin edilen olasılıkları gözlemlenen sonuçlarla karşılaştırmak için güvenilirlik diyagramları ve kalibrasyon teknikleri kullanır. Google’ın Rules of Machine Learning kılavuzu da yorumlanabilir, izlenen olasılıksal tahminleri vurgular.

Yararlı değerlendirme kriterleri arasında kapsam, aralık genişliği, kalibrasyon hatası ve zor veri kesitlerindeki performans yer alır. Bilgisayarlı görü için Ultralytics validation mode ve YOLO performance metrics guide, sınıflar ve eşikler genelinde kesinliği, duyarlılığı, karışıklık matrislerini ve güven davranışını incelemeye yardımcı olur.

Link to this sectionGerçek Dünya Uygulamaları#

• Medical image analysis: Bir tanı modeli, birkaç makul bulgu benzer puanlara sahip olduğunda veya görüntü eğitim verilerinden farklı olduğunda, bir taramayı uzman incelemesi için işaretleyebilir. Bu eskalasyon olmadan, aşırı güvenen yanlış bir tahmin tedaviyi geciktirebilir.
• Manufacturing visual inspection: Kusur dedektörü parlama, yeni malzemeler veya daha önce görülmemiş hasarlarla karşılaşabilir. Belirsizliğe duyarlı yönlendirme, belirsiz ürünleri otomatik olarak kabul etmek veya reddetmek yerine manuel incelemeye gönderebilir; böylece hem kaçan kusurlar hem de gereksiz atık azalır.

Bu politikalar model belirsizliğini operasyonel riskle ilişkilendirir. NIST AI Risk Management Framework Core, belirsizliğin ölçülmesini, genelleştirme sınırlarının belgelenmesini ve sistemlerin dağıtım boyunca izlenmesini önerir.

Link to this sectionUltralytics YOLO İş Akışlarında Belirsizlik#

Ultralytics YOLO26, belgelenmiş Predict mode aracılığıyla algılama güven puanlarını sunar:

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Bu iş akışı, belirsizlikle ilgili yararlı bir sinyal sunar, ancak tek başına güven eksiksiz bir UQ değildir ve otomatik olarak kalibre edilmiş bir olasılık olarak yorumlanmamalıdır. Temsili ayrılmış veriler üzerindeki puanları doğrulayın, hata maliyetlerine göre eşikler seçin ve dağıtımdan sonra güven dağılımlarını izleyin.

Ekipler veri kümelerine açıklama eklemek, modelleri eğitip dağıtmak ve uç noktaları izlemek için Ultralytics Platform kullanabilir. Devam eden model monitoring and maintenance ile birleştirilen belirsizlik sinyalleri, tanıdık olmayan koşulları ortaya çıkarabilir, insan incelemesine rehberlik edebilir ve yeni verilerin veya yeniden eğitimin ne zaman gerekli olduğunu belirleyebilir.