Uncertainty Quantification

Belirsizlik nicelemesi (UQ), bir yapay zekâ veya makine öğrenimi modelinin tahminleri konusunda ne kadar belirsiz olduğunu tahmin etme, değerlendirme ve iletme sürecidir. Yalnızca bir etiket, değer veya sınırlayıcı kutu döndürmek yerine UQ iş akışı; olasılık dağılımı, tahmin aralığı, güven skoru veya tahmin kümesi gibi ek bilgiler sağlar. Bu, kullanıcıların yalnızca bir modelin ne tahmin ettiğini değil, aynı zamanda bu tahmine ne ölçüde güvenmeleri gerektiğini anlamasına yardımcı olur.

Belirsizlik Nicelemesi Neden Önemlidir?#

Modeller sınırlı verilerden örüntüler öğrendiği için çıktıları hiçbir zaman tamamen kesin değildir. Girdiler gürültülü olabilir, etiketler belirsiz olabilir ve üretim verileri eğitim dağılımından farklılık gösterebilir. UQ, bu sınırlamaların ölçülebilir hâle gelmesini sağlar ve daha güvenli kararları, insan incelemesini ve daha iyi veri toplamayı destekler.

Bu fikir, NIST’nin sanal ölçüm programında açıklanan model kalitesini nitelendirmeye yönelik daha kapsamlı amacı genişletir. Yapay zekâ sistemlerinde belirsizlik tahminleri ekiplerin şunları yapmasına yardımcı olabilir:

• Belirsizlik kabul edilebilir bir seviyeyi aştığında tahminleri reddetmek veya incelemek.
• Tek bir yanıta güvenmek yerine alternatif tahminleri karşılaştırmak.
• Tanıdık olmayan girdileri ve olası veri kaymasını belirlemek.
• Aktif öğrenme aracılığıyla etiketleme için belirsiz örneklere öncelik vermek.
• Enerji Bakanlığının hesaplamalı modellerde belirsizlik genel bakışında gösterildiği gibi, belirsizliği sonraki hesaplamalara ve kararlara aktarmak.

UQ, tahmin hatalarının farklı sonuçlara yol açtığı durumlarda özellikle önemlidir. Bir yayayı gözden kaçırmak, yol kenarındaki bir tabelayı yanlış algılamaktan daha ciddi bir durumdur; bu nedenle kabul edilebilir belirsizlik eşiği uygulamaya bağlıdır.

Aleatorik ve Epistemik Belirsizlik#

İki kategori, tahmin belirsizliğinin nereden kaynaklandığını açıklar:

• Aleatorik belirsizlik, aleatory belirsizlik olarak da adlandırılır ve verilerdeki içsel rastgelelikten veya belirsizlikten kaynaklanır. Hareket bulanıklığı, sensör gürültüsü, kısmi örtülme ve tutarsız etiketler, iyi eğitilmiş bir model için bile bir görüntünün yorumlanmasını zorlaştırabilir. Daha fazla eğitim verisi bu belirsizliğin tahmin edilmesine yardımcı olabilir, ancak altında yatan belirsizliği tamamen ortadan kaldıramaz.
• Epistemik belirsizlik, model bilgisinin eksik olmasından kaynaklanır. Genellikle eğitim verileri yetersiz olduğunda, temsili olmadığında veya önemli durumları içermediğinde ortaya çıkar. İlgili örnekler toplanarak, açıklamalar iyileştirilerek veya model değiştirilerek çoğu zaman azaltılabilir.

UQ, bu kaynaklara ilişkin bilgileri yararlı çıktılarda birleştirir. TensorFlow Probability gibi olasılıksal modelleme araçları tahminleri dağılımlar olarak temsil edebilirken, topluluk yöntemleri birden fazla modeli veya eğitim çalışmasını karşılaştırarak belirsizliği tahmin eder. Büyük anlaşmazlıklar genellikle daha yüksek epistemik belirsizliğe işaret eder.

Belirsizlik bir güven skoruyla ilişkilidir, ancak ondan daha kapsamlıdır. Güven, tek bir tahminin gücünü açıklar; UQ ise bu skorun güvenilir olup olmadığını ve hangi belirsizlik kaynaklarının onu etkilediğini değerlendirir. Benzer şekilde konformal tahmin, tanımlanmış varsayımlar altında hedef kapsama oranına sahip tahmin kümeleri veya aralıkları üretmeye yönelik özel bir tekniktir.

Yöntemler ve Değerlendirme#

Yaygın UQ yaklaşımları arasında olasılıksal çıktılar, topluluklar, tekrarlı örnekleme, Bayesçi modelleme ve tahmin aralıkları bulunur. Bootstrap güven aralıkları, gözlemlenen verileri tekrar tekrar yeniden örnekleyerek değişkenliği tahmin eder. Sınıflandırmada kalibrasyon, yaklaşık %80 olasılık atanan tahminlerin zamanın yaklaşık %80’inde doğru olup olmadığını kontrol eder.

Bir model doğru olabilir ancak kalibrasyonu zayıf olabilir; bu nedenle ekipler hem görev performansını hem de belirsizlik kalitesini değerlendirmelidir. Olasılık kalibrasyonu araçları, tahmin edilen olasılıkları gözlemlenen sonuçlarla karşılaştırmak için güvenilirlik diyagramlarını ve kalibrasyon tekniklerini kullanır. Google’ın Makine Öğrenimi Kuralları da yorumlanabilir ve izlenen olasılıksal tahminlerin önemini vurgular.

Yararlı değerlendirme ölçütleri arasında kapsama, aralık genişliği, kalibrasyon hatası ve zor veri dilimlerindeki performans bulunur. Bilgisayarlı görü için Ultralytics doğrulama modu ve YOLO performans metrikleri kılavuzu, sınıflar ve eşikler arasındaki kesinlik, duyarlılık, hata matrisleri ve güven davranışının incelenmesine yardımcı olur.

Gerçek Dünya Uygulamaları#

• Tıbbi görüntü analizi: Bir tanı modeli, birkaç makul bulgunun benzer skorlara sahip olması veya görüntünün eğitim verilerinden farklı olması durumunda bir taramayı uzman incelemesine yönlendirebilir. Bu yönlendirme yapılmadığında, aşırı güvenli ve hatalı bir tahmin tedaviyi geciktirebilir.
• Üretimde görsel denetim: Bir kusur algılayıcı parlama, yeni malzemeler veya daha önce görülmemiş hasarlarla karşılaşabilir. Belirsizliği dikkate alan yönlendirme, belirsiz ürünleri otomatik olarak kabul etmek veya reddetmek yerine manuel incelemeye gönderebilir; böylece hem kaçan kusurlar hem de gereksiz israf azaltılır.

Bu politikalar model belirsizliğini operasyonel riske bağlar. NIST Yapay Zekâ Risk Yönetimi Çerçevesi Temel Bileşeni, belirsizliğin ölçülmesini, genelleme sınırlarının belgelenmesini ve sistemlerin dağıtım boyunca izlenmesini önerir.

Ultralytics YOLO İş Akışlarında Belirsizlik#

Ultralytics YOLO26, algılama güven skorlarını belgelenmiş Tahmin moduyla sunar:

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Bu iş akışı belirsizlikle ilgili yararlı bir sinyal sunar, ancak tek başına güven tam bir UQ değildir ve otomatik olarak kalibre edilmiş bir olasılık olarak yorumlanmamalıdır. Skorları temsili, ayrılmış veriler üzerinde doğrula; eşikleri hata maliyetlerine göre seç ve dağıtımdan sonra güven dağılımlarını izle.

Ekipler veri kümelerine açıklama eklemek, modelleri eğitip dağıtmak ve uç noktaları izlemek için Ultralytics Platform kullanabilir. Süregelen model izleme ve bakımı ile birlikte belirsizlik sinyalleri tanıdık olmayan koşulları ortaya çıkarabilir, insan incelemesine yön verebilir ve yeni verilerin veya yeniden eğitimin ne zaman gerektiğini belirleyebilir.