Güven

Makine öğreniminde, güven skoru, bir modele, tahminin doğru olduğundan emin olduğunu gösteren, bireysel bir tahmine atanan sayısal bir değerdir. Yüzde veya 0 ile 1 arasında bir olasılık değeri olarak ifade edilen bu değer, modelin tek bir örnek için kendi çıktısına olan "inancını" ölçer. Örneğin, bir nesne algılama görevinde, Ultralytics YOLO11 gibi bir model bir görüntüde bir araba tanımlayabilir ve 0,95 (veya %95) güven skoru atayarak bulgusundan çok emin olduğunu gösterebilir. Bu skor, kullanıcıların modelin sonuçlarını gerçek dünya senaryolarında filtrelemesine, önceliklendirmesine ve yorumlamasına yardımcı olan kritik bir çıktıdır.

Güven skoru tipik olarak bir sinir ağının (NN) son katmanının çıktısından elde edilir, genellikle bir softmax veya sigmoid fonksiyonudur. Bu değer, belirli bir kesinlik düzeyinin altına düşen tahminleri atmak için bir güven eşiğinin ayarlandığı pratik uygulamalarda etkilidir. Geliştiriciler, bu eşiği ayarlayarak, tüm ilgili algılamaları yakalama ve yanlış pozitifleri en aza indirme arasındaki dengeyi sağlayabilirler; bu, model dağıtımında önemli bir husustur.

Gerçek Dünya Uygulamaları

Güvenilirlik skorları, yapay zeka sistemlerini daha güvenilir ve eyleme geçirilebilir hale getirmek için önemlidir. Sistemlerin belirsizliği ölçmelerine ve buna göre farklı yanıtları tetiklemelerine olanak tanır.

• Otonom Araçlar: Sürücüsüz arabalarda, güvenilirlik skorları güvenlik için hayati öneme sahiptir. Bir nesne tespit aracı, bir yayayı %98 güvenle tanımlayabilir; bu, aracın yavaşlaması veya durması için açık bir sinyaldir. Tersine, bir nesneyi yalnızca %30 güvenle tespit ederse, sistem bunu belirsiz olarak işaretleyebilir ve harekete geçmeden önce doğasını doğrulamak için diğer sensörleri kullanabilir. Bu, yüksek kesinlikli tehditlere odaklanarak kazaları önlemeye yardımcı olur. Bu konu hakkında daha fazla ayrıntı için kendi kendine giden arabalarda yapay zekanın rolü hakkında bilgi edinebilirsiniz.
• Tıbbi Görüntü Analizi: Bir yapay zeka modeli, tıbbi görüntülemede tümörleri tespit etmek gibi hastalık belirtileri için tıbbi taramaları analiz ettiğinde, güvenilirlik skoru çok değerlidir. %99 güvenilirliğe sahip bir tespit, bir radyologun incelemesi için hemen işaretlenebilir. %60 güvenilirliğe sahip bir bulgu, "belirsiz" veya "daha fazla inceleme gerekiyor" olarak işaretlenebilir ve bu da belirsiz vakaların uzmanları yanlış alarmlarla boğmadan insan incelemesi almasını sağlar. FDA, tıbbi cihazlarda yapay zeka/ML konusunda rehberlik sağlar.

Güven vs. Diğer Metrikler

Bireysel bir tahminin güven skorunu, genel model değerlendirme metrikleri ile karıştırmamak önemlidir. İlişkili olsalar da, performansın farklı yönlerini ölçerler:

• Doğruluk: Tüm veri kümesi genelinde doğru tahminlerin genel yüzdesini ölçer. Model performansı hakkında genel bir fikir verir ancak bireysel tahminlerin kesinliğini yansıtmaz. Bir model yüksek doğruluğa sahip olabilir ancak yine de bazı tahminleri düşük güvenle yapabilir.
• Hassasiyet: Gerçekten doğru olan pozitif tahminlerin oranını gösterir. Yüksek hassasiyet, daha az yanlış alarm anlamına gelir. Güven, modelin tahminine olan inancını yansıtır, bu da doğrulukla uyumlu olabilir veya olmayabilir.
• Geri Çağırma (Hassasiyet): Modelin doğru tespit ettiği gerçek pozitif örneklerin oranını ölçer. Yüksek geri çağırma, daha az gözden kaçan tespit anlamına gelir. Güven, kaç tane gerçek pozitifin bulunduğu ile doğrudan ilişkili değildir.
• F1-Skor: Kesinlik ve Geri Çağırma değerlerinin harmonik ortalamasıdır ve her ikisini de dengeleyen tek bir ölçüm sağlar. Güven, model performansının toplu bir ölçüsü değil, tahmin düzeyinde bir puan olarak kalır.
• Ortalama Ortalama Hassasiyet (mAP): Nesne algılamada farklı güven eşikleri ve sınıflar arasında hassasiyet-hatırlama eğrisini özetleyen yaygın bir metriktir. mAP hesaplaması güven eşiklerini içerirken, güven puanının kendisi her bir algılama için geçerlidir.
• Kalibrasyon: Güven skorlarının, doğruluk olasılığı ile ne kadar iyi eşleştiğini ifade eder. İyi kalibre edilmiş bir modelin %80 güvenle yaptığı tahminler, zamanın yaklaşık %80'inde doğru olmalıdır. Modern sinir ağlarından elde edilen güven skorları, model kalibrasyonu üzerine yapılan araştırmalarda tartışıldığı gibi, her zaman doğal olarak iyi kalibre edilmemiştir.

Özetle, güven, gerçek dünya uygulamalarında daha iyi filtreleme, önceliklendirme ve karar verme olanağı sağlayarak, bireysel yapay zeka tahminlerinin kesinliğini değerlendirmek için değerli bir çıktıdır. Ultralytics HUB gibi araçları kullanarak izleyebileceğiniz ve analiz edebileceğiniz, bir modelin genel performansını değerlendiren metrikleri tamamlar, ancak bunlardan farklıdır.