Makine öğrenmesinde doğruluk, kesinlik ve duyarlılık karşılaştırması

Makine öğrenimi (ML), verilerden öğrenen sistemler oluşturmaya odaklanan bir yapay zekâ (AI) dalıdır. Makinelerin görüntüleri yorumladığı bilgisayarlı görü ve insan dilini anlayıp ürettikleri doğal dil işleme de dahil olmak üzere yapay zekânın diğer pek çok alanında merkezi bir rol oynar.

Bu tür yapay zekâ modelleri, verilerden tahminler yapmak için genellikle derin öğrenme tekniklerini kullanır. Bu sistemler oldukça etkili olabilse de her zaman doğru tahminler üretmez. Bazı çıktılar doğru olabilirken bazıları hedefi ıskalayabilir.

Bu hataların nasıl ortaya çıktığını bilmek, bir modelin performansını değerlendirmede önemli bir adımdır. Performansı ölçmek için model değerlendirme metriklerinden yararlanabiliriz.

Yaygın değerlendirme metrikleri arasında doğruluk (genel doğruluk), kesinlik (pozitif tahminlerin güvenilirliği) ve duyarlılık (modelin gerçek pozitifleri ne kadar iyi belirlediği) bulunur. İlk bakışta benzer görünebilirler, ancak her biri model davranışının farklı bir yönüne odaklanır.

Bu makalede, bu yapay zekâ modeli performans ölçütlerinin her birine daha yakından bakacağız. Ayrıca bunların birbiriyle nasıl ilişkili olduğunu ve kullanım senaryon için doğru ölçütü nasıl seçeceğini inceleyeceğiz.

Makine öğreniminde model değerlendirme metrikleri neden önemlidir?#

Bir makine öğrenimi modeli ilk bakışta iyi performans gösteriyor gibi görünebilir. Ancak doğru değerlendirme ölçütleri olmadan sonuçlarının ne kadar doğru olduğunu anlamak zordur. Bu ölçütler, model değerlendirmesine yapı kazandırır ve şu temel soruyu yanıtlamaya yardımcı olur: Modelin tahminleri belirli bir görev için faydalı ve güvenilir mi?

Doğruluk, kesinlik ve duyarlılık gibi metrikler, yapay zekâ geliştiricilerine bir modelin ne kadar iyi çalıştığını ölçmek için açık bir yol sunar. Örneğin farklı modelleri karşılaştırırken, bu metrikler belirli bir görevde hangisinin daha iyi performans gösterdiğini görmeyi sağlar. Performansı değerlendirmeye ve bir yapay zekâ projesinin hedeflerine en uygun modeli seçmeye yardımcı olurlar.

Şekil 1. Model eğitimi ve değerlendirme iş akışı (Kaynak)

Bu metrikler performans karşılaştırmalarını da daha nesnel hâle getirir. Tahmine veya eksik gözlemlere dayanmak yerine, bir modelin farklı durumlarda nasıl davrandığına ilişkin ölçülebilir bilgiler sunarlar. Böylece her bağlamda performansın hangi yönlerinin en önemli olduğunu ortaya koyarlar.

Örneğin, metrik seçimi çoğu zaman uygulamaya bağlıdır. Yapay zekânın sağlık hizmetlerindeki uygulamalarında, amaç yanlışlıkla negatif olarak işaretlenen bazı vakalar olsa bile mümkün olduğunca çok pozitif vakayı belirlemek olduğundan duyarlılık önemlidir. Buna karşılık bir e-posta spam filtresi, gerçek e-postaları yanlışlıkla spam olarak işaretlememek için kesinliğe öncelik verebilir.

Karmaşıklık matrisi: Sınıflandırma metriklerinin temeli#

İkili sınıflandırmada karışıklık matrisi, yapay zekâ modellerini değerlendirmek için temel niteliğinde olan ikiye iki bir tablodur. Gerçek sonuçları tahmin edilen sonuçlarla (modelin verdiği yanıtlarla) karşılaştırarak tahminleri dört kategoriye ayırır.

Bu karşılaştırma, model performansına ilişkin ayrıntılı bir görünüm sunar. Matrisin değerlerinden doğrudan hesaplanan kesinlik ve duyarlılık gibi temel değerlendirme metriklerinin temelini oluşturur.

Tablonun satırları gerçek sınıfları, sütunları ise tahmin edilen sınıfları gösterir. Her hücre, ilgili kategorideki sonuçların sayısını belirtir. Basitçe söylemek gerekirse, kaç tahminin doğru olduğunu ve modelin ne tür hatalar yaptığını gösterir.

Karmaşıklık matrisi, bazı kategorilerin diğerlerinden çok daha fazla örnek içerdiği dengesiz verilerde özellikle kullanışlıdır. Farklı hata türlerinin farklı maliyetleri olduğunda da yarar sağlar.

Örneğin dolandırıcılık tespitinde dolandırıcılık faaliyetlerini yakalamak kritik önem taşır, ancak gerçek işlemleri yanlışlıkla işaretlemek de sorunlara yol açabilir. Matris, her hata türünün ne sıklıkta gerçekleştiğini açıkça gösterir.

Karmaşıklık matrisinin bileşenleri#

Karmaşıklık matrisinin farklı bileşenlerine genel bir bakış:

• Doğru pozitif (TP): Model pozitif bir örneği doğru tahmin ettiğinde, sonuç doğru pozitif olarak kaydedilir. Örneğin bir bilgisayarlı görü modeli, bir görüntüdeki aracı doğru sınıflandırır.
• Doğru negatif (TN): Model negatif bir örneği doğru belirlediğinde sonuç doğru negatiftir. Örneğin bir e-posta sınıflandırıcısı sıradan bir iletiyi spam değil olarak işaretler.
• Yanlış pozitif (FP): Model, aslında negatif olan bir örnek için yanlışlıkla pozitif sonuç tahmin ettiğinde yanlış pozitif üretir. Tip I hata olarak da bilinen bu durum, dolandırıcılık tespit sisteminin geçerli bir işlemi sahte olarak işaretlemesiyle ortaya çıkabilir.
• Yanlış negatif (FN): Model pozitif bir durumu tespit edemeyip yanlışlıkla negatif olarak tahmin ettiğinde yanlış negatif kaydedilir. Tip II hata olarak da bilinen bu durum, bir tanı aracının aslında hasta olan bir kişideki hastalığı fark edememesiyle ortaya çıkabilir.

Şekil 2. Karmaşıklık matrisinin bileşenleri (Kaynak)

Karmaşıklık matrisinin görsel gösterimi ve yorumlanması#

Karmaşıklık matrisi bir ızgara biçiminde gösterilir. Dikey eksen gerçek sınıfları, yatay eksen ise tahmin edilen sınıfları gösterir. Doğru tahminler, doğru pozitifleri ve doğru negatifleri temsil eden köşegen boyunca yer alır.

Hatalar köşegenin dışında yer alır ve yanlış pozitiflerle yanlış negatifleri kapsar. Bu yapı, güçlü ve zayıf yönleri kolayca fark etmeyi sağlar.

Makine öğreniminde doğruluk nedir?#

Doğruluk, bir makine öğrenimi modelinin performansını değerlendirmek için en yaygın kullanılan metriklerden biridir. Tüm sınıflardaki tahminlerin ne sıklıkta doğru olduğunu ölçer. Başka bir deyişle, basit bir soruyu yanıtlar: Yapay zekâ modelinin yaptığı tüm tahminlerin kaçı doğruydu?

Doğruluk formülü, doğru tahminlerin sayısının (doğru pozitifler ve doğru negatifler dahil) toplam tahmin sayısına bölünmesidir. Doğruluk kolayca hesaplanıp anlaşılabildiğinden, model değerlendirmesinde sıkça başlangıç noktası olarak kullanılır.

Genel olarak doğruluk, dengeli veri kümelerinde güvenilir bir ölçüttür. Ancak bir sınıfın diğerlerine baskın olduğu dengesiz veri kümelerinde yanıltıcı olabilir. Her zaman çoğunluk sınıfını tahmin eden bir model, diğer azınlık sınıflarını tespit edememesine rağmen yüksek doğruluk puanı alabilir.

Örneğin, yalnızca birkaç görüntünün yaya içerdiği bir görüntü veri kümesinde, her görüntü için “yaya yok” tahmini yapan bir model yine de yüksek doğruluk elde edebilir, ancak gerçek yayaları tespit etme konusunda tamamen başarısız olur.

Bunun nedeni, doğruluğun tek başına modelin ne tür hatalar yaptığını veya bu hataların ne sıklıkta gerçekleştiğini göstermemesidir. Bu yüzden bir yapay zekâ modelinin ne kadar iyi çalıştığını tam olarak anlamak için kesinlik ve duyarlılık gibi metriklere de bakmak önemlidir.

Kesinliği yakından inceleyelim: Yanlış alarmları en aza indirme#

Kesinlik, modelin pozitif tahminlerinin doğruluğunu ölçen temel bir değerlendirme metriğidir. Şu soruyu yanıtlar: Pozitif olarak tahmin edilen tüm örneklerin kaçı doğruydu?

Kesinlik formülü, doğru pozitiflerin sayısının doğru pozitifler ile yanlış pozitiflerin toplamına bölünmesidir. Pozitif bir tahminin yanlış çıkması maliyetli olduğunda bu metrik özellikle önemlidir.

Şekil 3. Doğruluk ve kesinlik karşılaştırması. (Kaynak)

Örneğin dolandırıcılık tespitinde düşük kesinliğe sahip bir model, birçok geçerli işlemi dolandırıcılık olarak işaretleyerek hem kullanıcılar hem de destek ekipleri için gereksiz sorunlar yaratabilir. Yüksek kesinliğe sahip bir model, işaretlenen işlemlerin gerçekten dolandırıcılık olma olasılığını artırarak bu riski azaltır.

Yüksek kesinlik iyi olsa da bu metriğe aşırı odaklanan modeller fazla seçici hâle gelip gerçek pozitif vakaları kaçırabilir. Bu nedenle performans dengesini korumak için kesinlik metriği çoğu zaman duyarlılıkla birlikte değerlendirilir.

Duyarlılık nedir?#

Duyarlılık, bir modelin gerçek pozitif vakaları ne kadar iyi belirlediğini ölçmek için kullanılan bir metriktir. Hassasiyet veya doğru pozitif oranı olarak da bilinir ve şu soruyu yanıtlar: Gerçek pozitif örneklerin tümünün kaçı model tarafından doğru tespit edildi?

Duyarlılık formülü, doğru pozitiflerin sayısının doğru pozitifler ile yanlış negatiflerin toplamına bölünmesidir. Yüksek duyarlılık puanı, modelin verilerdeki gerçek pozitif vakaların çoğunu yakaladığını gösterir.

Bir durumu tespit edememenin tedaviyi geciktirip hastaları riske atabileceği sağlık hizmetleri gibi sektörlerde duyarlılık çok önemlidir. Bazı negatif vakalar yanlışlıkla işaretlense bile tüm gerçek vakaları belirlemek en yüksek öncelik olmaya devam eder.

Ancak yalnızca duyarlılığa odaklanan modeller çok fazla yanlış pozitif işaretleyebilir; bu da kesinliği düşürür ve modelin genel verimliliğine zarar verir. Güvenilir yapay zekâ modeli performansı için duyarlılık ile kesinliği dengelemek kritik önem taşır.

Denge kurma: Kesinlik ve duyarlılık arasındaki ödünleşim#

Kesinlik ve duyarlılık çoğu zaman ters yönde değişir. Biri iyileştiğinde diğeri düşebilir. Bu ödünleşim, makine öğrenimi görevlerinde sık karşılaşılan bir zorluktur.

Kesinliği yüksek bir model, bir şeyi yalnızca emin olduğunda pozitif olarak tahmin eder. Bu, yanlış alarmları azaltır ancak gerçek pozitiflerin kaçırılmasına ve duyarlılığın düşmesine neden olabilir. Her pozitif vakayı yakalamaya çalışan bir model duyarlılığı artırır, ancak daha fazla yanlış alarm verme riski taşır ve kesinlik düşer.

Modelin karar eşiğini ayarladığında bu ödünleşim daha belirgin hâle gelir. Eşik, bir sistemin bir puanı veya olasılığı eyleme ya da etikete dönüştürmek için kullandığı sınır değeridir. Eşiği düşürmek sistemin daha sık pozitif karar vermesini sağlar; bu duyarlılığı artırabilir ancak kesinliği azaltabilir. Eşiği yükseltmek ise ters etki yaratır: model daha az pozitif tahminde bulunur, kesinlik artar ancak duyarlılık genellikle düşer.

Spam tespiti üzerinde çalıştığını varsayalım. Model, spam iletilerin gelen kutusuna düşmesi riskini gerçek e-postaları engelleme riskiyle dengelemelidir. Katı bir filtre yanlışlıkla meşru iletileri engelleyebilirken, daha esnek bir filtre bazı spam iletilerin geçmesine izin verebilir. Doğru denge, kullanım senaryosuna ve her hata türünün maliyetine bağlıdır.

Kesinlik-duyarlılık eğrisinin önemi#

Kesinlik-duyarlılık eğrisi veya PR eğrisi, modelin karar eşiği değiştikçe kesinlik ve duyarlılığın nasıl değiştiğini gösterir. Her nokta bu iki metrik arasındaki farklı bir ödünleşimi temsil eder. PR eğrisi, bir sınıfın çok daha seyrek olduğu dengesiz veri kümeleri için özellikle kullanışlıdır.

Dengesiz verilerde bu ölçüt, bir modelin farklı karar eşiklerinde pozitifleri negatiflerden ne kadar iyi ayırdığını da gösteren Alıcı İşletim Karakteristiği (ROC) eğrisinden genellikle daha anlamlı bir fikir verir. Hem kesinliği hem de duyarlılığı yüksek olan bir modelin kesinlik-duyarlılık eğrisi, genellikle ideal kabul edilen sağ üst köşeye yakın seyreder.

F1 puanına giriş: Dengeyi sağlayan birleşik metrik#

F1 puanı, kesinlik ve duyarlılık arasındaki dengeyi yansıtan tek bir değer sunar. F1 puanı, kesinlik ile duyarlılığın çarpımının iki katının bu iki değerin toplamına bölünmesiyle hesaplanır. Hem yanlış pozitiflerin hem de yanlış negatiflerin önemli olduğu durumlarda, dengesiz veri kümeleriyle çalışırken veya model performansına dengeli bir bakış gerektiğinde kullanışlıdır.

Şekil 4. Kesinlik ve duyarlılık kullanılarak F1 puanının hesaplanması (Kaynak)

Doğruluk, kesinlik ve duyarlılığın ötesinde#

Doğruluk, kesinlik ve duyarlılık temel metrikler olsa da diğer metrikler, model türüne ve veri kümesinin özelliklerine bağlı olarak ek bilgiler sunar.

Performansın farklı yönlerini değerlendirmeye yardımcı olan yaygın metriklerden bazıları şunlardır:

• Özgüllük: Modelin gerçek negatifleri ne kadar iyi belirlediğini ölçer. Yanlış pozitiflerden kaçınmanın önemli olduğu durumlarda kullanışlıdır.
• AUC: AUC, yani Eğri Altındaki Alan, modelin sınıfları ne kadar iyi ayırt edebildiğini yansıtan tek bir puan verir.
• Log kaybı: Log kaybı, modelin tahminlerinde ne kadar emin olduğunu ölçmek için kullanılır ve yüksek güvenle yapılan yanlış tahminleri daha fazla cezalandırır. Burada güven, modelin tahmininden ne kadar emin olduğunu ifade eder.
• Çok etiketli değerlendirme: Çok etiketli görevlerde, genel model performansını yansıtmak için metriklerin etiketler genelinde ortalaması alınır.

Bilgisayarlı görüde doğruluk, kesinlik ve duyarlılığın uygulanması#

Doğruluk, kesinlik ve duyarlılığı daha iyi anladığımıza göre, şimdi bu ölçütlerin bilgisayarlı görüde nasıl uygulandığını adım adım inceleyelim.

Ultralytics YOLO11 gibi bilgisayarlı görü modelleri, modelin bir görüntüde hangi nesnelerin bulunduğunu belirleyip bunların konumlarını sınırlayıcı kutularla saptadığı nesne algılama gibi görevleri destekler. Her tahmin hem nesne etiketini hem de nesnenin konumunu içerir; bu da değerlendirmeyi yalnızca bir etiketin doğru olup olmadığını kontrol etmekten daha karmaşık hâle getirir.

Şekil 5. Nesne algılama için Ultralytics YOLO11 kullanımına bir örnek. (Kaynak)

Raflardaki ürünleri otomatik olarak takip etmek için kameraların kullanıldığı bir perakende uygulamasını düşün. Bir nesne algılama modeli; mısır gevreği kutuları, gazoz kutuları veya su şişeleri gibi ürünleri belirleyip konumlarını işaretleyebilir.

Bu durumda kesinlik, algılanan ürünlerin kaçının gerçekten doğru olduğunu gösterir. Yüksek kesinlik, sistemin bir gölgeyi veya arka plan nesnesini ürün olarak etiketlemek gibi yanlış pozitiflerden kaçınması anlamına gelir. Duyarlılık ise modelin raftaki gerçek ürünlerin kaçını algılayabildiğini gösterir. Yüksek duyarlılık, daha az ürünün gözden kaçması demektir; bu da envanter sayımlarının doğruluğu açısından kritik öneme sahiptir.

Doğruluk yine de genel bir doğruluk ölçüsü sunabilir; ancak bu tür bir ortamda birkaç ürünü bile kaçırmak veya orada olmayan ürünleri algılamak, stok yönetimini ciddi biçimde etkileyebilir. Bu nedenle geliştiriciler, sistemin gerçek dünyada hem güvenilir hem de kullanışlı olmasını sağlamak için kesinlik, duyarlılık ve doğruluğu birlikte değerlendirir.

Doğruluk, kesinlik ve duyarlılık: Önemli çıkarımlar#

Doğruluk, kesinlik ve duyarlılık, bir makine öğrenimi modelinin performansının farklı yönlerini ortaya koyar. Yalnızca tek bir metriğe güvenmek yanıltıcı olabilir.

Karmaşıklık matrisi, kesinlik-duyarlılık eğrileri ve F1 puanı gibi araçlar ve metrikler, ödünleşimleri ortaya çıkarmaya ve makine öğrenimi modelini iyileştirme kararlarına yön vermeye yardımcı olur. Belirli bir yapay zekâ çözümü için doğru metrik birleşimini seçerek modellerin gerçek dünya uygulamalarında doğru, güvenilir ve etkili olmasını sağlayabilirsin.

Büyüyen topluluğumuzu keşfet! Yapay zekâ hakkında daha fazla bilgi edinmek için GitHub depomuza göz at. Bilgisayarlı görü projelerine başlamaya hazır mısın? Lisanslama seçeneklerimize göz at. Çözüm sayfalarımızı ziyaret ederek tarımda yapay zekâyı ve robotikte görsel yapay zekâyı keşfet!