Nesne tespitinde ortalama ortalama kesinlik (mAP)

Yapay zekânın benimsenmesi hızla artıyor ve yapay zekâ, sürücüsüz araçlardan raftaki ürünleri tanıyabilen perakende sistemlerine kadar çeşitli yeniliklere entegre ediliyor. Bu teknolojiler, makinelerin görsel verileri analiz etmesini sağlayan bir yapay zekâ (AI) dalı olan bilgisayarlı görüye dayanıyor.

Bilgisayarlı görü sistemleri ve algoritmalarının doğruluğunu ölçmek için kullanılan temel değerlendirme metriklerinden biri ortalama kesinlik (mAP) değeridir. mAP metriği, bir görsel AI modelinin tahmininin gerçek dünya sonuçlarıyla ne ölçüde örtüştüğünü gösterir.

Bilgisayarlı görüde yaygın bir görev olan nesne tespitinde model, bir görüntüdeki birden fazla nesneyi belirler ve bunların çevresine sınırlayıcı kutular çizer. mAP, nesne tespit modellerinin performansını değerlendirmek için kullanılan standart metriktir ve Ultralytics YOLO11 gibi derin öğrenme modellerini kıyaslamak için yaygın biçimde kullanılır.

Bu makalede, ortalama kesinliğin nasıl hesaplandığını ve nesne tespit modellerini eğiten veya değerlendiren herkes için neden gerekli olduğunu göreceğiz.

Ortalama kesinlik ortalaması (mAP) nedir?#

Ortalama kesinlik ortalaması, bir derin öğrenme modelinin görüntüdeki farklı nesneleri tespit etme ve tanımlama gibi görsel bilgi erişimiyle ilgili görevlerde ne kadar doğru olduğunu gösteren bir puandır. Örneğin, bir köpek, bir kedi ve bir araba içeren fotoğrafı analiz eden bir nesne tespit modelini düşün. Güvenilir bir model, her nesneyi tanıyıp etrafına sınırlayıcı kutular ve etiketler çizerek nesne tespiti yapabilir; böylece nesnenin nerede olduğunu ve ne olduğunu vurgular.

mAP, modelin bu görevi çok sayıda görüntüde ve farklı nesne türlerinde ne kadar iyi gerçekleştirdiğini gösterir. Modelin her nesneyi ve görüntüdeki konumunu doğru biçimde belirleyip belirlemediğini denetler. Puan 0 ile 1 arasında değişir; 1, modelin her şeyi kusursuz bulduğu, 0 ise hiçbir nesneyi tespit edemediği anlamına gelir.

Ortalama kesinlik ortalamasındaki (mAP) temel kavramlar#

Makine öğrenmesinde ortalama kesinlik ortalamasının ardındaki kavramları incelemeden önce, iki temel terimi daha iyi anlayalım: temel gerçek ve tahminler.

Temel gerçek, nesnelerin ve görüntüdeki konumlarının açıklama adı verilen bir süreçte insanlar tarafından dikkatlice etiketlendiği doğru referans verileri ifade eder. Tahminler ise yapay zekâ modellerinin bir görüntüyü analiz ettikten sonra verdiği sonuçlardır. Yapay zekâ modelinin tahminlerini temel gerçekle karşılaştırarak modelin doğru sonuçlara ne kadar yaklaştığını ölçebiliriz.

Şekil 1. Model tahmini ve temel gerçek sınırlayıcı kutuları. Görselin sahibi: yazar.

Karışıklık matrisi#

Bir nesne tespit modelinin ne kadar kesin olduğunu anlamak için sıklıkla karışıklık matrisi kullanılır. Bu tablo, modelin tahminlerinin doğru yanıtlarla (temel gerçek) ne ölçüde örtüştüğünü gösterir. Bu tablodan dört temel bileşen veya sonucu ayrıntılı olarak görebiliriz: doğru pozitifler, yanlış pozitifler, yanlış negatifler ve doğru negatifler.

Karışıklık matrisindeki bu bileşenlerin neyi temsil ettiği şöyle açıklanabilir:

• Doğru pozitif (TP): Model bir nesneyi ve nesnenin konumunu doğru biçimde tespit eder.
• Yanlış pozitif (FP): Model bir tespit yapar ancak bu tespit yanlıştır.
• Yanlış negatif (FN): Görüntüde gerçekten bulunan bir nesne model tarafından tespit edilemez.
• Doğru negatif (TN): Model bir nesnenin bulunmadığını doğru biçimde belirlediğinde doğru negatifler oluşur.

Görüntülerdeki çok sayıdaki boş bölgeyi genellikle göz ardı ettiğimiz için doğru negatifler nesne tespitinde yaygın olarak kullanılmaz. Ancak modelin görüntüye bir etiket atadığı görüntü sınıflandırma gibi diğer bilgisayarlı görü görevlerinde doğru negatifler önemlidir. Örneğin, görev bir görüntünün kedi içerip içermediğini tespit etmekse ve görüntüde kedi yokken model doğru şekilde “kedi yok” sonucuna varırsa bu bir doğru negatiftir.

Şekil 2. Karışıklık matrisindeki sınıflandırma sonuçları. Görselin sahibi: yazar.

Kesişim-Birleşim oranı (IoU)#

Nesne tespit modellerini değerlendirirken kullanılan bir diğer önemli metrik de Kesişim-Birleşim oranıdır (IoU). Bu tür görsel yapay zekâ modellerinde, bir görüntüde nesnenin varlığını tespit etmek yeterli değildir; sınırlayıcı kutular çizmek için görüntüde nerede bulunduğunu da belirlemek gerekir.

IoU metriği, modelin tahmin ettiği kutunun gerçek ve doğru kutuyla (temel gerçek) ne ölçüde örtüştüğünü ölçer. Puan 0 ile 1 arasındadır; 1 kusursuz eşleşme, 0 ise hiç örtüşme olmadığı anlamına gelir.

Örneğin, daha yüksek bir IoU (0,80 veya 0,85 gibi), tahmin edilen kutunun temel gerçek kutusuyla yakından eşleştiğini ve konumun doğru belirlendiğini gösterir. Daha düşük bir IoU (0,30 veya 0,25 gibi), modelin nesnenin konumunu doğru belirleyemediği anlamına gelir.

Bir tespitin başarılı olup olmadığını belirlemek için farklı eşik değerleri kullanırız. Yaygın bir IoU eşiği 0,5'tir; bu, tahmin edilen kutunun doğru pozitif sayılabilmesi için temel gerçek kutusuyla en az %50 oranında örtüşmesi gerektiği anlamına gelir. Bu eşiğin altındaki her örtüşme yanlış pozitif kabul edilir.

Şekil 3. Kesişim-Birleşim oranını anlama. Görselin sahibi: yazar.

Kesinlik ve duyarlılık#

Şimdiye kadar nesne tespit modellerinin performansını anlamaya yarayan bazı temel değerlendirme metriklerini inceledik. Bu temelin üzerine eklenen en önemli iki metrik, kesinlik ve duyarlılıktır. Bu metrikler, modelin tespitlerinin ne kadar doğru olduğuna ilişkin net bir fikir verir. Ne olduklarına bakalım.

Kesinlik değerleri, modelin tahminlerinden kaçının gerçekten doğru olduğunu gösterir. Şu soruyu yanıtlar: Modelin tespit ettiğini iddia ettiği tüm nesnelerden kaçı gerçekten görüntüdeydi?

Duyarlılık değerleri ise görüntüde gerçekten bulunan tüm nesnelerin ne kadar iyi bulunduğunu ölçer. Şu soruyu yanıtlar: Gerçek nesnelerin tümünden kaçı model tarafından doğru biçimde tespit edildi?

Kesinlik ve geri çağırma birlikte, bir modelin ne kadar iyi performans gösterdiğine dair daha net bir fikir verir. Örneğin, bir model bir görüntüde 10 araba tahmin eder ve bunların 9'u gerçekten arabaysa kesinliği %90'dır.

Bu iki değerlendirme metriği çoğu zaman bir ödünleşim içerir: Model yalnızca tamamen emin olduğu tahminleri yaparak yüksek bir kesinlik değerine ulaşabilir ancak bu, birçok nesneyi kaçırmasına ve duyarlılık düzeyinin düşmesine neden olabilir. Öte yandan, neredeyse her yere bir sınırlayıcı kutu tahmin ederek çok yüksek duyarlılığa da ulaşabilir ancak bu kesinliği düşürür.

Şekil 4. Kesinlik ve duyarlılık. Görselin sahibi: yazar.

Ortalama kesinlik#

Kesinlik ve duyarlılık, bir modelin tek tek tahminlerde nasıl performans gösterdiğini anlamamıza yardımcı olurken ortalama kesinlik (AP) daha kapsamlı bir bakış sunabilir. Model daha fazla nesne tespit etmeye çalışırken kesinliğinin nasıl değiştiğini gösterir ve performansını tek bir sayıyla özetler.

Ortalama kesinlik puanını hesaplamak için önce her nesne türü için kesinlik-duyarlılık eğrisi (veya PR eğrisi) adı verilen, grafik benzeri birleşik bir metrik oluşturabiliriz. Bu eğri, model daha fazla tahmin yaptıkça neler olduğunu gösterir.

Modelin önce yalnızca tespit edilmesi en kolay veya en belirgin nesneleri bulduğu bir senaryoyu düşün. Bu aşamada tahminlerin çoğu doğru olduğu için kesinlik yüksektir ancak birçok nesne hâlâ gözden kaçtığından duyarlılık düşüktür. Model, daha zor veya nadir olanlar dâhil daha fazla nesneyi tespit etmeye çalıştıkça genellikle daha fazla hata yapar. Bu da duyarlılık artarken kesinliğin düşmesine yol açar.

Ortalama kesinlik, PR eğrisinin altındaki alandır (AUC). Daha büyük bir alan, modelin daha fazla nesne tespit ederken tahminlerini doğru tutma konusunda daha başarılı olduğu anlamına gelir. AP, her sınıf etiketi için ayrı hesaplanır.

Örneğin, araba, bisiklet ve yaya tespit edebilen bir modelde bu üç kategorinin her biri için AP değerlerini ayrı ayrı hesaplayabiliriz. Böylece modelin hangi nesneleri iyi tespit ettiğini ve hangi alanlarda hâlâ iyileştirilmesi gerektiğini görebiliriz.

Şekil 5. Beş farklı sınıf için PR eğrisi. (Kaynak)

Ortalama kesinlik ortalaması#

Her nesne sınıfı için ortalama kesinliği hesapladıktan sonra modelin tüm sınıflardaki genel performansını yansıtan tek bir puana yine de ihtiyacımız var. Bunu ortalama kesinlik formülüyle elde edebiliriz. Formül, her kategorinin AP puanlarının ortalamasını alır.

Örneğin, Ultralytics YOLO11 gibi bir bilgisayarlı görü modelinin arabalar için 0,827, motosikletler için 0,679, kamyonlar için 0,355, otobüsler için 0,863 ve bisikletler için 0,982 AP değerlerine ulaştığını varsayalım. mAP formülünü kullanarak bu sayıları toplayıp toplam sınıf sayısına bölebiliriz:

mAP = (0.827 + 0.679 + 0.355 + 0.863 + 0.982) ÷ 5 = 0.7412 ≈ 0.741

0.741 mAP puanı, modelin tüm nesne sınıflarında ne kadar iyi performans gösterdiğini değerlendirmek için kolay bir yöntem sunar. 1'e yakın bir değer, modelin çoğu kategoride doğru sonuç verdiğini; daha düşük bir değer ise bazı kategorilerde zorlandığını gösterir.

Bilgisayarlı görüde AP ve mAP'nin önemi#

Artık AP ve mAP'nin nasıl hesaplandığını ve bileşenlerinin neler olduğunu daha iyi anladığımıza göre, bilgisayarlı görüde neden önemli olduklarına genel bir bakış atalım:

• Belirli bir sınıf için düşük AP: Tek bir sınıf için düşük AP, çoğu zaman modelin o nesne sınıfında zorlandığı anlamına gelir. Bunun nedeni yetersiz eğitim verisi veya görüntülerdeki kapanma gibi görsel zorluklar olabilir.
• Konumlandırma hataları: Daha düşük bir IoU eşiğinde (örneğin mAP₅₀) yüksek, daha yüksek bir IoU eşiğinde (örneğin mAP₇₅) ise belirgin biçimde düşük mAP değeri, modelin nesneleri tespit edebildiğini ancak konumlarını hassas biçimde belirlemekte zorlandığını gösterir.
• Aşırı öğrenme: Eğitim veri kümesindeki mAP değerinin yüksek, doğrulama veri kümesindeki mAP değerinin ise düşük olması aşırı öğrenmenin işaretidir; bu durumda model yeni görüntülerde güvenilir olmayabilir.

Ortalama kesinlik ortalamasının gerçek dünyadaki uygulamaları#

Şimdi, mAP gibi temel metriklerin gerçek dünyadaki bilgisayarlı görü uygulamaları oluştururken nasıl yardımcı olabileceğini inceleyelim.

Otonom araçlar: Daha yüksek mAP değeri neden daha güvenli yollar anlamına gelir?#

Sürücüsüz araçlar söz konusu olduğunda nesne tespiti; yayaları, trafik işaretlerini, bisikletlileri ve şerit çizgilerini belirlemek için çok önemlidir. Örneğin, bir çocuk aniden yola fırlarsa aracın nesneyi (çocuğu) tespit etmek, konumunu belirlemek, hareketini izlemek ve gerekli önlemi almak (fren yapmak) için saniyeleri vardır.

Ultralytics YOLO11 gibi modeller, bu tür yüksek riskli senaryolarda gerçek zamanlı nesne tespiti için tasarlanmıştır. Bu durumlarda mAP, güvenlik açısından kritik bir ölçüt hâline gelir.

Yüksek bir mAP puanı, sistemin çocuğu tespit etme ve konumunu hassas biçimde belirleme olasılığının daha yüksek olduğu anlamına gelir; böylece sistem minimum gecikmeyle frenlemeyi tetikleyebilir. Düşük bir mAP, tespitlerin kaçırılması veya çocuğun başka küçük bir nesneyle karıştırılması gibi tehlikeli yanlış sınıflandırmalar anlamına gelebilir.

Şekil 6. YOLO11'in yoldaki yayaları tespit etmek için kullanıldığı bir örnek. (Kaynak)

Doğru ürün tespiti için mAP kullanımı#

Benzer şekilde, perakende sektöründe nesne tespit modelleri stok takibi ve ödeme süreçleri gibi görevleri otomatikleştirmek için kullanılabilir. Bir müşteri, kasiyersiz kasada bir ürünü okuttuğunda tespit hatası müşterinin canını sıkabilir.

Yüksek bir mAP puanı, modelin benzer ürünleri doğru biçimde ayırt etmesini ve ürünler sıkışık şekilde yerleştirilmiş olsa bile hassas sınırlayıcı kutular çizmesini sağlar. Düşük bir mAP puanı karışıklıklara yol açabilir. Örneğin model, portakal suyu şişesini görsel açıdan benzer bir elma suyu şişesiyle karıştırırsa yanlış ücretlendirme ve hatalı envanter raporları ortaya çıkabilir.

Ultralytics YOLO11 gibi modellerle entegre edilmiş perakende sistemleri ürünleri gerçek zamanlı olarak tespit edebilir, envanterle karşılaştırabilir ve arka uç sistemlerini anında güncelleyebilir. Hızlı tempolu perakende ortamlarında mAP, operasyonların doğru ve güvenilir biçimde yürütülmesinde kritik bir rol oynar.

Sağlık hizmetlerinde yüksek mAP ile tanı doğruluğunu artırma#

Sağlık hizmetlerinde tanı doğruluğunu artırmak, tıbbi görüntülemede hassas tespitle başlar. YOLO11 gibi modeller, radyologların bu tıbbi taramalardaki tümörleri, kırıkları veya diğer anormallikleri fark etmesine yardımcı olabilir. Burada ortalama hassasiyet, bir modelin klinik güvenilirliğini değerlendirmek için temel bir ölçüttür.

Yüksek bir mAP değeri, modelin hem yüksek duyarlılığa (gerçek sorunların çoğunu belirleme) hem de yüksek kesinliğe (yanlış alarmlardan kaçınma) ulaştığını gösterir; bu, klinik karar verme sürecinde kritik önem taşır.

Ancak düşük bir mAP puanı kaygı yaratabilir. Örneğin model bir tümörü tespit edemezse tanı gecikebilir veya yanlış tedavi uygulanabilir.

mAP kullanmanın avantajları ve dezavantajları#

Nesne tespit modellerini değerlendirmek için ortalama hassasiyet kullanmanın başlıca avantajları şunlardır:

• Standartlaştırılmış metrik: mAP, nesne tespit modellerini değerlendirmede sektör standardıdır. mAP değeri, farklı modeller arasında adil ve tutarlı karşılaştırmalar yapılmasını sağlar.
• Gerçek dünya performansını yansıtır: Yüksek bir mAP, modelin çeşitli nesne sınıflarını tespit etmede başarılı olduğunu ve karmaşık, gerçek dünya senaryolarında güçlü performansını koruduğunu gösterir.
• Sınıf bazında tanılama: mAP, sınıf başına AP puanlarından oluştuğu için düşük performans gösteren kategorileri (örneğin bisikletleri veya trafik işaretlerini) belirlemeyi ve modeli buna göre ince ayarlamayı kolaylaştırır.

mAP ölçütünü kullanmanın çeşitli faydaları olsa da göz önünde bulundurulması gereken bazı kısıtlamalar da vardır. Dikkate alınması gereken birkaç etken şunlardır:

• Teknik olmayan paydaşlar için anlaşılması zor: İş veya klinik ekipleri mAP değerlerini soyut bulabilir; daha sezgisel ve kolay anlaşılır ölçütleri değerlendirmek onlar için daha kolaydır.
• Gerçek zamanlı kısıtları yansıtmaz: mAP, zamana duyarlı uygulamalarda kullanıma alma açısından kritik olan çıkarım hızını veya gecikmeyi hesaba katmaz.

Önemli çıkarımlar#

Ortalama hassasiyetin yalnızca teknik bir puan olmadığını, aynı zamanda bir modelin gerçek dünyadaki potansiyel performansını yansıttığını gördük. İster otonom araç sisteminde ister perakende kasasında kullanılsın, yüksek bir mAP puanı modelin performansının ve pratik kullanıma hazır oluşunun güvenilir bir göstergesidir.

mAP önemli ve etkili bir metrik olsa da kapsamlı bir değerlendirme stratejisinin parçası olarak ele alınmalıdır. Sağlık hizmetleri ve otonom sürüş gibi kritik uygulamalarda yalnızca mAP'e güvenmek yeterli değildir.

Sistemin güvenli, verimli ve kullanım amacına gerçekten uygun olmasını sağlamak için çıkarım hızı (modelin ne kadar hızlı tahmin ürettiği), model boyutu (uç cihazlarda kullanıma almayı etkiler) ve nitel hata analizi (modelin ne tür hatalar yaptığını anlamak) gibi ek etkenler de göz önünde bulundurulmalıdır.

Bilgisayarlı görü hakkında daha fazla bilgi edinmek için büyüyen topluluğumuza ve GitHub depomuza katıl. Tarımda bilgisayarlı görü ve lojistikte yapay zekâ uygulamaları hakkında bilgi almak için çözümler sayfalarımızı keşfet. Kendi bilgisayarlı görü modelini bugün kullanmaya başlamak için lisans seçeneklerimize göz at!