Nesne tespitinde ortalama kesinlik ortalaması (mAP)

Yapay zekâ kullanımı hızla yaygınlaşıyor ve yapay zekâ, kendi kendine giden arabalardan raflardaki ürünleri tanımlayabilen perakende sistemlerine kadar çeşitli yeniliklere entegre ediliyor. Bu teknolojiler, makinelerin görsel verileri analiz etmesini sağlayan bir yapay zekâ (AI) dalı olan bilgisayarlı görü teknolojisine dayanır.

Bilgisayarlı görü sistemlerinin ve algoritmalarının doğruluğunu ölçmek için kullanılan temel değerlendirme metriklerinden biri ortalama kesinliktir (mAP). mAP metriği, bir görsel yapay zekâ modelinin tahmininin gerçek dünyadaki sonuçlarla ne ölçüde örtüştüğünü gösterir.

Yaygın bir bilgisayarlı görü görevi, bir modelin görüntüdeki birden fazla nesneyi tanımladığı ve bunların etrafına sınırlayıcı kutular çizdiği nesne tespitidir. mAP, nesne tespit modellerinin performansını değerlendirmek için kullanılan standart metriktir ve Ultralytics YOLO11 gibi derin öğrenme modellerini kıyaslamak için yaygın olarak kullanılır.

Bu makalede, ortalama kesinliğin nasıl hesaplandığını ve nesne tespit modellerini eğiten veya değerlendiren herkes için neden önemli olduğunu göreceğiz. Başlayalım!

Ortalama kesinlik (mAP) nedir?#

Ortalama kesinlik, bir derin öğrenme modelinin görüntüdeki farklı nesneleri tespit etme ve tanımlama gibi görsel bilgi erişimiyle ilgili görevlerde ne kadar doğru olduğunu gösteren bir puandır. Örneğin, içinde bir köpek, bir kedi ve bir araba bulunan bir fotoğrafı analiz eden bir nesne tespit modeli düşün. Güvenilir bir model, her nesneyi tanıyarak ve etrafına sınırlayıcı kutular ile etiketler çizerek nesne tespiti yapabilir; böylece nesnenin nerede olduğunu ve ne olduğunu vurgular.

mAP, modelin bu görevi çok sayıda görüntü ve farklı nesne türü üzerinde ne kadar iyi gerçekleştirdiğini gösterir. Modelin her nesneyi ve görüntü içindeki konumunu doğru bir şekilde tanımlayıp tanımlamadığını kontrol eder. Puan 0 ile 1 arasında değişir; 1 modelin her şeyi kusursuzca bulduğu, 0 ise hiçbir nesneyi tespit edemediği anlamına gelir.

Ortalama kesinlik (mAP) ile ilgili temel kavramlar#

Makine öğrenmesinde ortalama kesinliğin ardındaki kavramları incelemeden önce iki temel terimi daha iyi anlayalım: temel gerçek ve tahminler.

Temel gerçek, görüntüdeki nesnelerin ve konumlarının açıklama adı verilen bir süreçle insanlar tarafından dikkatle etiketlendiği doğru referans verilerini ifade eder. Tahminler ise yapay zekâ modellerinin bir görüntüyü analiz ettikten sonra ürettiği sonuçlardır. Yapay zekâ modelinin tahminlerini temel gerçekle karşılaştırarak modelin doğru sonuçlara ne kadar yaklaştığını ölçebiliriz.

Şekil 1. Model tahmini ve temel gerçek sınırlayıcı kutuları. Görsel yazara aittir.

Karmaşıklık matrisi#

Bir karmaşıklık matrisi, bir nesne tespit modelinin ne kadar kesin olduğunu anlamak için sıklıkla kullanılır. Bu matris, modelin tahminlerinin gerçek doğru yanıtlarla (temel gerçekle) ne kadar örtüştüğünü gösteren bir tablodur. Bu tablodan dört temel bileşenin veya sonucun dökümünü elde edebiliriz: doğru pozitifler, yanlış pozitifler, yanlış negatifler ve doğru negatifler.

Karmaşıklık matrisindeki bu bileşenlerin anlamları şöyledir:

• Doğru pozitif (TP): Bir nesne ve konumu model tarafından doğru şekilde tespit edilir.
• Yanlış pozitif (FP): Model bir tespit yaptı, ancak bu tespit yanlıştı.
• Yanlış negatif (FN): Görüntüde gerçekten mevcut olan bir nesne model tarafından tespit edilemedi.
• Doğru negatif (TN): Doğru negatifler, model bir nesnenin yokluğunu doğru şekilde belirlediğinde ortaya çıkar.

Görüntüdeki çok sayıdaki boş bölgeyi genellikle göz ardı ettiğimiz için doğru negatifler nesne tespitinde yaygın olarak kullanılmaz. Ancak modelin görüntüye bir etiket atadığı görüntü sınıflandırma gibi diğer bilgisayarlı görü görevlerinde önemlidir. Örneğin görev, bir görüntünün kedi içerip içermediğini tespit etmekse ve görüntüde kedi bulunmadığında model doğru şekilde “kedi yok” sonucunu veriyorsa bu, doğru negatiftir.

Şekil 2. Karmaşıklık matrisindeki sınıflandırma sonuçları. Görsel yazara aittir.

Birleşim Üzerine Kesişim (IoU)#

Nesne tespit modellerini değerlendirirken kullanılan bir diğer önemli metrik Birleşim Üzerine Kesişim (IoU) değeridir. Bu tür görsel yapay zekâ modelleri için bir görüntüde nesnenin varlığını tespit etmek tek başına yeterli değildir; modelin sınırlayıcı kutular çizebilmesi için nesnenin görüntüde nerede bulunduğunu da belirlemesi gerekir.

IoU metriği, modelin tahmin ettiği kutunun gerçek ve doğru kutuyla (temel gerçekle) ne kadar örtüştüğünü ölçer. Puan 0 ile 1 arasındadır; 1 kusursuz eşleşme, 0 ise hiç örtüşme olmadığı anlamına gelir.

Örneğin, daha yüksek bir IoU (0.80 veya 0.85 gibi), tahmin edilen kutunun temel gerçek kutusuyla yakından eşleştiği ve konumlandırmanın doğru olduğu anlamına gelir. Daha düşük bir IoU (0.30 veya 0.25 gibi) ise modelin nesnenin konumunu doğru şekilde belirleyemediğini gösterir.

Bir tespitin başarılı olup olmadığını belirlemek için farklı eşik değerleri kullanırız. Yaygın bir IoU eşiği 0.5'tir; bu, tahmin edilen kutunun doğru pozitif sayılabilmesi için temel gerçek kutuyla en az %50 oranında örtüşmesi gerektiği anlamına gelir. Bu eşik değerinin altındaki her örtüşme yanlış pozitif kabul edilir.

Şekil 3. Birleşim Üzerine Kesişimi anlama. Görsel yazara aittir.

Kesinlik ve duyarlılık#

Şimdiye kadar nesne tespit modellerinin performansını anlamak için bazı temel değerlendirme metriklerini inceledik. Bunun üzerine, en önemli iki metrik kesinlik ve duyarlılıktır. Bu metrikler, modelin tespitlerinin ne kadar doğru olduğuna dair net bir fikir verir. Şimdi bunların ne olduğuna bakalım.

Kesinlik değerleri, modelin tahminlerinin kaçının gerçekten doğru olduğunu gösterir. Şu soruyu yanıtlar: Modelin tespit ettiğini iddia ettiği tüm nesnelerin kaçı gerçekten oradaydı?

Öte yandan duyarlılık değerleri, modelin görüntüde bulunan tüm gerçek nesneleri ne kadar iyi bulduğunu ölçer. Şu soruyu yanıtlar: Mevcut tüm gerçek nesnelerin kaçını model doğru şekilde tespit etti?

Kesinlik ve duyarlılık birlikte, modelin ne kadar iyi performans gösterdiğine dair daha net bir fikir verir. Örneğin bir model görüntüde 10 araba tahmin ediyor ve bunların 9'u gerçekten araba ise kesinliği %90'dır (pozitif tahmin).

Bu iki değerlendirme metriği genellikle bir denge içerir: Bir model yalnızca tamamen emin olduğu tahminleri yaparak yüksek bir kesinlik değerine ulaşabilir, ancak bu durum birçok nesneyi kaçırmasına ve duyarlılık düzeyinin düşmesine neden olabilir. Öte yandan model, neredeyse her yere bir sınırlayıcı kutu tahmin ederek çok yüksek duyarlılığa ulaşabilir, ancak bu kesinliği düşürür.

Şekil 4. Kesinlik ve duyarlılık. Görsel yazara aittir.

Ortalama kesinlik#

Kesinlik ve duyarlılık, bir modelin tek tek tahminlerdeki performansını anlamamıza yardımcı olurken ortalama kesinlik (AP) daha genel bir bakış sunabilir. Model daha fazla nesne tespit etmeye çalışırken kesinliğinin nasıl değiştiğini gösterir ve performansını tek bir sayıyla özetler.

Ortalama kesinlik puanını hesaplamak için öncelikle her nesne türü için kesinlik-duyarlılık eğrisi (veya PR eğrisi) adı verilen, grafik benzeri birleşik bir metrik oluşturabiliriz. Bu eğri, model daha fazla tahmin yaptıkça neler olduğunu gösterir.

Modelin yalnızca tespit edilmesi en kolay veya en belirgin nesneleri tespit ederek başladığı bir senaryoyu düşün. Bu aşamada tahminlerin çoğu doğru olduğu için kesinlik yüksektir, ancak birçok nesne hâlâ kaçırıldığı için duyarlılık düşüktür. Model daha zor veya daha nadir olanlar da dahil olmak üzere daha fazla nesne tespit etmeye çalıştıkça genellikle daha fazla hata yapar. Bu durum kesinliğin düşmesine, duyarlılığın ise artmasına neden olur.

Ortalama kesinlik, eğrinin altındaki alandır (PR eğrisinin AUC'si). Daha büyük bir alan, modelin daha fazla nesne tespit ederken bile tahminlerini doğru tutma konusunda daha iyi olduğu anlamına gelir. AP her sınıf etiketi için ayrı ayrı hesaplanır.

Örneğin araba, bisiklet ve yayaları tespit edebilen bir modelde bu üç kategorinin her biri için AP değerlerini ayrı ayrı hesaplayabiliriz. Bu, modelin hangi nesneleri tespit etmede iyi olduğunu ve hangi alanlarda hâlâ iyileştirmeye ihtiyaç duyabileceğini görmemize yardımcı olur.

Şekil 5. Beş farklı sınıf için bir PR eğrisi. (Kaynak)

Ortalama ortalama kesinlik#

Her nesne sınıfı için ortalama kesinliği hesapladıktan sonra modelin tüm sınıflardaki genel performansını yansıtan tek bir puana hâlâ ihtiyacımız vardır. Bu, ortalama ortalama kesinlik formülü kullanılarak elde edilebilir. Bu formül, her kategoriye ait AP puanlarının ortalamasını alır.

Örneğin Ultralytics YOLO11 gibi bir bilgisayarlı görü modelinin arabalar için 0.827, motosikletler için 0.679, kamyonlar için 0.355, otobüsler için 0.863 ve bisikletler için 0.982 AP değerine ulaştığını varsayalım. mAP formülünü kullanarak bu sayıları toplayıp toplam sınıf sayısına aşağıdaki gibi bölebiliriz:

mAP = (0.827 + 0.679 + 0.355 + 0.863 + 0.982) ÷ 5 = 0.7432 ≈ 0.743

0.743 mAP puanı, modelin tüm nesne sınıflarındaki performansını değerlendirmek için doğrudan bir çözüm sunar. 1'e yakın bir değer, modelin çoğu kategoride doğru olduğunu; daha düşük bir değer ise bazı kategorilerde zorlandığını gösterir.

Bilgisayarlı görmede AP ve mAP'nin önemi#

AP ve mAP'nin nasıl hesaplandığını ve bileşenlerinin neler olduğunu artık daha iyi anladığımıza göre, bilgisayarlı görmedeki önemlerine genel bir bakış atalım:

• Belirli bir sınıf için düşük AP: Tek bir sınıf için düşük AP, genellikle modelin o nesne sınıfında zorlandığı anlamına gelir. Bunun nedeni yetersiz eğitim verisi veya görüntülerdeki örtülme gibi görsel zorluklar olabilir.

• Konumlandırma hataları: Daha düşük bir IoU eşiğinde (mAP@0.50 gibi) daha yüksek bir mAP değerinin, daha yüksek bir IoU eşiğinde (mAP@0.75 gibi) önemli ölçüde düşmesi, modelin nesneleri tespit edebildiğini ancak konumlarını kesin şekilde belirlemekte zorlandığını gösterir.

• Aşırı öğrenme: Eğitim veri kümesinde daha yüksek, doğrulama veri kümesinde ise daha düşük bir mAP değeri, modelin yeni görüntüler için güvenilmez olmasına neden olan aşırı öğrenmenin işaretidir.

Ortalama kesinliğin gerçek dünyadaki uygulamaları#

Şimdi mAP gibi temel metriklerin gerçek dünyadaki bilgisayarlı görü kullanım alanlarını oluştururken nasıl yardımcı olabileceğini inceleyelim.

Otonom araçlar: Daha yüksek bir mAP değeri neden daha güvenli yollar anlamına gelir?#

Kendi kendine giden arabalar söz konusu olduğunda nesne tespiti; yayaları, trafik işaretlerini, bisikletlileri ve şerit işaretlerini tanımlamak için kritik öneme sahiptir. Örneğin bir çocuk aniden yola koşarsa araç, nesneyi (çocuğu) tespit etmek, nerede olduğunu belirlemek, hareketini izlemek ve gerekli eylemi (frene basmayı) gerçekleştirmek için saniyelere sahiptir.

Ultralytics YOLO11 gibi modeller, bu tür yüksek riskli senaryolarda gerçek zamanlı nesne tespiti için tasarlanmıştır. Bu durumlarda mAP kritik bir güvenlik ölçütü hâline gelir.

Yüksek bir mAP puanı, sistemin çocuğu hızlı bir şekilde tespit etmesini, konumunu kesin biçimde belirlemesini ve minimum gecikmeyle frenlemeyi tetiklemesini sağlar. Düşük bir mAP, çocuğun başka bir küçük nesneyle karıştırılması gibi kaçırılan tespitler veya tehlikeli yanlış sınıflandırmalar anlamına gelebilir.

Şekil 6. YOLO11'in yoldaki yayaları tespit etmek için kullanılmasına bir örnek. (Kaynak)

Doğru ürün tespiti için mAP kullanımı#

Benzer şekilde perakende sektöründe nesne tespit modelleri, stok takibi ve ödeme işlemleri gibi görevleri otomatikleştirmek için kullanılabilir. Bir müşteri self-servis kasada bir ürünü okuttuğunda tespitteki bir hata hayal kırıklığına neden olabilir.

Yüksek bir mAP puanı, ürünler birbirine sıkıca yerleştirilmiş olsa bile modelin benzer ürünleri doğru şekilde ayırt etmesini ve kesin sınırlayıcı kutular çizmesini sağlar. Düşük bir mAP puanı karışıklıklara yol açabilir. Örneğin model portakal suyu şişesini görsel olarak benzer bir elma suyu şişesiyle karıştırırsa yanlış ücretlendirme ve hatalı stok raporları ortaya çıkabilir.

Ultralytics YOLO11 gibi modellerle entegre edilen perakende sistemleri ürünleri gerçek zamanlı olarak tespit edebilir, bunları stokla karşılaştırabilir ve arka uç sistemlerini anında güncelleyebilir. Hızlı tempolu perakende ortamlarında mAP, operasyonların doğru ve güvenilir tutulmasında kritik bir rol oynar.

Yüksek mAP ile sağlık hizmetlerinde tanı doğruluğunu artırma#

Sağlık hizmetlerinde tanı doğruluğunu artırmak, tıbbi görüntülemede kesin tespit ile başlar. YOLO11 gibi modeller, radyologların bu tıbbi taramalardaki tümörleri, kırıkları veya diğer anormallikleri fark etmesine yardımcı olabilir. Burada ortalama kesinlik, bir modelin klinik güvenilirliğini değerlendirmek için temel bir metriktir.

Yüksek bir mAP, modelin hem yüksek duyarlılığa (gerçek sorunların çoğunu tanımlama) hem de yüksek kesinliğe (yanlış alarmlardan kaçınma) ulaştığını gösterir; bu da klinik karar verme açısından kritik öneme sahiptir. Ayrıca sağlık hizmetlerinde IoU eşiği, son derece doğru tespit sağlamak için genellikle çok yüksek (0.85 veya 0.90) belirlenir.

Bununla birlikte, düşük bir mAP puanı endişe yaratabilir. Bir modelin bir tümörü kaçırdığını varsayalım; bu durum tanının gecikmesine veya yanlış tedavi uygulanmasına yol açabilir.

mAP kullanımının avantajları ve dezavantajları#

Nesne tespit modellerini değerlendirmek için ortalama kesinlik kullanmanın temel avantajları şunlardır:

• Standartlaştırılmış metrik: mAP, nesne tespit modellerini değerlendirmek için sektör standardıdır. Bir mAP değeri, farklı modeller arasında adil ve tutarlı karşılaştırmalar yapılmasını sağlar.

• Gerçek dünya performansını yansıtır: Yüksek bir mAP, modelin çeşitli nesne sınıflarını tespit etmede başarılı olduğunu ve karmaşık, gerçek dünya senaryolarında güçlü performansını koruduğunu gösterir.

• Sınıf bazında tanılama: Bir mAP puanı, tespit performansını her sınıf için ayrı ayrı değerlendirir. Bu, düşük performans gösteren kategorilerin (bisikletler veya sokak işaretleri gibi) belirlenmesini ve modelin buna göre ince ayarlanmasını kolaylaştırır.

mAP metriğini kullanmanın çeşitli faydaları olsa da dikkate alınması gereken bazı sınırlamalar vardır. Göz önünde bulundurulması gereken birkaç faktör şunlardır:

• Teknik olmayan paydaşlar için zor: İş veya klinik ekipleri, daha sezgisel ve anlaşılması kolay metriklerin aksine mAP değerlerini soyut bulabilir.

• Gerçek zamanlı kısıtlamaları yansıtmaz: mAP, zamana duyarlı uygulamalarda dağıtım için kritik olan çıkarım hızını veya gecikmeyi hesaba katmaz.

Önemli çıkarımlar#

Ortalama kesinliğin yalnızca teknik bir puan değil, bir modelin gerçek dünyadaki potansiyel performansının da yansıması olduğunu gördük. İster otonom bir araç sisteminde ister perakende kasasında olsun, yüksek bir mAP puanı modelin performansının ve pratik kullanıma hazır oluşunun güvenilir bir göstergesidir.

mAP temel ve etkili bir metrik olsa da kapsamlı bir değerlendirme stratejisinin parçası olarak görülmelidir. Sağlık hizmetleri ve otonom sürüş gibi kritik uygulamalarda yalnızca mAP'ye güvenmek yeterli değildir.

Sistemin güvenli, verimli ve kullanım amacına gerçekten uygun olmasını sağlamak için çıkarım hızı (modelin tahminleri ne kadar hızlı yaptığı), model boyutu (uç cihazlarda dağıtımı etkiler) ve nitel hata analizi (modelin yaptığı hata türlerini anlama) gibi ek faktörler de dikkate alınmalıdır.

Bilgisayarlı görü hakkında daha fazla bilgi edinmek için büyüyen topluluğumuza ve GitHub depomuza katıl. Tarımda bilgisayarlı görü ve lojistikte yapay zekâ uygulamaları hakkında bilgi edinmek için çözümler sayfalarımızı incele. Kendi bilgisayarlı görü modelinle bugün çalışmaya başlamak için lisanslama seçeneklerimize göz at!