Nesne algılamada ortalama hassasiyet (mAP)

Yapay zeka benimsenmesi hızla artıyor ve yapay zeka; sürücüsüz araçlardan raflardaki ürünleri tanımlayabilen perakende sistemlerine kadar çeşitli inovasyonlara entegre ediliyor. Bu teknolojiler, makinelerin görsel verileri analiz etmesini sağlayan bir yapay zeka (YZ) dalı olan bilgisayarlı görüye dayanır.

Bilgisayarlı görü sistemlerinin ve algoritmalarının doğruluğunu ölçmek için kullanılan temel bir değerlendirme metriği ortalama duyarlılıktır (mAP). mAP metriği, bir görü yapay zeka modelinin tahmininin gerçek dünya sonuçlarıyla ne kadar yakından eşleştiğini gösterir.

Yaygın bir bilgisayarlı görü görevi, bir modelin görüntüdeki birden fazla nesneyi tanımlayıp etraflarına sınırlayıcı kutular çizdiği nesne algılamadır. mAP, nesne algılama modellerinin performansını değerlendirmek için kullanılan standart metriktir ve Ultralytics YOLO11 gibi derin öğrenme modellerini kıyaslamak için yaygın olarak kullanılır.

Bu makalede, ortalama duyarlılığın nasıl hesaplandığını ve nesne algılama modelleri eğiten veya değerlendiren herkes için neden önemli olduğunu göreceğiz. Hadi başlayalım!

Link to this sectionOrtalama duyarlılık (mAP) nedir?#

Ortalama duyarlılık, bir görüntüdeki farklı nesneleri saptama ve tanımlama gibi görsel bilgi geri kazanımı ile ilgili görevlerde bir derin öğrenme modelinin ne kadar doğru olduğunu gösteren bir puandır. Örneğin, bir köpek, bir kedi ve bir araba içeren fotoğrafı analiz eden bir nesne algılama modelini düşün. Güvenilir bir model, her nesneyi tanıyıp etrafına sınırlayıcı kutular ve etiketler çizerek nesne algılama yapabilir; böylece nesnenin nerede olduğunu ve ne olduğunu vurgular.

mAP, modelin bu görevi birçok görüntü ve farklı nesne türü üzerinde ne kadar iyi gerçekleştirdiğini gösterir. Modelin her nesneyi ve görüntü içindeki konumunu doğru bir şekilde tanımlayıp tanımlamadığını kontrol eder. Puan 0 ile 1 arasında değişir; bir, modelin her şeyi mükemmel bir şekilde bulduğu anlamına gelirken, sıfır ise hiçbir nesneyi algılayamadığı anlamına gelir.

Link to this sectionOrtalama duyarlılıktaki (mAP) temel kavramlar#

Makine öğreniminde ortalama duyarlılığın arkasındaki kavramları keşfetmeden önce, iki temel terimi daha iyi anlayalım: gerçek değerler (ground truth) ve tahminler.

Gerçek değerler (ground truth), görüntüdeki nesnelerin ve konumlarının insanlar tarafından açıklama (annotation) olarak bilinen bir süreçle dikkatlice etiketlendiği doğru referans verilerini ifade eder. Bu arada tahminler, yapay zeka modellerinin bir görüntüyü analiz ettikten sonra verdiği sonuçlardır. Yapay zeka modelinin tahminlerini gerçek değerlerle karşılaştırarak, modelin doğru sonuçlara ne kadar yaklaştığını ölçebiliriz.

Şekil 1. Model tahmini ve gerçek değer sınırlayıcı kutular. Görsel yazar tarafından hazırlanmıştır.

Link to this sectionKarmaşıklık matrisi (Confusion matrix)#

Bir karmaşıklık matrisi, bir nesne algılama modelinin ne kadar kesin olduğunu anlamak için sıklıkla kullanılır. Modelin tahminlerinin gerçek doğru cevaplarla (gerçek değerler) nasıl eşleştiğini gösteren bir tablodur. Bu tablodan, dört temel bileşenin veya sonucun dökümünü alabiliriz: doğru pozitifler, yanlış pozitifler, yanlış negatifler ve doğru negatifler.

İşte bu bileşenlerin karmaşıklık matrisinde temsil ettikleri:

• Doğru pozitif (TP): Bir nesne ve konumu, model tarafından doğru bir şekilde algılanmıştır.
• Yanlış pozitif (FP): Model bir algılama yapmıştır, ancak bu yanlıştır.
• Yanlış negatif (FN): Aslında görüntüde bulunan bir nesne, ancak model bunu algılayamamıştır.
• Doğru negatif (TN): Doğru negatifler, model bir nesnenin yokluğunu doğru bir şekilde tanımladığında meydana gelir.

Doğru negatifler, genellikle görüntüdeki boş bölgeleri göz ardı ettiğimiz için nesne algılamada yaygın olarak kullanılmaz. Ancak, modelin görüntüye bir etiket atadığı görüntü sınıflandırma gibi diğer bilgisayarlı görü görevlerinde önemlidir. Örneğin, görev bir görüntünün kedi içerip içermediğini algılamaksa ve model görüntüde kedi bulunmadığında doğru bir şekilde "kedi yok" sonucunu verirse, bu bir doğru negatiftir.

Şekil 2. Bir karmaşıklık matrisindeki sınıflandırma sonuçları. Görsel yazar tarafından hazırlanmıştır.

Link to this sectionKesişim üzerinden Birlik (IoU)#

Nesne algılama modellerini değerlendirmede bir diğer hayati metrik Kesişim üzerinden Birlik (IoU) değeridir. Bu tür görü yapay zeka modelleri için, görüntüdeki bir nesnenin varlığını basitçe algılamak yeterli değildir; sınırlayıcı kutular çizmek için görüntüde nerede olduğunu da konumlandırması gerekir.

IoU metriği, modelin tahmin ettiği kutunun gerçek, doğru kutuyla (gerçek değerler) ne kadar yakından eşleştiğini ölçer. Puan 0 ile 1 arasındadır; burada 1 mükemmel bir eşleşme, 0 ise hiç örtüşme olmadığı anlamına gelir.

Örneğin, daha yüksek bir IoU (0,80 veya 0,85 gibi), tahmin edilen kutunun gerçek değer kutusuyla yakın bir eşleşme olduğu ve bunun da doğru yerelleştirmeyi işaret ettiği anlamına gelir. Daha düşük bir IoU (0,30 veya 0,25 gibi), modelin nesneyi doğru bir şekilde konumlandıramadığı anlamına gelir.

Bir algılamanın başarılı olup olmadığını belirlemek için farklı eşikler kullanırız. Yaygın bir IoU eşiği 0,5'tir; bu, tahmin edilen bir kutunun doğru pozitif olarak sayılması için gerçek değer kutusuyla en az %50 örtüşmesi gerektiği anlamına gelir. Bu eşiğin altındaki herhangi bir örtüşme yanlış pozitif olarak kabul edilir.

Şekil 3. Kesişim üzerinden Birliği anlamak. Görsel yazar tarafından hazırlanmıştır.

Link to this sectionDuyarlılık (Precision) ve anımsama (Recall)#

Şimdiye kadar, nesne algılama modellerinin performansını anlamak için bazı temel değerlendirme metriklerini keşfettik. Bunun üzerine inşa edilen en önemli iki metrik duyarlılık ve anımsamadır. Bize, modelin algılamalarının ne kadar doğru olduğuna dair net bir resim sunarlar. Bunların ne olduğuna bir göz atalım.

Duyarlılık değerleri, modelin tahminlerinin kaçının gerçekten doğru olduğunu söyler. Şu soruyu yanıtlar: Modelin algıladığını iddia ettiği tüm nesnelerden kaçı gerçekten oradaydı?

Anımsama değerleri ise modelin görüntüde bulunan tüm gerçek nesneleri ne kadar iyi bulduğunu ölçer. Şu soruyu yanıtlar: Görüntüdeki tüm gerçek nesnelerin kaçını model doğru bir şekilde algıladı?

Duyarlılık ve anımsama birlikte, modelin ne kadar iyi performans gösterdiğine dair daha net bir resim sunar. Örneğin, bir model bir görüntüde 10 araba tahmin ediyorsa ve bunların 9'u gerçekten arabaysa, %90 duyarlılığa (pozitif bir tahmin) sahiptir.

Bu iki değerlendirme metriği genellikle bir ödünleşim (trade-off) içerir: bir model, sadece tamamen emin olduğu tahminleri yaparak yüksek bir duyarlılık değeri elde edebilir, ancak bu durum birçok nesneyi kaçırmasına neden olabilir ve bu da anımsama seviyesini düşürür. Bu arada, neredeyse her yere bir sınırlayıcı kutu tahmin ederek çok yüksek anımsamaya da ulaşabilir, ancak bu da duyarlılığı azaltır.

Şekil 4. Duyarlılık ve anımsama. Görsel yazar tarafından hazırlanmıştır.

Link to this sectionOrtalama duyarlılık (Average precision)#

Duyarlılık ve anımsama, modelin bireysel tahminlerde nasıl performans gösterdiğini anlamamıza yardımcı olurken, ortalama duyarlılık (AP) daha geniş bir bakış açısı sağlayabilir. Modelin daha fazla nesneyi algılamaya çalıştıkça duyarlılığının nasıl değiştiğini gösterir ve performansını tek bir sayıda özetler.

Ortalama duyarlılık puanını hesaplamak için, önce her nesne türü için duyarlılık-anımsama eğrisi (veya PR eğrisi) adı verilen birleşik grafik benzeri bir metrik oluşturabiliriz. Bu eğri, model daha fazla tahmin yaptıkça neler olduğunu gösterir.

Modelin sadece en kolay veya en belirgin nesneleri algılayarak başladığı bir senaryo düşün. Bu aşamada, çoğu tahmin doğru olduğu için duyarlılık yüksektir ancak birçok nesne hala kaçırıldığı için anımsama düşüktür. Model daha zor veya nadir olanlar da dahil olmak üzere daha fazla nesneyi algılamaya çalıştıkça, genellikle daha fazla hata yapar. Bu durum, anımsama artarken duyarlılığın düşmesine neden olur.

Ortalama duyarlılık, eğrinin altındaki alandır (PR eğrisinin AUC'si). Daha büyük bir alan, modelin daha fazla nesneyi algılarken bile tahminlerini doğru tutmada daha iyi olduğu anlamına gelir. AP, her sınıf etiketi için ayrı ayrı hesaplanır.

Örneğin, araba, bisiklet ve yayaları algılayabilen bir modelde, bu üç kategorinin her biri için AP değerlerini ayrı ayrı hesaplayabiliriz. Bu, modelin hangi nesneleri algılamada iyi olduğunu ve nerede hala iyileştirmeye ihtiyaç duyabileceğini görmemize yardımcı olur.

Şekil 5. Beş farklı sınıf için bir PR eğrisi. (Kaynak)

Link to this sectionOrtalama duyarlılık (Mean average precision)#

Her nesne sınıfı için ortalama duyarlılığı hesapladıktan sonra, modelin tüm sınıflardaki genel performansını yansıtan tek bir puana hala ihtiyacımız vardır. Bu, ortalama duyarlılık formülü kullanılarak elde edilebilir. Her kategori için AP puanlarının ortalamasını alır.

Örneğin, YOLO11 gibi bir bilgisayarlı görü modelinin arabalar için 0,827, motosikletler için 0,679, kamyonlar için 0,355, otobüsler için 0,863 ve bisikletler için 0,982 AP elde ettiğini varsayalım. mAP formülünü kullanarak, bu sayıları toplayıp toplam sınıf sayısına şu şekilde bölebiliriz:

mAP = (0,827 + 0,679 + 0,355 + 0,863 + 0,982) ÷ 5 = 0,7432 ≈ 0,743

0,743'lük mAP puanı, modelin tüm nesne sınıflarında ne kadar iyi performans gösterdiğini değerlendirmek için basit bir çözüm sunar. 1'e yakın bir değer, modelin çoğu kategori için doğru olduğu anlamına gelirken, daha düşük bir değer bazı kategorilerde zorlandığını gösterir.

Link to this sectionBilgisayarlı görüde AP ve mAP'nin önemi#

Artık AP ve mAP'nin nasıl hesaplandığı ve bileşenlerinin neler olduğu konusunda daha iyi bir anlayışa sahip olduğumuza göre, bilgisayarlı görüdeki önemlerine genel bir bakış:

• Belirli bir sınıf için düşük AP: Tek bir sınıf için düşük bir AP, genellikle modelin o belirli nesne sınıfında zorlandığı anlamına gelir. Bu, yetersiz eğitim verisinden veya örtülme gibi görüntülerdeki görsel zorluklardan kaynaklanabilir.

• Yerelleştirme hataları: Daha düşük bir IoU eşiğinde (mAP@0,50 gibi) daha yüksek bir mAP değeri, daha yüksek bir IoU eşiğinde (mAP@0,75 gibi) önemli bir düşüşle birleştiğinde, modelin nesneleri algılayabildiğini ancak bunları hassas bir şekilde yerelleştirmekte zorlandığını gösterir.

• Aşırı öğrenme (Overfitting): Eğitim veri setinde daha yüksek bir mAP değeri ancak doğrulama veri setinde daha düşük bir mAP değeri, aşırı öğrenmenin bir işaretidir ve bu durum modeli yeni görüntüler için güvenilmez kılar.

Link to this sectionOrtalama duyarlılığın gerçek dünya uygulamaları#

Ardından, mAP gibi temel metriklerin gerçek dünya bilgisayarlı görü kullanım durumları oluşturulurken nasıl yardımcı olabileceğini keşfedelim.

Link to this sectionOtonom araçlar: Neden daha yüksek bir mAP değeri daha güvenli yollar demektir#

Sürücüsüz araçlar söz konusu olduğunda, nesne algılama yayaları, trafik işaretlerini, bisikletlileri ve şerit çizgilerini tanımlamak için çok önemlidir. Örneğin, bir çocuk aniden yola fırlarsa, aracın nesneyi (çocuk) algılaması, nerede olduğunu konumlandırması, hareketini takip etmesi ve gerekli işlemi (fren yapması) gerçekleştirmesi için saniyeleri vardır.

YOLO11 gibi modeller, bu tür yüksek riskli senaryolarda gerçek zamanlı nesne algılama için tasarlanmıştır. Bu durumlarda, mAP kritik bir güvenlik ölçütü haline gelir.

Yüksek bir mAP puanı, sistemin çocuğu hızlı bir şekilde algılamasını, hassas bir şekilde yerelleştirmesini ve minimum gecikmeyle fren yapmasını sağlar. Düşük bir mAP, kaçırılan algılamalar veya çocuğu başka bir küçük nesneyle karıştırmak gibi tehlikeli yanlış sınıflandırmalar anlamına gelebilir.

Şekil 6. YOLO11'in yoldaki yayaları algılamak için kullanıldığı bir örnek. (Kaynak)

Link to this sectionDoğru ürün algılama için mAP kullanımı#

Benzer şekilde, perakende alanında, nesne algılama modelleri stok izleme ve ödeme süreçleri gibi görevleri otomatikleştirmek için kullanılabilir. Bir müşteri kendi kendine ödeme kasasında bir ürünü tarattığında, algılamadaki bir hata hayal kırıklığına neden olabilir.

Yüksek bir mAP puanı, modelin benzer ürünleri doğru bir şekilde ayırt etmesini ve ürünler sıkışık bir şekilde dizilmiş olsa bile hassas sınırlayıcı kutular çizmesini sağlar. Düşük bir mAP puanı karışıklıklara yol açabilir. Örneğin, model bir portakal suyu şişesini görsel olarak benzer bir elma suyu şişesiyle karıştırırsa, bu yanlış faturalandırmaya ve hatalı envanter raporlarına yol açabilir.

YOLO11 gibi modellerle entegre perakende sistemleri, ürünleri gerçek zamanlı olarak algılayabilir, envanterle karşılaştırabilir ve arka uç sistemlerini anında güncelleyebilir. Hızlı ilerleyen perakende ortamlarında mAP, operasyonları doğru ve güvenilir tutmada önemli bir rol oynar.

Link to this sectionSağlık hizmetlerinde yüksek mAP ile tanısal doğruluğu artırma#

Sağlık hizmetlerinde tanısal doğruluğu iyileştirmek, tıbbi görüntülemede hassas algılama ile başlar. YOLO11 gibi modeller, radyologların o tıbbi taramalardan tümörleri, kırıkları veya diğer anomalileri tespit etmesine yardımcı olabilir. Burada ortalama duyarlılık, bir modelin klinik güvenilirliğini değerlendirmek için önemli bir metriktir.

Yüksek bir mAP, modelin hem yüksek anımsama (gerçek sorunların çoğunu tanımlama) hem de yüksek duyarlılık (yanlış alarmlardan kaçınma) elde ettiğini gösterir; bu da klinik karar vermede kritiktir. Ayrıca, sağlık hizmetlerinde IoU eşiği, son derece doğru algılamayı sağlamak için genellikle çok yüksek (0,85 veya 0,90) ayarlanır.

Ancak, düşük bir mAP puanı endişeleri artırabilir. Diyelim ki bir model bir tümörü kaçırdı; bu durum tanıyı geciktirebilir veya yanlış tedaviye yol açabilir.

Link to this sectionmAP kullanmanın avantajları ve dezavantajları#

İşte nesne algılama modellerini değerlendirmek için ortalama duyarlılık kullanmanın temel avantajları:

• Standartlaştırılmış metrik: mAP, nesne algılama modellerini değerlendirmek için endüstri standardıdır. mAP değeri, farklı modeller arasında adil ve tutarlı karşılaştırmalar yapılmasını sağlar.

• Gerçek dünya performansını yansıtır: Yüksek bir mAP, modelin çeşitli nesne sınıflarını algılamada mükemmel olduğunu ve karmaşık, gerçek dünya senaryolarında güçlü performans sergilediğini gösterir.

• Sınıf bazlı tanılama: Bir mAP puanı, her sınıf için algılama performansını ayrı ayrı değerlendirir. Bu, düşük performans gösteren kategorileri (bisikletler veya trafik işaretleri gibi) tanımlamayı ve modeli buna göre ince ayarlamayı kolaylaştırır.

mAP metriğini kullanmanın çeşitli faydaları olsa da, göz önünde bulundurulması gereken bazı sınırlamalar da vardır. İşte hesaba katılması gereken birkaç faktör:

• Teknik olmayan paydaşlar için zor: İş veya klinik ekipler, daha sezgisel ve anlaşılması kolay metriklerin aksine mAP değerlerini soyut bulabilir.

• Gerçek zamanlı kısıtlamaları yansıtmaz: mAP, zaman duyarlı uygulamalarda dağıtım için çok önemli olan çıkarım hızını veya gecikmeyi hesaba katmaz.

Link to this sectionÖne çıkanlar#

Ortalama duyarlılığın sadece teknik bir puan değil, bir modelin potansiyel gerçek dünya performansının bir yansıması olduğunu gördük. İster otonom bir araç sisteminde ister bir perakende ödeme noktasında olsun, yüksek bir mAP puanı, modelin performansı ve pratik hazırlığı için güvenilir bir gösterge görevi görür.

mAP önemli ve etkili bir metrik olsa da, çok yönlü bir değerlendirme stratejisinin parçası olarak görülmelidir. Sağlık hizmetleri ve otonom sürüş gibi kritik uygulamalar için, sadece mAP'ye güvenmek yeterli değildir.

Sistemin güvenli, verimli ve amaçlanan kullanım için gerçekten uygun olduğundan emin olmak adına çıkarım hızı (modelin tahminleri ne kadar hızlı yaptığı), model boyutu (uç cihazlarda dağıtımı etkileyen) ve nitel hata analizi (modelin yaptığı hata türlerini anlamak) gibi ek faktörler de göz önünde bulundurulmalıdır.

Bilgisayarlı görü hakkında daha fazla bilgi edinmek için büyüyen topluluğumuza ve GitHub depomuza katıl. Tarımda bilgisayarlı görü ve lojistikte yapay zeka uygulamaları hakkında bilgi edinmek için çözüm sayfalarımızı keşfet. Kendi bilgisayarlı görü modelinle hemen başlamak için lisans seçeneklerimize göz at!