Yeniliklerinin etkisini değerlendirmek için yapay zekâ performansını ölçme

Daha önce yapay zekânın sağlık, üretim ve turizm gibi farklı sektörlerde nasıl kullanılabileceğini inceledik. Ayrıca yapay zekânın günlük iş görevlerini nasıl iyileştirebileceğine baktık ve öne çıkan yapay zekâ iş fikirlerini ele aldık. Tüm bu tartışmalar kaçınılmaz olarak aynı temel soruya yöneliyor: Bu tür yapay zekâ uygulamalarının başarısını nasıl ölçebiliriz? Bu önemli bir soru çünkü yapay zekâ çözümlerini devreye almak tek başına yeterli değil. Bu çözümlerin gerçekten sonuç verdiğinden emin olmak, onları değerli kılan şeydir.

Bir yapay zekâ modelinin süreçleri daha verimli hâle getirmede, yenilikleri teşvik etmede veya sorunları çözmede gerçekten etkili olup olmadığını belirlemek için yapay zekâ performans metriklerini ölçebiliriz. Doğru temel performans göstergelerine (KPI'lar) odaklanarak bir yapay zekâ çözümünün ne kadar iyi çalıştığını ve nerelerde iyileştirilmesi gerekebileceğini anlayabiliriz.

Bu makalede, yapay zekâ uygulamalarının başarısını en ilgili KPI'larla nasıl ölçeceğimizi inceleyeceğiz. İşletme KPI'ları ile yapay zekâ performans KPI'ları arasındaki farkları ele alacak, kesinlik ve duyarlılık gibi temel metrikleri gözden geçirecek ve belirli yapay zekâ çözümlerin için en uygun KPI'ları seçmene yardımcı olacağız.

Yapay zekâ işletme KPI'ları ile yapay zekâ performans KPI'ları arasındaki fark#

Şekil 1. AI İş KPI'ları ile AI Performans KPI'larının karşılaştırması.

Temel performans göstergelerini (KPI) düşündüğünde, özellikle kurumsal yapay zekâdan bahsederken bunların yatırım getirisi (ROI), maliyet tasarrufu veya elde edilen gelir gibi işletme ölçütleriyle ilgili olduğunu varsaymak doğaldır. Bu yapay zekâ iş KPI'ları, yapay zekânın şirketin genel başarısını nasıl etkilediğini ölçer ve daha geniş iş hedefleriyle uyum sağlar.

Buna karşılık yapay zekâ performans KPI'ları; doğruluk, kesinlik ve duyarlılık gibi ölçütlerle yapay zekâ sisteminin ne kadar iyi çalıştığına odaklanır. Bu ölçütlerin ayrıntılarına aşağıda değineceğiz; ancak özetle, iş KPI'ları yapay zekânın finansal ve stratejik faydalarını gösterirken performans KPI'ları bir yapay zekâ modelinin görevini etkili biçimde yerine getirmesini sağlar.

Bazı ölçütler her iki amaca da hizmet edebilir. Örneğin, bir görevi tamamlamak için gereken süre veya kaynaklardaki azalma gibi verimlilik artışları hem performans KPI'ı (yapay zekâ çözümünün ne kadar iyi çalıştığını gösterir) hem de iş KPI'ı (maliyet tasarrufunu ve üretkenlik artışını ölçer) olabilir. Müşteri memnuniyeti de iki alanı kesen başka bir ölçüttür. Yapay zekâ destekli müşteri hizmetleri aracının başarısını hem teknik performansı hem de genel iş hedefleri üzerindeki etkisi bakımından yansıtabilir.

Temel AI performans ölçütlerini anlama#

Bir AI modelinin ne kadar iyi performans gösterdiğini ölçmek için kullanılan birkaç yaygın ölçüt vardır. Önce tanımlarına ve nasıl hesaplandıklarına göz atacağız. Ardından bu ölçütlerin nasıl izlenebileceğini göreceğiz.

Kesinlik#

Kesinlik, bir yapay zekâ modelinin doğru pozitifleri (modelin bir nesneyi veya durumu olması gerektiği gibi doğru tanımladığı örnekleri) ne kadar doğru belirlediğini ölçen bir metriktir. Örneğin bir yüz tanıma sisteminde, sistemin tespit etmek üzere eğitildiği bir kişinin yüzünü doğru tanıyıp belirlemesi doğru pozitif sayılır.

Kesinliği hesaplamak için önce doğru pozitiflerin sayısını bul. Ardından bunu, modelin pozitif olarak etiketlediği toplam öğe sayısına bölebilirsin. Bu toplam, hem doğru tanımlamaları hem de yanlış pozitif adı verilen hataları içerir. Kesinlik, modelin bir şeyi tanıdığını iddia ettiğinde ne sıklıkla haklı olduğunu gösterir.

Şekil 2. Kesinliği anlama.

Yanlış pozitiflerin maliyetli veya aksatıcı sonuçlara yol açabileceği senaryolarda bu ölçüt özellikle önemlidir. Örneğin, otomatik üretimde yüksek kesinlik oranı, sistemin kusurlu ürünleri daha isabetli biçimde işaretleyebildiğini ve iyi ürünlerin gereksiz yere atılmasını ya da yeniden işlenmesini önleyebildiğini gösterir. Bir başka iyi örnek de güvenlik gözetimidir. Yüksek kesinlik, yanlış alarmları en aza indirmeye ve yalnızca güvenlik müdahalesi gerektiren gerçek tehditlere odaklanmaya yardımcı olur.

Duyarlılık#

Duyarlılık, bir AI modelinin veri kümesindeki tüm ilgili örnekleri, yani doğru pozitifleri belirleme becerisini ölçmeye yardımcı olur. Basitçe ifade etmek gerekirse, bir AI sisteminin tespit etmek üzere tasarlandığı durum veya nesneyle ilgili tüm gerçek örnekleri ne kadar iyi yakaladığını gösterir. Duyarlılık, doğru tespitlerin sayısının tespit edilmesi gereken toplam pozitif örnek sayısına bölünmesiyle hesaplanabilir (bu toplam, modelin doğru belirlediği ve kaçırdığı örneklerin her ikisini de içerir).

Kanser tespiti için kullanılan AI destekli bir tıbbi görüntüleme sistemini ele alalım. Bu bağlamda duyarlılık, sistemin gerçek kanser vakalarının yüzde kaçını doğru belirlediğini gösterir. Kanser tanısının atlanması hasta bakımı açısından ciddi sonuçlara yol açabileceğinden, bu tür senaryolarda yüksek duyarlılık hayati önem taşır.

Kesinlik ve duyarlılık#

Bir yapay zekâ modelinin performansını değerlendirirken kesinlik ve duyarlılık madalyonun iki yüzü gibidir ve çoğu zaman aralarında denge kurmak gerekir. Zorluk şu ki bir metriği iyileştirmek çoğu zaman diğerinden ödün verilmesine yol açabilir.

Diyelim ki daha yüksek kesinlik hedefliyorsun. Model daha seçici hâle gelebilir ve yalnızca pozitif olduğundan çok emin olduğu örnekleri belirleyebilir. Öte yandan, duyarlılığı artırmayı hedeflersen model daha fazla pozitif belirleyebilir; ancak bunların arasında daha fazla yanlış pozitif bulunabilir ve sonuçta kesinlik düşebilir.

Önemli olan, uygulamanın özel gereksinimlerine göre kesinlik ve duyarlılık arasında doğru dengeyi bulmaktır. Bunun için kullanışlı bir araç olan kesinlik-duyarlılık eğrisi, farklı eşiklerde bu iki metrik arasındaki ilişkiyi gösterir. Bu eğriyi analiz ederek modelin kullanım senaryon için en iyi performansı gösterdiği optimum noktayı belirleyebilirsin. Bu ödünleşimi anlamak, modelleri amaçlanan kullanım alanlarında en iyi performansı gösterecek şekilde ince ayarlarken yardımcı olur.

Şekil 3. Kesinlik-Duyarlılık eğrisi örneği.

Ortalama ortalama kesinlik (mAP)#

Ortalama kesinlik ortalaması (mAP), modelin bir görüntüdeki birden fazla nesneyi tanımlayıp sınıflandırması gereken nesne algılama gibi görevlerde yapay zekâ modellerinin performansını değerlendirmek için kullanılan bir metriktir. mAP, modelin tanımak üzere eğitildiği tüm farklı kategorilerde ne kadar iyi performans gösterdiğini tek bir puanla ifade eder. Nasıl hesaplandığına bakalım.

Kesinlik-duyarlılık eğrisinin altındaki alan, o sınıf için ortalama kesinliği (AP) verir. AP, farklı güven düzeylerinde (güven düzeyi, modelin tahminlerinden ne kadar emin olduğunu ifade eder) hem kesinliği hem de duyarlılığı dikkate alarak modelin belirli bir sınıf için ne kadar doğru tahmin yaptığını ölçer. Her sınıf için AP hesaplandıktan sonra bu AP değerlerinin tüm sınıflar üzerinden ortalaması alınarak mAP belirlenir.

Şekil 4. Çeşitli sınıfların ortalama kesinlik değerleri.

mAP, yayalar, araçlar ve trafik işaretleri gibi birden fazla nesnenin aynı anda tespit edilmesi gereken otonom sürüş gibi uygulamalarda kullanışlıdır. Yüksek mAP puanı, modelin tüm kategorilerde tutarlı biçimde iyi performans gösterdiği, dolayısıyla çok çeşitli senaryolarda güvenilir ve isabetli olduğu anlamına gelir.

Performans ölçütlerini kolayca hesapla#

Temel AI performans ölçütlerini hesaplama formülleri ve yöntemleri göz korkutucu görünebilir. Ancak Ultralytics paketi gibi araçlar bu işlemi basit ve hızlı hâle getirebilir. İster nesne tespiti, ister segmentasyon ya da sınıflandırma görevleri üzerinde çalışıyor ol, Ultralytics kesinlik, duyarlılık ve ortalama ortalama kesinlik (mAP) gibi önemli ölçütleri hızlıca hesaplamak için gereken araçları sunar.

Ultralytics ile performans ölçütlerini hesaplamaya başlamak için Ultralytics paketini aşağıda gösterildiği gibi yükleyebilirsin.

pip install ultralytics

Bu örnekte, performans ölçütlerini doğrulamak için önceden eğitilmiş bir YOLOv8 modelini yükleyip kullanacağız; ancak Ultralytics tarafından sunulan desteklenen modellerden herhangi birini yükleyebilirsin. Bunu şu şekilde yapabilirsin:

from ultralytics import YOLO

# Önceden eğitilmiş bir YOLOv8 modelini yükle
model = YOLO("yolov8n.pt")

Model yüklendikten sonra veri kümen üzerinde doğrulama yapabilirsin. Aşağıdaki kod parçacığı kesinlik, duyarlılık ve mAP dahil çeşitli performans ölçütlerini hesaplamana yardımcı olur:

# Modeli bir veri kümesinde doğrula (COCO8 küçük bir örnek veri kümesidir)
metrics = model.val(data="coco8.yaml")

print(metrics.box.mp)  # ortalama kesinlik
print(metrics.box.mr)  # ortalama duyarlılık
print(metrics.box.map50)  # IoU 0,5 değerinde mAP
print(metrics.box.map)  # mAP50-95

Ultralytics gibi araçları kullanmak, performans ölçütlerinin hesaplanmasını çok daha kolay hâle getirir; böylece değerlendirme sürecinin ayrıntılarıyla uğraşmak yerine modelini geliştirmeye daha fazla zaman ayırabilirsin.

Dağıtımdan sonra AI performansı nasıl ölçülür?#

AI modelini geliştirirken kontrollü bir ortamda performansını test etmek kolaydır. Ancak model dağıtıldıktan sonra işler daha karmaşık hâle gelebilir. Neyse ki dağıtım sonrasında AI çözümünü izlemene yardımcı olabilecek araçlar ve en iyi uygulamalar var.

Prometheus, Grafana ve Evidently AI gibi araçlar modelinin performansını sürekli izlemek için tasarlanmıştır. Gerçek zamanlı içgörüler sunabilir, anormallikleri tespit edebilir ve olası sorunlar konusunda seni uyarabilirler. Bu araçlar, üretimdeki AI modellerinin dinamik yapısına uyum sağlayan otomatik ve ölçeklenebilir çözümler sunarak geleneksel izlemenin ötesine geçer.

Dağıtımdan sonra AI modelinin başarısını ölçmek için şu en iyi uygulamaları takip et:

• Net performans ölçütleri belirle: Modelinin ne kadar iyi çalıştığını düzenli olarak kontrol etmek için doğruluk, kesinlik ve yanıt süresi gibi temel ölçütlere karar ver.
• Veri kaymasını düzenli olarak kontrol et: Modelinin işlediği verilerdeki değişiklikleri takip et; bu değişiklikler doğru yönetilmezse tahminlerini etkileyebilir.
• A/B testleri yap: Mevcut modelinin performansını yeni sürümlerle veya değişikliklerle karşılaştırmak için A/B testi kullan. Böylece model davranışındaki iyileşmeleri veya gerilemeleri nicel olarak değerlendirebilirsin.
• Performansı belgele ve denetle: Performans ölçütlerinin ve yapay zekâ sisteminde yapılan değişikliklerin ayrıntılı kayıtlarını tut. Bu, denetimler ve mevzuata uyum için olduğu kadar model mimarini zaman içinde iyileştirmek açısından da çok önemlidir.

En uygun AI KPI'larını seçmek yalnızca başlangıçtır#

Bir AI çözümünü başarıyla dağıtmak ve yönetmek, doğru KPI'ları seçip güncel tutmaya bağlıdır. Genel olarak, AI çözümünün hem teknik açıdan hem de iş etkisi bakımından ne kadar iyi performans gösterdiğini vurgulayan ölçütleri seçmek hayati önem taşır. Teknolojik gelişmeler veya iş stratejindeki değişiklikler gibi koşullar değiştikçe bu KPI'ları yeniden gözden geçirmek ve düzenlemek önemlidir.

Performans değerlendirmelerini dinamik tutarak yapay zekâ sisteminin güncel ve etkili kalmasını sağlayabilirsin. Bu ölçütleri yakından takip ederek operasyonlarını iyileştirmene yardımcı olacak değerli bilgiler edinirsin. Proaktif bir yaklaşım, yapay zekâ çalışmalarının gerçekten değerli olmasını ve işini ileri taşımasını sağlamaya yardımcı olur!

Topluluğumuza katıl ve bizimle birlikte yenilik yap! Yapay zekâ alanındaki gelişmelerimizi görmek için GitHub depomuzu incele. Görsel yapay zekâyla üretim ve sağlık gibi sektörleri nasıl dönüştürdüğümüzü öğren.