Yeniliklerinin etkisini değerlendirmek için yapay zeka performansını ölçme

Daha önce yapay zekânın sağlık, üretim ve turizm gibi farklı sektörlerde nasıl kullanılabileceğini inceledik. Ayrıca yapay zekânın günlük iş görevlerini nasıl iyileştirebileceğini ele aldık ve önde gelen yapay zekâ iş fikirlerini tartıştık. Tüm bu tartışmalar kaçınılmaz olarak aynı temel soruya yöneliyor: Bu tür yapay zekâ uygulamalarının başarısını nasıl ölçebiliriz? Bu önemli bir soru, çünkü yapay zekâ çözümlerini yalnızca devreye almak yeterli değil. Bu çözümlerin gerçekten sonuç sağladığından emin olmak, onları oyunun kurallarını değiştiren çözümler hâline getirir.

Bir yapay zekâ modelinin süreçleri gerçekten daha verimli hâle getirip getirmediğini, yeniliği teşvik edip etmediğini veya sorunları çözüp çözmediğini belirlemek için yapay zekâ performans metriklerini ölçebiliriz. Doğru temel performans göstergelerine (KPIs) odaklanarak bir yapay zekâ çözümünün ne kadar iyi çalıştığını ve nerelerde iyileştirme gerekebileceğini anlayabiliriz.

Bu makalede, en ilgili temel performans göstergeleriyle yapay zekâ uygulamalarının başarısının nasıl ölçüleceğine göz atacağız. İşletme KPI'ları ile yapay zekâ performansı KPI'ları arasındaki farkları ele alacak, kesinlik ve geri çağırma gibi metrikleri inceleyecek ve özel yapay zekâ çözümlerin için en iyi KPI'ları seçmene yardımcı olacağız.

Yapay zekâ işletme KPI'ları ile yapay zekâ performansı KPI'ları arasındaki fark#

Şekil 1. Yapay zekâ işletme KPI'ları ile yapay zekâ performansı KPI'larının karşılaştırması.

KPI'ları düşündüğünde, özellikle kurumsal yapay zekâdan söz ederken bunların yatırım getirisi (ROI), maliyet tasarrufu veya elde edilen gelir gibi işletme metrikleriyle ilgili olduğunu varsayman doğaldır. Bu yapay zekâ işletme KPI'ları, yapay zekânın bir şirketin genel başarısını nasıl etkilediğini ölçer ve daha geniş kapsamlı iş hedefleriyle uyumludur.

Bununla birlikte, yapay zekâ performansı KPI'ları; doğruluk, kesinlik ve geri çağırma gibi metrikleri kullanarak yapay zekâ sisteminin kendisinin ne kadar iyi çalıştığına odaklanır. Bu metriklerin ayrıntılarına aşağıda gireceğiz; ancak özünde işletme KPI'ları yapay zekânın finansal ve stratejik faydalarını ortaya koyarken, performans KPI'ları bir yapay zekâ modelinin görevini etkili biçimde yerine getirdiğinden emin olur.

Bazı metrikler aslında her iki amaca da hizmet edebilir. Örneğin, bir görevi tamamlamak için gereken zamanın veya kaynakların azaltılması gibi verimlilik kazanımları, hem bir performans KPI'ı (yapay zekâ çözümünün ne kadar iyi çalıştığını gösterir) hem de bir işletme KPI'ı (maliyet tasarruflarını ve üretkenlik iyileştirmelerini ölçer) olabilir. Müşteri memnuniyeti de başka bir ortak metriktir. Yapay zekâ destekli bir müşteri hizmetleri aracının başarısını hem teknik performansı hem de genel işletme hedefleri üzerindeki etkisi açısından yansıtabilir.

Temel yapay zekâ performansı metriklerini anlama#

Bir yapay zekâ modelinin ne kadar iyi performans gösterdiğini ölçmek için kullanılan birkaç yaygın metrik vardır. Öncelikle bunların tanımına ve nasıl hesaplandıklarına göz atacağız. Ardından bu metriklerin nasıl izlenebileceğini göreceğiz.

Kesinlik#

Kesinlik, bir yapay zekâ modelinin doğru pozitifleri (modelin bir nesneyi veya durumu olması gerektiği şekilde doğru tanımladığı örnekleri) ne kadar doğru belirlediğini ölçen bir metriktir. Örneğin, bir yüz tanıma sisteminde doğru pozitif, sistemin tespit etmek üzere eğitildiği bir kişinin yüzünü doğru biçimde tanıyıp belirlemesiyle ortaya çıkar.

Kesinliği hesaplamak için önce doğru pozitiflerin sayısını bul. Ardından bunu, modelin pozitif olarak etiketlediği toplam öğe sayısına bölebilirsin. Bu toplam, yanlış pozitif olarak adlandırılan hataların yanı sıra doğru tanımlamaları da içerir. Temel olarak kesinlik, model bir şeyi tanıdığını iddia ettiğinde ne sıklıkla doğru olduğunu gösterir.

Şekil 2. Kesinliği anlama.

Yanlış pozitiflerin sonuçlarının maliyetli veya aksatıcı olabileceği senaryolarda özellikle önemlidir. Örneğin, otomatik üretimde yüksek kesinlik oranı, sistemin kusurlu ürünleri daha doğru biçimde işaretleyebildiğini ve iyi ürünlerin gereksiz yere atılmasını veya yeniden işlenmesini önleyebildiğini gösterir. Bir diğer iyi örnek güvenlik gözetimidir. Yüksek kesinlik, yanlış alarmları en aza indirir ve yalnızca güvenlik müdahalesi gerektiren gerçek tehditlere odaklanılmasını sağlar.

Geri çağırma#

Geri çağırma, bir yapay zekâ modelinin veri kümesi içindeki ilgili tüm örnekleri veya doğru pozitifleri belirleme becerisini ölçmeye yardımcı olur. Basitçe ifade etmek gerekirse, bir yapay zekâ sisteminin tespit etmek üzere tasarlandığı bir durumun veya nesnenin mevcut tüm örneklerini ne kadar iyi yakalayabildiğini gösterir. Geri çağırma, doğru tespitlerin sayısının tespit edilmesi gereken toplam pozitif vaka sayısına bölünmesiyle hesaplanabilir (bu sayı, modelin doğru biçimde belirlediği vakaların yanı sıra kaçırdığı vakaları da içerir).

Kanser tespiti için kullanılan yapay zekâ destekli bir tıbbi görüntüleme sistemini düşün. Bu bağlamda geri çağırma, sistemin mevcut kanser vakalarının yüzde kaçını doğru biçimde belirlediğini gösterir. Bu tür senaryolarda yüksek geri çağırma hayati önem taşır, çünkü kanser teşhisinin atlanması hasta bakımı açısından ciddi sonuçlara yol açabilir.

Kesinlik ve geri çağırma karşılaştırması#

Kesinlik ve geri çağırma, bir yapay zekâ modelinin performansını değerlendirirken aynı madalyonun iki yüzü gibidir ve çoğu zaman aralarında denge kurulması gerekir. Zorluk, bir metriği iyileştirmenin çoğu zaman diğerinin pahasına gerçekleşebilmesidir.

Daha yüksek kesinlik hedeflediğini varsayalım. Model daha seçici hâle gelebilir ve yalnızca doğru olduğundan çok emin olduğu pozitifleri belirleyebilir. Öte yandan geri çağırmayı iyileştirmeyi hedeflersen model daha fazla pozitif belirleyebilir; ancak bu durum daha fazla yanlış pozitif içerebilir ve sonuçta kesinliği düşürebilir.

Önemli olan, uygulamanın özel ihtiyaçlarına göre kesinlik ile geri çağırma arasında doğru dengeyi bulmaktır. Bunun için kullanışlı bir araç, farklı eşiklerde iki metrik arasındaki ilişkiyi gösteren Kesinlik-Geri Çağırma eğrisidir. Bu eğriyi analiz ederek modelin özel kullanım alanın için en iyi performansı gösterdiği optimum noktayı belirleyebilirsin. Bu dengeyi anlamak, modelleri amaçlanan kullanım alanlarında optimum performans gösterecek şekilde ince ayarlarken yardımcı olur.

Şekil 3. Kesinlik-Geri Çağırma eğrisi örneği.

Ortalama kesinlik (mAP)#

Ortalama Kesinlik (mAP), modelin bir görüntüdeki birden fazla nesneyi belirleyip sınıflandırması gereken nesne tespiti gibi görevlerde yapay zekâ modellerinin performansını değerlendirmek için kullanılan bir metriktir. mAP, modelin tanımak üzere eğitildiği tüm farklı kategorilerde ne kadar iyi performans gösterdiğini belirten tek bir puan sunar. Nasıl hesaplandığına bakalım.

Kesinlik-Geri Çağırma eğrisinin altındaki alan, o sınıf için Ortalama Kesinliği (AP) verir. AP, çeşitli güven düzeylerinde (güven düzeyleri, modelin tahminlerinden ne kadar emin olduğunu ifade eder) hem kesinliği hem de geri çağırmayı dikkate alarak modelin belirli bir sınıf için ne kadar doğru tahmin yaptığını ölçer. Her sınıf için AP hesaplandıktan sonra mAP, tüm sınıflardaki bu AP değerlerinin ortalaması alınarak belirlenir.

Şekil 4. Çeşitli sınıfların ortalama kesinliği.

mAP, yayalar, araçlar ve trafik işaretleri gibi birden fazla nesnenin aynı anda tespit edilmesi gereken otonom sürüş gibi uygulamalarda kullanışlıdır. Yüksek bir mAP puanı, modelin tüm kategorilerde tutarlı biçimde iyi performans gösterdiği, dolayısıyla çok çeşitli senaryolarda güvenilir ve doğru olduğu anlamına gelir.

Performans metriklerini zahmetsizce hesapla#

Temel yapay zekâ performansı metriklerini hesaplamaya ilişkin formüller ve yöntemler göz korkutucu görünebilir. Ancak Ultralytics paketi gibi araçlar bu işlemi basit ve hızlı hâle getirebilir. İster nesne tespiti, segmentasyon veya sınıflandırma görevleri üzerinde çalışıyor ol, Ultralytics kesinlik, geri çağırma ve ortalama kesinlik (mAP) gibi önemli metrikleri hızlıca hesaplamak için gerekli yardımcı programları sunar.

Ultralytics kullanarak performans metriklerini hesaplamaya başlamak için Ultralytics paketini aşağıda gösterildiği gibi yükleyebilirsin.

Bu örnekte bir önceden eğitilmiş YOLOv8 modeli yükleyip performans metriklerini doğrulamak için kullanacağız; ancak Ultralytics tarafından sağlanan desteklenen modellerden herhangi birini yükleyebilirsin. Bunu şu şekilde yapabilirsin:

Model yüklendikten sonra veri kümen üzerinde doğrulama gerçekleştirebilirsin. Aşağıdaki kod parçacığı; kesinlik, geri çağırma ve mAP dâhil olmak üzere çeşitli performans metriklerini hesaplamana yardımcı olur:

Ultralytics gibi araçları kullanmak, performans metriklerini hesaplamayı çok daha kolay hâle getirir; böylece değerlendirme sürecinin ayrıntılarıyla daha az uğraşıp modelini iyileştirmeye daha fazla zaman ayırabilirsin.

Yapay zekâ performansı dağıtımdan sonra nasıl ölçülür?#

Yapay zekâ modelini geliştirirken performansını kontrollü bir ortamda test etmek kolaydır. Ancak model dağıtıldıktan sonra işler daha karmaşık hâle gelebilir. Neyse ki yapay zekâ çözümünü dağıtımdan sonra izlemene yardımcı olabilecek araçlar ve en iyi uygulamalar vardır.

Prometheus, Grafana ve Evidently AI gibi araçlar modelinin performansını sürekli izlemek üzere tasarlanmıştır. Gerçek zamanlı içgörüler sağlayabilir, anormallikleri tespit edebilir ve olası sorunlar konusunda seni uyarabilirler. Bu araçlar, üretimdeki yapay zekâ modellerinin dinamik yapısına uyum sağlayan otomatik ve ölçeklenebilir çözümler sunarak geleneksel izlemenin ötesine geçer.

Yapay zekâ modelinin dağıtımdan sonraki başarısını ölçmek için izleyebileceğin bazı en iyi uygulamalar şunlardır:

• Net performans metrikleri belirle: Modelinin ne kadar iyi çalıştığını düzenli olarak kontrol etmek için doğruluk, kesinlik ve yanıt süresi gibi temel metriklere karar ver.
• Veri kaymasını düzenli olarak kontrol et: Modelinin işlediği verilerdeki değişiklikleri takip et; bu değişiklikler doğru biçimde yönetilmezse tahminlerini etkileyebilir.
• A/B testi gerçekleştir: Mevcut modelinin performansını yeni sürümler veya değişikliklerle karşılaştırmak için A/B testini kullan. Bu, model davranışındaki iyileştirmeleri veya gerilemeleri nicel olarak değerlendirmeni sağlar.
• Performansı belgele ve denetle: Performans metriklerinin ve yapay zekâ sisteminde yapılan değişikliklerin ayrıntılı kayıtlarını tut. Bu, denetimler, uyumluluk ve model mimarini zaman içinde iyileştirmek için kritik öneme sahiptir.

En uygun yapay zekâ KPI'larını seçmek yalnızca başlangıçtır#

Bir yapay zekâ çözümünü başarıyla dağıtmak ve yönetmek, doğru KPI'ları seçmeye ve bunları güncel tutmaya bağlıdır. Genel olarak, yapay zekâ çözümünün teknik açıdan ve işletme etkisi bakımından ne kadar iyi çalıştığını ortaya koyan metrikleri seçmek hayati önem taşır. Teknolojik gelişmeler veya işletme stratejindeki değişiklikler gibi koşullar değiştikçe bu KPI'ları yeniden gözden geçirmek ve ayarlamak önemlidir.

Performans incelemelerini dinamik tutarak yapay zekâ sisteminin güncel ve etkili kalmasını sağlayabilirsin. Bu metrikleri yakından takip ederek operasyonlarını iyileştirmene yardımcı olacak değerli içgörüler elde edersin. Proaktif bir yaklaşım, yapay zekâ çalışmalarının gerçekten değerli olmasını ve işletmeni ileriye taşımasına yardımcı olmasını garanti eder!

Topluluğumuza katıl ve bizimle yenilik yap! Yapay zekâ alanındaki gelişmelerimizi görmek için GitHub depomuzu keşfet. Üretim ve sağlık gibi sektörleri öncü yapay zekâ teknolojisiyle nasıl yeniden şekillendirdiğimizi öğren. 🚀