Model İzleme

Model izleme, makine öğrenimi (ML) modellerinin üretime dağıtıldıktan sonra performanslarının izlenmesi ve değerlendirilmesine yönelik sürekli bir süreçtir. Modelin zaman içinde beklendiği gibi davranmasını sağlamak için model doğruluğu, operasyonel sağlık ve veri özellikleriyle ilgili temel metriklerin gözlemlenmesini içerir. Bu uygulama, Makine Öğrenimi Operasyonları (MLOps ) yaşam döngüsünün çok önemli bir parçasıdır ve konuşlandırılan Yapay Zeka (AI) sistemlerinin gerçek dünya ortamlarında güvenilir, etkili ve güvenilir kalmasını sağlar. İzleme olmadan model performansı sessizce düşebilir, bu da kötü tahminlere ve olumsuz iş sonuçlarına yol açabilir.

Model İzleme Neden Önemlidir?

Makine öğrenimi modelleri geçmiş veriler üzerinde eğitilir ancak gerçek dünya dinamiktir. Veri kalıplarındaki, kullanıcı davranışındaki veya ortamdaki değişiklikler, bir modelin performansının dağıtımdan sonra düşmesine neden olabilir. İzleme için temel nedenler şunlardır:

• Performans Düşüşünü Tespit Etme: Modeller zaman içinde daha az doğru hale gelebilir. İzleme, hassasiyet, geri çağırma veya F1 puanı gibi performans ölçütlerindeki düşüşleri belirlemeye yardımcı olur. Kılavuzumuzda YOLO performans ölçümleri hakkında daha fazla bilgi edinebilirsiniz.
• Veri Kaymasının Belirlenmesi: Girdi verilerinin istatistiksel özellikleri değişebilir, bu da veri kayması olarak bilinen bir olgudur. Bu durum, modelin üretimde gördüğü veriler eğitim verilerinden önemli ölçüde farklı olduğunda meydana gelebilir.
• Kavram Kaymasını Tespit Etme: Girdi özellikleri ile hedef değişken arasındaki ilişki zaman içinde değişebilir. Örneğin, müşteri tercihleri evrim geçirerek eski tahmin modellerini geçersiz kılabilir. Bu durum kavram kayması olarak bilinir ve genellikle modelin yeniden eğitilmesini gerektirir.
• Operasyonel Sağlığın Sağlanması: İzleme, model hizmet altyapısının sorunsuz çalıştığından emin olmak için çıkarım gecikmesi, verim ve hata oranları gibi operasyonel metrikleri izler.
• Adaleti ve Etiği Korumak: İzleme, farklı demografik gruplardaki performansı izleyerek YZ' deki önyargıyı tespit etmeye ve azaltmaya yardımcı olabilir ve YZ etiğini teşvik edebilir.

Hangi Unsurlar İzleniyor?

Etkili model izleme tipik olarak birkaç metrik kategorisinin izlenmesini içerir:

• Tahmin Performansı: Doğruluk, Ortalama Ortalama Kesinlik (mAP), AUC ve hata oranları gibi metrikler, genellikle doğrulama sırasında belirlenen ölçütlerle karşılaştırılır.
• Veri Kalitesi ve Bütünlüğü: Girdi verilerindeki eksik değerlerin, veri türü uyumsuzluklarının ve aralık ihlallerinin izlenmesi.
• Girdi Verisi Kayması: Üretim girdi özelliklerinin dağılımını eğitim verisi dağılımıyla karşılaştırmak için istatistiksel ölçümler (örn. popülasyon kararlılık endeksi, Kolmogorov-Smirnov testi).
• Tahmin/Çıktı Kayması: Zaman içinde önemli kaymaları tespit etmek için model tahminlerinin dağılımının izlenmesi.
• Operasyonel Metrikler: CPU/GPU kullanımı, bellek kullanımı, istek gecikmesi ve verim gibi sistem düzeyinde metrikler. Bunun için genellikle Prometheus gibi platformlar kullanılır.
• Adalet ve Önyargı Ölçütleri: Demografik eşitlik veya eşitlenmiş oranlar gibi ölçütler kullanarak hassas nitelikler (örn. yaş, cinsiyet) arasındaki model performansı eşitsizliklerini değerlendirmek.

Model İzleme ve İlgili Kavramlar

Model izlemeyi benzer terimlerden ayırt etmek önemlidir:

• Gözlemlenebilirlik: İzleme, bilinen arıza modlarını değerlendirmek için önceden tanımlanmış metrikleri izlemeye odaklanırken, gözlemlenebilirlik bilinmeyen sistem durumlarını keşfetmek ve anlamak için araçlar (günlükler, metrikler, izler) sağlar. Gözlemlenebilirlik, izleme bir anormallik tespit ettiğinde daha derin bir araştırma yapılmasını sağlar.
• MLOps: MLOps, tüm ML yaşam döngüsünü kapsayan daha geniş bir uygulama kümesidir. Model izleme, MLOps çerçevesi içinde kritik bir bileşendir ve özellikle dağıtım sonrası model sağlığına odaklanır.
• Model Değerlendirmesi: Değerlendirme genellikle bir modelin kalitesini değerlendirmek için statik doğrulama verileri veya test verileri kullanılarak dağıtımdan önce gerçekleştirilir. İzleme, dağıtımdan sonra canlı üretim verileri üzerinde gerçekleştirilen sürekli bir süreçtir. Model değerlendirme ve ince ayar hakkında içgörüleri burada bulabilirsiniz.

Gerçek Dünya Uygulamaları

1. E-ticaret Öneri Sistemleri: Bir e-ticaret platformu, öneri sistemi için bir makine öğrenimi modeli kullanır. Model izleme, tıklama oranlarını (TO) ve dönüşüm oranlarını izler. İzleme, TO'da ani bir düşüş (performans düşüşü) veya satın alınan ürün türlerinde bir değişim (kavram kayması) tespit ederse, uyarılar bir araştırmayı ve potansiyel olarak modelin yeniden eğitilmesini tetikleyebilir. Amazon Personalize gibi hizmetler, öneri etkinliğini izlemeye yönelik özellikler içerir.
2. Otonom Araç Algısı: Sürücüsüz araçlar, nesne algılama için Ultralytics YOLO gibi bilgisayarla görme modellerine güvenir. Model izleme, yayalar ve diğer araçlar gibi nesneler için algılama doğruluğunu ve güven puanlarını sürekli olarak izler. Ayrıca giriş görüntülerindeki veri kaymasını da izler (örneğin, parlaklık veya hava koşullarındaki değişiklikler). Şiddetli yağmur gibi belirli koşullarda performans düşerse, sistem, muhtemelen veri artırımı kullanılarak oluşturulan daha çeşitli veriler üzerinde eğitilmiş model güncellemelerine duyulan ihtiyacı işaret edebilir. Waymo gibi şirketler algı sistemlerini izlemek için büyük yatırımlar yapıyor.

Araçlar ve Uygulama

Model izlemenin uygulanması, özel araçların ve platformların kullanılmasını gerektirir. Seçenekler Evidently AI ve NannyML gibi açık kaynaklı kütüphanelerden AWS SageMaker Model Monitor, Google Vertex AI Model Monitoring ve Azure Machine Learning gibi bulut sağlayıcılarının yönetilen hizmetlerine kadar uzanmaktadır. Arize AI veya WhyLabs gibi özel MLOps platformları da kapsamlı izleme yetenekleri sağlar. Ultralytics HUB gibi platformlar, MLOps döngüsünü tamamlamak için bu tür izleme çözümleriyle entegre olarak modellerin dağıtımını ve yönetimini destekler. Etkili model bakım stratejileri büyük ölçüde sağlam izlemeye dayanır.