Model İzleme

Model izleme, makine öğrenimi (ML) modellerinin üretime dağıtıldıktan sonra performansını izleme ve değerlendirme sürecidir. Model doğruluğu, operasyonel sağlığı ve veri özellikleriyle ilgili temel metrikleri gözlemleyerek modelin zaman içinde beklendiği gibi davranmasını sağlamayı içerir. Bu uygulama, dağıtılan Yapay Zeka (AI) sistemlerinin gerçek dünya ortamlarında güvenilir, etkili ve güvenilir kalmasını sağlayan Makine Öğrenimi Operasyonları'nın (MLOps) önemli bir parçasıdır. İzleme olmadan, model performansı sessizce düşebilir ve bu da kötü tahminlere ve olumsuz iş sonuçlarına yol açabilir.

Model İzleme Neden Önemlidir?

ML modelleri geçmiş veriler üzerinde eğitilir, ancak gerçek dünya dinamiktir. Veri kalıplarındaki, kullanıcı davranışlarındaki veya ortamdaki değişiklikler, bir modelin dağıtımından sonra performansının düşmesine neden olabilir. İzlemenin temel nedenleri şunlardır:

• Performans Düşüşünü Algılama: Modeller zamanla daha az doğru hale gelebilir. İzleme, kesinlik (precision), duyarlılık (recall) veya F1-skoru gibi performans metriklerindeki düşüşleri belirlemeye yardımcı olur. YOLO performans metrikleri hakkında kılavuzumuzdan daha fazla bilgi edinebilirsiniz.
• Veri Kaymasını (Data Drift) Belirleme: Girdi verilerinin istatistiksel özellikleri değişebilir; bu olgu veri kayması olarak bilinir. Bu, modelin üretimde gördüğü veriler eğitim verilerinden önemli ölçüde farklı olduğunda olabilir.
• Kavram Kaymasını Belirleme: Girdi özellikleri ile hedef değişken arasındaki ilişki zamanla değişebilir. Örneğin, müşteri tercihleri ​​gelişebilir ve eski tahmin modellerini geçersiz kılabilir. Bu, kavram kayması olarak bilinir ve genellikle modelin yeniden eğitilmesini gerektirir.
• Operasyonel Sağlığı Sağlama: İzleme, çıkarım gecikmesi, verim ve hata oranları gibi operasyonel metrikleri izleyerek model sunma altyapısının sorunsuz çalıştığından emin olur.
• Adaleti ve Etiği Koruma: İzleme, farklı demografik gruplar arasında performansı izleyerek YZ'deki yanlılığı tespit etmeye ve azaltmaya yardımcı olabilir, YZ etiğini teşvik eder.

Hangi Yönler İzleniyor?

Etkili model izleme genellikle çeşitli metrik kategorilerini izlemeyi içerir:

• Tahmin Performansı: Genellikle doğrulama sırasında belirlenen kıyaslamalara karşı karşılaştırılan doğruluk, Ortalama Ortalama Kesinlik (mAP), AUC ve hata oranları gibi metrikler.
• Veri Kalitesi ve Bütünlüğü: Giriş verilerindeki eksik değerleri, veri tipi uyuşmazlıklarını ve aralık ihlallerini izleme.
• Girdi Verisi Sapması: Üretim girdi özelliklerinin dağılımını eğitim verisi dağılımıyla karşılaştırmak için istatistiksel ölçümler (örneğin, popülasyon kararlılık indeksi, Kolmogorov-Smirnov testi).
• Tahmin/Çıktı Sapması: Zaman içindeki önemli kaymaları tespit etmek için model tahminlerinin dağılımını izleme.
• Operasyonel Metrikler: CPU/GPU kullanımı, bellek kullanımı, istek gecikmesi ve verimlilik gibi sistem düzeyindeki metrikler. Prometheus gibi platformlar genellikle bunun için kullanılır.
• Adalet ve Yanlılık Metrikleri: Demografik parite veya eşitlenmiş oranlar gibi metrikleri kullanarak hassas özellikler (örneğin, yaş, cinsiyet) genelinde model performans farklılıklarını değerlendirme.

Model İzleme ve İlgili Kavramlar

Model izlemeyi (monitoring) benzer terimlerden ayırmak önemlidir:

• Gözlemlenebilirlik: İzleme, bilinen arıza modlarını değerlendirmek için önceden tanımlanmış metrikleri izlemeye odaklanırken, gözlemlenebilirlik bilinmeyen sistem durumlarını keşfetmek ve anlamak için araçlar (günlükler, metrikler, izler) sağlar. Gözlemlenebilirlik, izleme bir anormallik tespit ettiğinde daha derin bir araştırma yapılmasını sağlar.
• MLOps: MLOps, tüm makine öğrenimi yaşam döngüsünü kapsayan daha geniş bir uygulama kümesidir. Model izleme, MLOps çerçevesi içinde kritik bir bileşendir ve özellikle dağıtım sonrası model sağlığına odaklanır.
• Model Değerlendirmesi: Değerlendirme, tipik olarak bir modelin kalitesini değerlendirmek için statik doğrulama verileri veya test verileri kullanılarak dağıtımdan önce gerçekleştirilir. İzleme, dağıtımdan sonra canlı üretim verileri üzerinde gerçekleştirilen sürekli bir süreçtir. Model değerlendirmesi ve ince ayarı hakkında buradan bilgi edinin.

Gerçek Dünya Uygulamaları

1. E-ticaret Öneri Sistemleri: Bir e-ticaret platformu, öneri sistemi için bir ML modeli kullanır. Model izleme, tıklama oranlarını (CTR) ve dönüşüm oranlarını izler. İzleme, CTR'de ani bir düşüş (performans düşüşü) veya satın alınan ürün türlerinde bir kayma (kavram kayması) tespit ederse, uyarılar bir soruşturmayı ve potansiyel olarak modelin yeniden eğitilmesini tetikleyebilir. Amazon Personalize gibi hizmetler, öneri etkinliğini izleme özellikleri içerir.
2. Otonom Araç Algısı: Kendi kendine giden arabalar, bilgisayar görüşü modellerine, örneğin Ultralytics YOLO'ya nesne algılama için güvenir. Model izleme, yayalar ve diğer araçlar gibi nesneler için algılama doğruluğunu ve güvenilirlik puanlarını sürekli olarak izler. Ayrıca, girdi görüntülerindeki veri kaymasını (örneğin, parlaklık veya havadaki değişiklikler) izler. Performans, şiddetli yağmur gibi belirli koşullarda düşerse, sistem daha çeşitli veriler üzerinde eğitilmiş model güncellemelerine duyulan ihtiyacı işaretleyebilir, bu veriler muhtemelen veri artırma kullanılarak oluşturulmuştur. Waymo gibi şirketler, algılama sistemlerini izlemeye büyük yatırım yapmaktadır.

Araçlar ve Uygulama

Model izlemenin uygulanması, özel araçların ve platformların kullanılmasını gerektirir. Seçenekler Evidently AI ve NannyML gibi açık kaynaklı kütüphanelerden AWS SageMaker Model Monitor, Google Vertex AI Model Monitoring ve Azure Machine Learning gibi bulut sağlayıcılarının yönetilen hizmetlerine kadar uzanmaktadır. Arize AI veya WhyLabs gibi özel MLOps platformları da kapsamlı izleme yetenekleri sağlar. Ultralytics HUB gibi platformlar, MLOps döngüsünü tamamlamak için bu tür izleme çözümleriyle entegre olarak modellerin dağıtımını ve yönetimini destekler. Etkili model bakım stratejileri büyük ölçüde sağlam izlemeye dayanır.