Model Monitoring

Model izleme, kullanıma alınmış bir makine öğrenmesi modelinin girdilerinin, çıktılarının, performansının ve hizmet sağlığının sürekli ölçülmesi; bunlardan herhangi biri beklenen aralığın dışına çıktığında uyarı verilmesidir. Model arızaları genellikle sessizce gerçekleşir: kamera taşındığında, lens kirlendiğinde veya ürün yeniden tasarlandığında bir algılayıcı makul güven skorlarına sahip kutular döndürmeye devam eder, yalnızca doğruluğu değişir. İzleme, canlı davranışı genellikle modelin onay aldığı doğrulama verileriyle karşılaştırır; böylece ekipler veri kaymasını ve düşen doğruluğu kullanıcılardan değil, kontrol panellerinden öğrenir. İzleme, model dağıtımından sonra makine öğrenimi operasyonları (MLOps) döngüsünü tamamlar ve modelin ne zaman yeniden eğitilmesi gerektiğine karar verir.

Neler İzlenmeli#

Üretim izleme genellikle dört katmanı kapsar:

• Çıkarım gecikmesi ve hizmet sağlığı: İstek hızı, hata oranı, p95 ve p99 gecikmeleri, GPU belleği ve kullanım oranı; çoğunlukla Prometheus ile toplanıp Grafana'da grafikle gösterilir.
• Girdi verileri: Şema ihlalleri, eksik değerler ve parlaklık, çözünürlük veya nesne boyutu gibi özellik ya da görüntü istatistiklerindeki değişimler.
• Tahmin güveni ve çıktı dağılımı: Sınıf dağılımı, görüntü başına tespit sayısı ve güven skorları. Tahmin kayması adı verilen bu değişim, etiketler henüz yokken erken uyarı sağlar.
• Model performansı: Gerçek etiketler geldiğinde hesaplanan doğruluk, kesinlik, duyarlılık veya mAP. Dolandırıcılık etiketleri ters ibrazlar nedeniyle haftalar sonra gelebilir; bilgisayarlı görü ekipleri de üretim görüntülerinden bir örneklemi elle etiketler.

Ultralytics Platform, tahmin katmanını özel uç noktalarına entegre eder: İzleme sekmesi, dağıtılmış bir YOLO modelinin güven dağılımını, zamana göre ortalama güvenini, en yaygın sınıflarını ve görüntü başına tahminlerini grafiklerle gösterir. Son görüntüler, inceleme ve yeniden eğitim için tahminleriyle birlikte bir veri kümesine kaydedilebilir. Model izleme ve bakım kılavuzu ile Ultralytics Academy'nin Gözlemlenebilirlik ve Kayma dersi, YOLO dağıtımlarında kayma kontrollerini adım adım ele alır.

Bozulmaların çoğuna iki tür değişim yol açar. Kovaryat kayması olarak da bilinen veri kayması, girdileri değiştirir; örneğin üretim hattındaki bir denetim kamerası taşınır veya aydınlatma değişir. Kavram kayması ise girdilerle doğru yanıtlar arasındaki ilişkiyi değiştirir; örneğin dolandırıcılar taktiklerini değiştirir ve daha önce normal olan işlemler dolandırıcılığa dönüşür. Girdi istatistikleri veri kaymasını doğrudan ortaya çıkarır; kavram kayması ise yalnızca etiketler geldikten sonra performans ölçütlerinde görünür. Her ikisi de bilgisayarlı görü modellerinin üretimde başarısız olmasının en yaygın nedenleri arasındadır.

Kaymanın Tespiti#

Yaygın bir kayma denetimi, canlı bir istatistiğin dağılımını referans dağılımla iki örneklemli Kolmogorov-Smirnov testi kullanarak karşılaştırır; bu test, iki kümülatif dağılım arasındaki en büyük farkı ölçer. Bu betik, benzetilmiş tespit güven skorlarına testi uygular: doğrulamadan alınmış bir referans örneklemi, bu örneklemle eşleşen bir üretim haftası ve daha düşük değerlere kaymış başka bir hafta:

import numpy as np
from scipy.stats import ks_2samp

rng = np.random.default_rng(0)

# Detection confidences logged at validation time form the reference distribution
reference = rng.beta(8, 2, size=2000)

# Two simulated production windows: one like the reference, one shifted lower
windows = {"week 1": rng.beta(8, 2, size=500), "week 2": rng.beta(5, 3, size=500)}

for name, live in windows.items():
    # Two-sample Kolmogorov-Smirnov test: do both samples come from one distribution?
    result = ks_2samp(reference, live)
    drift = result.pvalue < 0.01
    print(f"{name}: mean {live.mean():.2f}, KS {result.statistic:.3f}, p {result.pvalue:.1e}, drift {drift}")

Birinci hafta, 0,037 KS istatistiği ve p = 0,64 ile testi geçer. İkinci haftada ortalama güven, birinci haftadaki 0,80'den 0,63'e düşer; 0,456 KS istatistiği ve p = 1,2e-75 değeri kaymayı gösterir. Binlerce örnek olduğunda zararsız değişimler bile istatistiksel olarak anlamlı hâle gelir; bu nedenle üretim denetimleri çoğu zaman KS istatistiği veya popülasyon kararlılık endeksi (PSI) sabit bir eşiği aştığında uyarı verir. Evidently ve NannyML gibi açık kaynaklı kütüphaneler bu testleri kayma raporlarında bir araya getirir; NannyML ayrıca kalibre edilmiş güven skorlarından yararlanarak etiketler olmadan bir sınıflandırıcının doğruluğunu tahmin eder. Amazon SageMaker Model Monitor ve Vertex AI Model Monitoring aynı denetimleri yönetilen hizmetler olarak sunar. Ardından bir uyarı, inceleme sürecini başlatır:

İzleme, Gözlemlenebilirlik ve Değerlendirme#

• Gözlemlenebilirlik: Bir uyarının neden tetiklendiğini açıklayan günlükler, izlemeler ve depolanmış girdiler. İzleme önceden tanımlanmış denetimleri çalıştırır; birçok sağlayıcı bu ikisini ML gözlemlenebilirliği adı altında birlikte sunar.
• Model değerlendirmesi: Sürümden önce modeli ayrılmış bir test kümesinde puanlar. İzleme, model hizmet verdiği sürece aynı ölçümü canlı trafik üzerinde yineler.
• Deney takibi: Henüz üretim verisi yokken, geliştirme sırasında yapılan eğitim çalışmalarını kaydeder.