Data Drift

Veri kayması, bir dağıtılmış modelin aldığı girdi verilerinin istatistiksel dağılımının, modelin eğitildiği verilere kıyasla değişmesidir. Modeller, üretim girdilerinin eğitim verileriyle aynı dağılımdan geldiğini varsayar. Bu varsayım bozulduğunda, hata mesajı almadan ve model kodunda ya da ağırlıklarında değişiklik olmadan doğruluk düşebilir. Görüntü sistemlerinde sık görülen nedenler arasında yeni kameralar veya lensler, ışık ve mevsim değişiklikleri, kamera açısının değişmesi, yeni ürün ambalajları ve farklı görüntü sıkıştırma ayarı gibi üst akış işlem hattı değişiklikleri yer alır. Kaymayı tespit edip buna yanıt vermek, model izlemenin ve makine öğrenimi operasyonlarının (MLOps) temel görevlerindendir.

Dağılım Kayması Türleri#

Bir sınıflandırıcı, girdi verildiğinde bir etiketin olasılığını modeller; kayma girdilerde, etiketlerde veya ikisi arasındaki ilişkide meydana gelebilir:

• Kovaryat kayması: Doğru etiket, belirli bir girdi için aynı kalırken girdi dağılımı değişir. Gündüz görüntüleriyle eğitilmiş ve alacakaranlık çekimleri almaya başlayan bir algılayıcı kovaryat kaymasıyla karşılaşır; çünkü araba hâlâ arabadır. Dar anlamda veri kayması bu durumu ifade eder.
• Etiket kayması: Önsel olasılık kayması olarak da adlandırılır; sınıf sıklıkları değişir. Bir üretim hattındaki kusur oranı %1'den %5'e çıkarsa algılayıcının alarmlarından gerçek olanların oranı da artar. Böylece model ve her bir kusurun görünümü değişmese bile hassasiyet değişir.
• Kavram kayması: Girdilerle etiketler arasındaki ilişki değişir; dolayısıyla aynı girdi artık farklı bir etiketi gerektirir. Dolandırıcılar uyum sağladıkça dolandırıcılık örüntüleri değişir; sıkılaştırılan bir kalite standardı da daha önce kabul edilen parçaların reddedilmesine yol açar.

Kayma; kamera değişimi gibi ani, lens üzerinde kir birikmesi gibi kademeli veya mevsimsel bitki örtüsü ve kar gibi yinelenen nitelikte olabilir.

Veri Kaymasını Tespit Etme#

Kayma tespiti, genellikle eğitim veya doğrulama verilerinden alınan referans örneği, üretim verilerinin yakın tarihli bir penceresiyle karşılaştırır. Etiketler yoksa ekipler, sürekli özellikler için iki örneklemli Kolmogorov-Smirnov (KS) testi, kategorik özellikler için ki-kare testi veya kredi puanlamasında yaygın olan nüfus istikrar endeksi (PSI) ile iki girdi dağılımının farklı olup olmadığını sınar. Ham pikseller doğrudan karşılaştırılamayacak kadar yüksek boyutludur. Bu nedenle görüntü izleme, parlaklık ve keskinlik gibi özet istatistikleri ya da önceden eğitilmiş bir ağın gömme vektörlerini inceler. Kayma tespit yöntemleri üzerine yapılan bir çalışma, önceden eğitilmiş sınıflandırıcılardan alınan temsiller üzerinde yapılan iki örneklem testlerinin en iyi sonucu verdiğini bulmuştur. Modelin kendi çıktıları da ikinci bir sinyaldir: tahmin edilen sınıf sıklıklarındaki, görüntü başına kutu sayısındaki veya güven puanlarındaki kaymalar, doğruluk ölçülmeden önce sıklıkla ortaya çıkar.

import numpy as np
from scipy.stats import ks_2samp

rng = np.random.default_rng(0)

# Mean brightness (0-255) of 500 training images and two batches of 200 production images
reference = rng.normal(130, 25, 500)
same_light = rng.normal(130, 25, 200)
dusk = rng.normal(110, 25, 200)

# Two-sample Kolmogorov-Smirnov test: a small p-value means the distributions differ
for name, batch in (("same light", same_light), ("dusk", dusk)):
    result = ks_2samp(reference, batch)
    drifted = result.pvalue < 0.01
    print(f"{name}: KS statistic {result.statistic:.3f}, p-value {result.pvalue:.2g}, drift {drifted}")

Eğitim dağılımından alınan grubun KS istatistiği 0,046, p-değeri 0,91'dir; ortalama parlaklığı 20 seviye düşen grubun KS istatistiği 0,346, p-değeri ise 1,1e-15'tir ve bu grup uyarı verir. KS istatistiği, iki kümülatif dağılım arasındaki en büyük farktır. Çok büyük örneklemlerde zararsız kaymalar bile çok küçük p-değerleri üretebildiğinden, kayma uyarıları genellikle yalnızca p-değerine değil, kaymanın büyüklüğünü ölçen KS istatistiğinin kendisine göre ayarlanır.

Kaymaya Yanıt Verme#

Tespit edilen bir kaymanın doğruluğu düşürüp düşürmediğini yalnızca güncel etiketler gösterir. Standart yanıt, üretimden yakın tarihli verileri örneklemek, etiketlemek, bu veriler üzerindeki ortalama ortalama hassasiyeti (mAP) veya diğer görev metriklerini ölçmek ve performans düştüğünde yeni ve özgün verileri bir arada kullanarak modeli yeniden eğitmek veya ince ayar yapmak ve felaket niteliğinde unutmayı önlemek için eski örnekleri karışımda tutmaktır. Parlaklık, bulanıklık ve renk değişiklikleri gibi veri artırma yöntemleri modeli öngörülebilir değişkenliklere hazırlar; denetimsiz alan uyarlaması ise etiketsiz hedef verileriyle modeli yeni bir alana uyarlar. Ultralytics Platform üzerindeki İzleme sekmesi, bir özel uç noktanın sunduğu görüntüler için zaman içindeki ortalama tahmin güvenini, sınıf sayılarını ve kutu boyutlarıyla konumlarını grafik hâlinde gösterir; yakın tarihli örnekler incelenmek ve yeniden eğitimde kullanılmak üzere bir veri kümesine kaydedilebilir.

Veri Kayması ve İlgili Terimler#

• Model kayması: Veri kayması ve kavram kaymasının yol açtığı, model performansının zaman içinde düşmesidir. Model bozulması olarak da adlandırılır.
• Eğitim-sunum çarpıklığı: Yeniden boyutlandırma yönteminin farklı olması gibi, iki işlem hattındaki farklı işlemlerden kaynaklanan eğitim ve üretim verileri arasındaki uyumsuzluktur. Zaman içinde gelişmek yerine dağıtımın ilk gününden itibaren mevcuttur.
• Anomali tespiti: Tek bir bozulmuş kare gibi, normdan farklı olan tekil girdileri işaretler. Kayma tespiti ise dağılımların tamamını karşılaştırır ve bir hafta boyunca eşit biçimde daha karanlık görüntüleri işaretler.
• Dağılım dışı (OOD) tespiti: Her girdinin eğitim verilerinden ne kadar farklı olduğunu puanlar; genellikle modelin o girdi için tahmin yapmaktan kaçınmasını veya kararı bir insana bırakmasını sağlar.