Veri Kayması

Veri kayması, bir modelin üretimde karşılaştığı verilerin istatistiksel özelliklerinin, oluşturulduğu eğitim verilerine kıyasla zaman içinde değiştiği durumlarda meydana gelen makine öğreniminde (ML) yaygın bir sorundur. Bu kayma, modelin hazırlanmadığı veriler üzerinde çalıştığı anlamına gelir ve bu da tahmin performansında sessiz ancak önemli bir bozulmaya yol açabilir. Veri kaymasını etkili bir şekilde yönetmek, MLOps yaşam döngüsünün kritik bir bileşenidir ve Yapay Zeka (AI) sistemlerinin model dağıtımından sonra güvenilir kalmasını sağlar. Proaktif model izleme olmadan, bu sorun tespit edilemeyebilir, bu da kötü kararlara ve olumsuz iş sonuçlarına yol açabilir.

Veri Kayması ve Kavram Kayması

Veri kaymasını, ilgili bir sorun olan kavram kaymasından ayırmak önemlidir. Her ikisi de model performansını düşürebilirken, nedenleri farklıdır.

• Veri Kayması: Özellik veya kovariat kayması olarak da bilinen bu durum, girdi verilerinin dağılımı değiştiğinde meydana gelir, ancak girdiler ve çıktılar arasındaki temel ilişki sabit kalır. Örneğin, bir tür kameradan alınan görüntüler üzerinde eğitilmiş bir bilgisayarlı görü modeli, farklı sensör özelliklerine sahip yeni bir kameradan alınan görüntülerde kötü performans gösterebilir. Algılanan nesnelerin tanımı aynıdır, ancak girdi verilerinin özellikleri değişmiştir.
• Kavram Kayması (Concept Drift): Bu, hedef değişkenin istatistiksel özelliklerinin zaman içinde değişmesiyle meydana gelir. Girdi özellikleri ile çıktı değişkeni arasındaki temel ilişki değişir. Örneğin, bir finansal sahtekarlık tespit sisteminde, dolandırıcıların kullandığı taktikler gelişerek bir işlemi "sahtekarlık" olarak tanımlayan şey değişir. Kavram kaymasının ayrıntılı bir incelemesi akademik literatürde bulunabilir.

Gerçek Dünya Örnekleri

1. Perakende Envanter Yönetimi: Bir yapay zeka destekli perakende sistemi, raf stoğunu izlemek için kamera görüntülerini ve nesne algılama modelini (örneğin Ultralytics YOLO11) kullanır. Model, belirli bir ürün ambalajı seti üzerinde eğitilmiştir. Bir tedarikçi ambalaj tasarımını değiştirirse veya mağaza aydınlatmasını yükseltirse, bu veri kaymasına neden olur. Yeni görsel veriler, orijinal eğitim veri kümesinden farklıdır ve potansiyel olarak modelin ürünleri tanıyamamasına neden olarak yanlış envanter sayılarına yol açar.
2. Otonom Araçlar: Kendi kendine giden arabalar, belirli coğrafi konumlardan ve hava koşullarından gelen büyük miktarda sensör verisi üzerinde eğitilmiş modelleri kullanır. Bir araba yeni bir şehirde konuşlandırılırsa veya ilk kez kar gibi nadir bir hava olayıyla karşılaşırsa, algılama sistemi veri kaymasıyla karşı karşıya kalır. Girdilerin dağılımı (örneğin, yol işaretleri, trafik işaretleri, yaya davranışı) eğitim deneyiminden önemli ölçüde farklıdır, bu da güvenliği tehlikeye atabilir ve acil dikkat gerektirebilir. Waymo ve diğer otonom sürüş şirketleri, bunu tespit etmeye ve azaltmaya büyük yatırım yapmaktadır.

Veri Kaymasını Tespit Etme ve Azaltma

Veri kaymasını tespit etmek ve ele almak, izleme ve bakım stratejilerinin bir kombinasyonunu içeren devam eden bir süreçtir.

Algılama Yöntemleri

• Performans İzleme: Zaman içindeki kesinlik (precision), duyarlılık (recall) ve F1-skoru gibi temel model metriklerini izlemek, sapmadan kaynaklanabilecek performans düşüşünü gösterebilir. TensorBoard gibi araçlar bu metrikleri görselleştirmeye yardımcı olabilir.
• İstatistiksel İzleme: Gelen verilerin dağılımını eğitim verileriyle karşılaştırmak için istatistiksel testler uygulamak. Yaygın yöntemler arasında Kolmogorov-Smirnov testi, Popülasyon Kararlılık Endeksi (PSI) veya ki-kare testleri bulunur.
• İzleme Araçları: Üretimde ML modellerini izlemek için tasarlanmış özel gözlemlenebilirlik platformlarından yararlanmak. Açık kaynak seçenekleri arasında Prometheus ve Grafana bulunurken, Evidently AI ve NannyML gibi özel ML araçları daha spesifik kayma algılama özellikleri sunar. Bulut sağlayıcıları ayrıca AWS SageMaker Model Monitor ve Google Cloud'un Vertex AI Model Monitoring gibi çözümler de sunmaktadır.

Hafifletme Stratejileri

• Yeniden Eğitim: En basit strateji, modeli mevcut üretim ortamını yansıtan taze, güncel veriler üzerinde düzenli olarak yeniden eğitmektir. Ultralytics HUB gibi platformlar, kolay yeniden eğitim ve dağıtım iş akışlarını kolaylaştırır.
• Çevrimiçi Öğrenme: Bu, yeni veriler geldikçe modelin artımlı olarak güncellenmesini içerir. Gürültülü verilere karşı hassas olabileceğinden ve modelin performansının öngörülemeyen şekilde dalgalanmasına neden olabileceğinden, dikkatli kullanılmalıdır.
• Veri Artırma: İlk eğitim aşamasında veri artırma tekniklerini proaktif olarak kullanmak, modeli aydınlatma, ölçek veya yönlendirmedeki değişiklikler gibi belirli varyasyon türlerine karşı daha sağlam hale getirebilir.
• Alan Uyarlaması: Bir kaynak veri dağılımı üzerinde eğitilmiş bir modeli, farklı ancak ilişkili bir hedef veri dağılımına uyarlamaya açıkça çalışan gelişmiş teknikler kullanmak. Bu, makine öğrenimi araştırmasının aktif bir alanıdır.

Veri kaymasını etkin bir şekilde yönetmek, PyTorch veya TensorFlow gibi framework'lerle oluşturulmuş yapay zeka sistemlerinin doğru kalmasını ve operasyonel ömürleri boyunca değer sunmasını sağlamak için hayati öneme sahiptir. Model bakımı en iyi uygulamaları hakkında daha fazla bilgiyi blogumuzda bulabilirsiniz.