Model Monitoring

Model izleme, Machine Learning (ML) modelleri üretime alındıktan sonra performanslarını takip etme, analiz etme ve değerlendirme sürecidir. Geleneksel yazılımlar tipik olarak deterministik bir şekilde çalışır—belirli bir girdi için süresiz olarak aynı çıktıyı bekler—ancak tahmin modelleri zamanla gelişebilen istatistiksel modellere dayanır. Gerçek dünya ortamı değiştikçe, bu modellere beslenen veriler kayabilir ve doğruluk veya güvenilirlik düşüşüne neden olabilir. İzleme, data drift veya kavram kayması gibi sorunları, iş sonuçlarını veya kullanıcı deneyimini olumsuz etkilemeden önce tespit ederek Artificial Intelligence (AI) sistemlerinin değer sunmaya devam etmesini sağlar.

Dağıtım Sonrası Gözetimin Önemi#

Machine Learning Operations (MLOps) yaşam döngüsünde dağıtım bitiş çizgisi değildir. Geçmiş veriler üzerinde eğitilmiş bir model, dünyanın belirli bir andaki anlık görüntüsünü temsil eder. Zamanla mevsimsel değişiklikler, ekonomik dalgalanmalar veya yeni kullanıcı davranışları gibi dış faktörler temel veri dağılımını değiştirebilir. data drift olarak bilinen bu olgu, modelin hata mesajı vermeden tahminler ürettiği ancak bu tahminlerin kalitesinin kabul edilebilir standartların altına düştüğü "sessiz arızalara" yol açabilir.

Etkili izleme, bu ince değişiklikler hakkında görünürlük sağlar. validation data kullanarak taban çizgileri oluşturup bunları canlı üretim akışlarıyla karşılaştırarak mühendislik ekipleri anormallikleri erkenden tespit edebilir. Bu proaktif yaklaşım, zamanında model retraining veya güncellemeler yapılmasına olanak tanıyarak autonomous vehicles veya dolandırıcılık tespiti algoritmaları gibi sistemlerin güvenli ve etkili kalmasını sağlar.

Model İzlemede Temel Metrikler#

Sağlıklı bir ML sistemini sürdürmek için uygulayıcılar, genellikle üç kategoriye ayrılan çeşitli metrikleri takip ederler:

• Servis Güvenilirlik Metrikleri: Bunlar inference engine bileşeninin operasyonel sağlığını takip eder. Temel göstergeler arasında inference latency (bir tahminin ne kadar sürdüğü) ve GPU bellek kullanımı gibi sistem kaynağı kullanımı yer alır. Prometheus gibi araçlar bu sistem düzeyindeki metrikleri toplamak ve saklamak için yaygın olarak kullanılır.
• Veri Kalitesi Metrikleri: Bunlar girdi verilerinin beklenen şemaya ve istatistiksel dağılıma uymasını sağlar. Örneğin, eksik değerlerde ani bir artış veya bir özelliğin ortalama değerindeki bir kayma, bozulmuş bir akış veri boru hattını gösterebilir. Kolmogorov-Smirnov test gibi istatistiksel testler, eğitim ve üretim dağılımları arasındaki mesafeyi ölçmeye yardımcı olur.
• Performans Metrikleri: İdeal olarak ekipler accuracy, precision ve recall gibi gerçek zemin metriklerini izler. Ancak üretimde gerçek etiketler genellikle gecikir veya kullanılamaz durumdadır. Bu gibi durumlarda, sağlığı ölçmek için tahmin confidence skorları veya çıktı dağılımının kararlılığı gibi vekil metrikler kullanılır.

Gerçek Dünya Uygulamaları#

Model izleme, otomatik kararların operasyonları ve güvenliği etkilediği çeşitli sektörlerde kritik öneme sahiptir:

• Üretimde Bilgisayarlı Görü: smart manufacturing alanında görsel denetim modelleri montaj hatlarındaki kusurları tespit eder. Zamanla kamera lensleri toz biriktirebilir veya fabrika aydınlatması değişebilir, bu da modelin kusurlu olmayan parçaları kusurlu olarak yanlış sınıflandırmasına neden olabilir. Pozitif algılama oranının izlenmesi bu kaymanın belirlenmesine yardımcı olur ve Ultralytics Platform kullanılarak bakım veya yeniden kalibrasyon tetiklenir.
• Finansal Dolandırıcılık Tespiti: Bankalar, şüpheli işlemleri işaretlemek için ML kullanır. Suçlular, tespitten kaçınmak için stratejilerini sürekli olarak uyarlarlar, bu da kavram kaymasına yol açar. İşaretlenen işlemlerin oranını izleyerek ve insan incelemecilerden gelen geri bildirimleri araştırarak, veri bilimciler yeni dolandırıcılık kalıplarını tanımak için modelleri hızla güncelleyebilirler.

İzleme ve Gözlemlenebilirlik#

İzleme ile observability arasında ayrım yapmak yararlıdır çünkü bunlar birbirini tamamlayan roller üstlenir. Model İzleme tipik olarak reaktiftir ve "bilinen bilinmeyenlere" odaklanır, belirli metrikler bir eşiği aştığında (örneğin doğruluk %90'ın altına düştüğünde) ekipleri uyarmak için panolar kullanır. Observability ise "bilinmeyen bilinmeyenleri" daha derinlemesine inceler; mühendislerin belirli bir tahminde neden hata oluştuğunu veya bir modelin belirli bir demografiye karşı bias in AI sergileyip sergilemediğini hata ayıklamasına olanak tanıyan ayrıntılı logs ve izlemeler sağlar.

Örnek: Tahmin Güveninin Takibi#

Bir bilgisayarlı görü modelinin sağlığını izlemenin basit bir yolu, tahminlerinin ortalama güvenini takip etmektir. Güvende önemli bir düşüş, modelin eğitilmediği verilerle karşılaştığına işaret edebilir.

İşte izleme amaçlarıyla bir görüntü grubundan güven skorlarını çıkarmak için YOLO26 kullanan bir Python örneği:

import numpy as np
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a source (e.g., a video frame or image list)
results = model(["bus.jpg", "zidane.jpg"])

# Extract confidence scores for monitoring
for i, result in enumerate(results):
    # Get the confidence scores for all detected objects
    confidences = result.boxes.conf.cpu().numpy()

    if len(confidences) > 0:
        avg_conf = np.mean(confidences)
        print(f"Image {i}: Average Detection Confidence: {avg_conf:.3f}")
    else:
        print(f"Image {i}: No objects detected.")

Bu istatistiklerin düzenli olarak kaydedilmesi, ekiplerin Grafana gibi araçları veya Ultralytics Platform içindeki izleme özelliklerini kullanarak zaman içindeki trendleri görselleştirmesini sağlar ve modellerin dinamik ortamlarda sağlam kalmasını garanti eder.