Model Monitoring

Model izleme, Makine Öğrenimi (ML) modelleri üretim ortamına dağıtıldıktan sonra performanslarını sürekli olarak takip etme, analiz etme ve değerlendirme uygulamasıdır. Geleneksel yazılımlar genellikle deterministik şekilde çalışırken—belirli bir girdi için süresiz olarak aynı çıktıyı vermesi beklenirken—tahmine dayalı modeller zaman içinde değişebilen istatistiksel örüntülere dayanır. Gerçek dünya ortamı değiştikçe bu modellere aktarılan veriler farklılaşabilir ve doğruluk ya da güvenilirlikte düşüşe yol açabilir. İzleme, Yapay Zeka (AI) sistemlerinin, iş sonuçlarını veya kullanıcı deneyimini olumsuz etkilemeden önce veri kayması ya da kavram kayması gibi sorunları belirleyerek değer sunmaya devam etmesini sağlar.

Dağıtım Sonrası Gözetimin Önemi#

Makine Öğrenimi Operasyonları (MLOps) yaşam döngüsünde dağıtım, bitiş çizgisi değildir. Geçmiş verilerle eğitilen bir model, belirli bir andaki dünyanın anlık görüntüsünü temsil eder. Zaman içinde mevsimsel değişiklikler, ekonomik dalgalanmalar veya yeni kullanıcı davranışları gibi dış etkenler, temel veri dağılımını değiştirebilir. Veri kayması olarak bilinen bu olgu, modelin hata mesajı vermeden tahminler ürettiği ancak bu tahminlerin kalitesinin kabul edilebilir standartların altına düştüğü "sessiz hatalara" yol açabilir.

Etkili izleme, bu ince değişiklikler hakkında görünürlük sağlar. Doğrulama verilerini kullanarak temel değerler oluşturup bunları canlı üretim akışlarıyla karşılaştıran mühendislik ekipleri, anormallikleri erken tespit edebilir. Bu proaktif yaklaşım, zamanında model yeniden eğitimi veya güncellemeler yapılmasını sağlayarak otonom araçlar ya da dolandırıcılık tespit algoritmaları gibi sistemlerin güvenli ve etkili kalmasına yardımcı olur.

Model İzlemede Temel Metrikler#

Sağlıklı bir ML sistemini korumak için uygulayıcılar, genellikle üç kategoriye ayrılan çeşitli metrikleri takip eder:

• Hizmet Güvenilirliği Metrikleri: Bunlar çıkarım motorunun operasyonel durumunu takip eder. Temel göstergeler arasında çıkarım gecikmesi (bir tahminin ne kadar sürdüğü) ve GPU bellek kullanımı gibi sistem kaynaklarının kullanım oranı yer alır. Prometheus gibi araçlar, bu sistem düzeyindeki metrikleri toplamak ve depolamak için yaygın olarak kullanılır.
• Veri Kalitesi Metrikleri: Bunlar, girdi verilerinin beklenen şemaya ve istatistiksel dağılıma uygun olmasını sağlar. Örneğin eksik değerlerde ani bir artış veya bir özelliğin ortalama değerindeki değişim, yukarı akıştaki veri hattının bozulduğuna işaret edebilir. Kolmogorov-Smirnov testi gibi istatistiksel testler, eğitim ve üretim dağılımları arasındaki farkı nicel olarak belirlemeye yardımcı olur.
• Performans Metrikleri: İdeal olarak ekipler doğruluk, kesinlik ve duyarlılık gibi gerçek etiketlere dayalı metrikleri izler. Ancak üretimde gerçek etiketler genellikle gecikir veya kullanılamaz durumdadır. Bu gibi durumlarda, sistemin durumunu değerlendirmek için tahmin güven skorları veya çıktı dağılımının kararlılığı gibi vekil metrikler kullanılır.

Gerçek Dünya Uygulamaları#

Model izleme, otomatik kararların operasyonları ve güvenliği etkilediği çeşitli sektörlerde kritik öneme sahiptir:

• Üretimde Bilgisayarlı Görü: Akıllı üretimde görsel denetim modelleri, montaj hatlarındaki kusurları tespit eder. Zaman içinde kamera lenslerinde toz birikebilir veya fabrika aydınlatması değişebilir; bu da modelin kusursuz parçaları kusurlu olarak sınıflandırmasına neden olabilir. Pozitif tespit oranını izlemek, bu kaymayı belirlemeye yardımcı olur ve Ultralytics Platform kullanılarak bakım veya yeniden kalibrasyon yapılmasını sağlar.
• Finansal Dolandırıcılık Tespiti: Bankalar, şüpheli işlemleri işaretlemek için ML kullanır. Suçlular tespit edilmekten kaçınmak için stratejilerini sürekli uyarlar ve bu durum kavram kaymasına yol açar. Veri bilimcileri, işaretlenen işlemlerin oranını izleyip insan incelemecilerden gelen geri bildirimleri değerlendirerek yeni dolandırıcılık örüntülerini tanımak üzere modelleri hızla güncelleyebilir.

İzleme ve Gözlemlenebilirlik#

Tamamlayıcı roller üstlendikleri için izleme ile gözlemlenebilirlik arasındaki farkı ayırt etmek yararlıdır. Model İzleme genellikle reaktiftir ve "bilinen bilinmeyenlere" odaklanır; belirli metrikler bir eşiği aştığında (ör. doğruluk %90'ın altına düştüğünde) ekipleri uyarmak için panolar kullanır. Gözlemlenebilirlik ise "bilinmeyen bilinmeyenleri" daha derinlemesine inceler; mühendislerin belirli bir tahminin neden başarısız olduğunu veya bir modelin belirli bir demografik gruba karşı Yapay Zeka'da önyargı sergilemesinin nedenini hata ayıklayarak anlamasını sağlayan ayrıntılı günlükler ve izler sunar.

Örnek: Tahmin Güvenini İzleme#

Bir bilgisayarlı görü modelinin durumunu izlemenin basit bir yolu, tahminlerinin ortalama güvenini takip etmektir. Güvende yaşanan belirgin bir düşüş, modelin işlemek üzere eğitilmediği verilerle karşılaştığına işaret edebilir.

İzleme amacıyla bir görüntü grubundan güven skorlarını çıkarmak için YOLO26 kullanan bir Python örneği aşağıda verilmiştir:

import numpy as np
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a source (e.g., a video frame or image list)
results = model(["bus.jpg", "zidane.jpg"])

# Extract confidence scores for monitoring
for i, result in enumerate(results):
    # Get the confidence scores for all detected objects
    confidences = result.boxes.conf.cpu().numpy()

    if len(confidences) > 0:
        avg_conf = np.mean(confidences)
        print(f"Image {i}: Average Detection Confidence: {avg_conf:.3f}")
    else:
        print(f"Image {i}: No objects detected.")

Bu istatistikleri düzenli olarak günlüğe kaydetmek, ekiplerin Grafana gibi araçları veya Ultralytics Platform içindeki izleme özelliklerini kullanarak zaman içindeki eğilimleri görselleştirmesine ve modellerin dinamik ortamlarda sağlam kalmasını sağlamasına olanak tanır.