Model Monitoring

Model izleme, Makine Öğrenimi (ML) modelleri üretime dağıtıldıktan sonra performanslarının takip edilmesi, analiz edilmesi ve değerlendirilmesi sürecidir. Geleneksel yazılımlar genellikle deterministik bir şekilde çalışır; yani belirli bir girdi için sonsuza kadar aynı çıktıyı üretmesi beklenir. Ancak tahmine dayalı modeller, zamanla değişebilen istatistiksel kalıplara güvenir. Gerçek dünya ortamı değiştikçe, bu modellere beslenen veriler kayabilir ve bu da doğruluk veya güvenilirlikte düşüşe neden olabilir. İzleme, Yapay Zeka (AI) sistemlerinin, veri kayması veya kavram kayması gibi sorunları iş sonuçlarını ya da kullanıcı deneyimini olumsuz etkilemeden önce tespit ederek değer üretmeye devam etmesini sağlar.

Link to this sectionDağıtım Sonrası Gözetimin Önemi#

Makine Öğrenimi Operasyonları (MLOps) yaşam döngüsünde dağıtım, bitiş çizgisi değildir. Geçmiş verilerle eğitilmiş bir model, dünyanın belirli bir anına ait bir anlık görüntüsünü temsil eder. Zamanla mevsimsel değişiklikler, ekonomik kaymalar veya yeni kullanıcı davranışları gibi dış etkenler, temel veri dağılımını değiştirebilir. Veri kayması olarak bilinen bu fenomen, modelin hata mesajı vermeden tahminler üretmesine rağmen bu tahminlerin kalitesinin kabul edilebilir standartların altına düşmesine neden olan "sessiz hatalara" yol açabilir.

Effective monitoring provides visibility into these subtle changes. By establishing baselines using validation data and comparing them against live production streams, engineering teams can detect anomalies early. This proactive approach allows for timely model retraining or updates, ensuring that systems like autonomous vehicles or fraud detection algorithms remain safe and effective.

Link to this sectionModel İzlemede Temel Metrikler#

Sağlıklı bir ML sistemini sürdürmek için uygulayıcılar, genellikle üç kategoriye ayrılan çeşitli metrikleri takip ederler:

• Hizmet Güvenilirliği Metrikleri: Bunlar, inference engine sisteminin operasyonel sağlığını takip eder. Temel göstergeler arasında inference latency (bir tahminin ne kadar sürede tamamlandığı) ve GPU bellek kullanımı gibi sistem kaynağı kullanımı yer alır. Prometheus gibi araçlar, bu sistem düzeyindeki metrikleri toplamak ve depolamak için yaygın olarak kullanılır.
• Veri Kalitesi Metrikleri: Bunlar, girdi verilerinin beklenen şema ve istatistiksel dağılımla eşleşmesini sağlar. Örneğin, eksik değerlerde ani bir artış veya bir özelliğin ortalama değerindeki bir kayma, bozuk bir yukarı yönlü veri hattına işaret edebilir. Kolmogorov-Smirnov testi gibi istatistiksel testler, eğitim ve üretim dağılımları arasındaki mesafeyi ölçmeye yardımcı olur.
• Performans Metrikleri: İdeal olarak ekipler accuracy, precision ve recall gibi gerçek doğruluk metriklerini izler. Ancak üretimde gerçek etiketler genellikle gecikmeli veya kullanılamaz durumdadır. Bu gibi durumlarda, sağlık durumunu ölçmek için tahmin confidence puanları veya çıktı dağılımının kararlılığı gibi vekil metrikler kullanılır.

Link to this sectionGerçek Dünya Uygulamaları#

Model izleme, otomatik kararların operasyonları ve güvenliği etkilediği çeşitli sektörlerde kritik öneme sahiptir:

• Üretimde Bilgisayarlı Görü: Akıllı üretimde, görsel denetim modelleri montaj hatlarındaki kusurları tespit eder. Zamanla kamera lenslerinde toz birikebilir veya fabrika aydınlatması değişebilir, bu da modelin kusursuz parçaları hatalı olarak yanlış sınıflandırmasına neden olabilir. Pozitif tespit oranını izlemek, bu kaymayı belirlemeye yardımcı olur ve Ultralytics Platform kullanılarak bakım veya yeniden kalibrasyonu tetikler.
• Finansal Dolandırıcılık Tespiti: Bankalar, şüpheli işlemleri işaretlemek için ML kullanır. Suçlular, tespitten kaçınmak için stratejilerini sürekli olarak uyarlarlar, bu da kavram kaymasına yol açar. İşaretlenen işlemlerin oranını izleyerek ve insan incelemecilerden gelen geri bildirimleri araştırarak, veri bilimciler yeni dolandırıcılık kalıplarını tanımak için modelleri hızla güncelleyebilirler.

Link to this sectionİzleme ve Gözlemlenebilirlik#

It is helpful to distinguish between monitoring and observability, as they serve complementary roles. Model Monitoring is typically reactive and focused on "known unknowns," using dashboards to alert teams when specific metrics breach a threshold (e.g., accuracy drops below 90%). Observability digs deeper into the "unknown unknowns," providing granular logs and traces that allow engineers to debug why a specific prediction failed or why a model exhibits bias in AI against a certain demographic.

Link to this sectionÖrnek: Tahmin Güveninin Takibi#

Bir bilgisayarlı görü modelinin sağlığını izlemenin basit bir yolu, tahminlerinin ortalama güvenini takip etmektir. Güvende önemli bir düşüş, modelin eğitilmediği verilerle karşılaştığına işaret edebilir.

İşte izleme amacıyla bir görüntü grubundan güven puanlarını çıkarmak için YOLO26 kullanan bir Python örneği:

import numpy as np
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a source (e.g., a video frame or image list)
results = model(["bus.jpg", "zidane.jpg"])

# Extract confidence scores for monitoring
for i, result in enumerate(results):
    # Get the confidence scores for all detected objects
    confidences = result.boxes.conf.cpu().numpy()

    if len(confidences) > 0:
        avg_conf = np.mean(confidences)
        print(f"Image {i}: Average Detection Confidence: {avg_conf:.3f}")
    else:
        print(f"Image {i}: No objects detected.")

Bu istatistikleri düzenli olarak loglamak, ekiplerin Grafana gibi araçları veya Ultralytics Platform içindeki izleme özelliklerini kullanarak zaman içindeki trendleri görselleştirmesini sağlar ve modellerin dinamik ortamlarda sağlam kalmasını garantiler.