Model İzleme

Model izleme, Makine Öğrenimi (ML) modellerinin üretime geçtikten sonra performanslarının sürekli olarak izlenmesi, analiz edilmesi ve değerlendirilmesidir. Geleneksel yazılımlar genellikle deterministik olarak çalışır ve belirli bir girdi için sonsuza kadar aynı çıktıyı beklerken, tahmine dayalı modeller zamanla gelişebilen istatistiksel kalıplara dayanır. Gerçek dünya ortamı değiştikçe, bu modellere beslenen veriler de değişebilir ve bu da doğruluk veya güvenilirlikte düşüşe neden olabilir. İzleme, Yapay Zeka (AI) sistemlerinin iş sonuçlarını veya kullanıcı deneyimini olumsuz etkilemeden önce veri sapması veya kavram sapması gibi sorunları tespit ederek değer sunmaya devam etmesini sağlar.

Dağıtım Sonrası Denetimin Önemi

Makine Öğrenimi Operasyonları (MLOps) yaşam döngüsünde, dağıtım son nokta değildir. Tarihsel verilerle eğitilmiş bir model, dünyanın Geçmiş verilerle eğitilmiş bir model, belirli bir andaki dünyanın anlık görüntüsünü temsil eder. Zamanla, mevsimsel değişiklikler, ekonomik değişimler veya yeni kullanıcı davranışları gibi dış faktörler, temel veri dağılımını değiştirebilir. Veri kayması olarak bilinen bu fenomen, modelin hata mesajı vermeden tahminler üretmesine, ancak bu tahminlerin kalitesinin kabul edilebilir standartların altına düşmesine neden olabilir.

Etkili izleme, bu ince değişiklikleri görünür kılar. Doğrulama verilerini kullanarak temel değerler belirleyen ve bunları canlı üretim akışlarıyla karşılaştıran mühendislik ekipleri, detect erken detect edebilir. Bu proaktif yaklaşım, zamanında model yeniden eğitimi veya güncellemeleri yapılmasına olanak tanıyarak, otonom araçlar veya dolandırıcılık tespit algoritmaları gibi sistemlerin güvenli ve etkili kalmasını sağlar. .

Model İzlemede Önemli Metrikler

Sağlıklı bir ML sistemi sürdürmek için, uygulayıcılar genellikle üç kategoriye ayrılan track metrikleri track :

• Hizmet Güvenilirliği Metrikleri: Bunlar, çıkarım motorunun operasyonel track . Anahtar göstergeler arasında çıkarım gecikmesi (bir tahminin ne kadar sürdüğü) ve sistem kaynak kullanımı, örneğin GPU bellek kullanımı gibi sistem kaynaklarının kullanımı. Prometheus gibi araçlar genellikle bu sistem düzeyindeki metrikleri toplamak ve depolamak için kullanılır.
• Veri Kalitesi Metrikleri: Bunlar, girdi verilerinin beklenen şema ve istatistiksel dağılımla eşleşmesini sağlar. Örneğin, eksik değerlerdeki ani bir artış veya bir özelliğin ortalama değerindeki bir değişiklik, yukarı akış veri boru hattının bozulduğunu gösterebilir. Kolmogorov-Smirnovtesti gibi istatistiksel testler, eğitim ve üretim dağılımları arasındaki mesafeyi ölçmeye yardımcı olur.
• Performans Metrikleri: İdeal olarak, ekipler doğruluk, kesinlik ve geri çağırma gibi temel metrikleri izler. Ancak, üretimde gerçek etiketler genellikle gecikir veya kullanılamaz. Bu gibi durumlarda, tahmin güvenilirlik puanları veya çıktı dağılımının istikrarı gibi vekil metrikler sağlık durumunu ölçmek için kullanılır.

Gerçek Dünya Uygulamaları

Otomatik kararların operasyonları ve güvenliği etkilediği çeşitli sektörlerde model izleme kritik öneme sahiptir:

• Üretimde Bilgisayar Görme: Akıllı üretimde, görsel inceleme modelleri montaj hatlarındaki detect . Zamanla, kamera lenslerinde toz birikebilir veya fabrika aydınlatması değişebilir, bu da modelin kusursuz parçaları kusurlu olarak sınıflandırmasına neden olabilir. Pozitif tespit oranını izlemek, bu sapmayı tespit etmeye yardımcı olur ve Ultralytics kullanılarak bakım veya yeniden kalibrasyon yapılmasını sağlar. Ultralytics .
• Finansal Dolandırıcılık Tespiti: Bankalar, şüpheli işlemleri işaretlemek için makine öğrenimini kullanır. Suçlular, tespit edilmekten kaçınmak için stratejilerini sürekli olarak uyarlar ve bu da kavram kaymasına yol açar. İşaretlenen işlemlerin oranını izleyerek ve insan gözden geçirenlerin geri bildirimlerini inceleyerek, veri bilimcileri yeni dolandırıcılık modellerini tanımak için modelleri hızla güncelleyebilir.

İzleme ve Gözlemlenebilirlik

İzleme ve gözlemlenebilirlik arasında ayrım yapmak yararlıdır, çünkü bunlar birbirini tamamlayan roller üstlenirler. Model İzleme genellikle reaktif olup "bilinen bilinmeyenler"e odaklanır ve belirli metrikler bir eşiği aştığında (örneğin, doğruluk %90'ın altına düştüğünde) ekiplere uyarı vermek için gösterge tabloları kullanır. Gözlemlenebilirlik, "bilinmeyen bilinmeyenleri" daha derinlemesine inceler ve mühendislerin belirli bir tahminin neden başarısız olduğunu veya bir modelin belirli bir demografik gruba karşı AI'da neden önyargı gösterdiğini hata ayıklamasına olanak tanıyan ayrıntılı günlükler ve izler sağlar. Bu, bir modelin belirli bir demografik gruba karşı önyargılı olduğunu tespit etmek için kullanılabilir.

Örnek: Tahmin Güvenilirliğini İzleme

Bir bilgisayar görme modelinin sağlığını izlemenin basit bir yolu, tahminlerinin ortalama track etmektir. Güvenilirlikte önemli bir düşüş, modelin eğitilmediği verilerle karşılaştığını gösterebilir.

İşte, izleme amacıyla bir grup görüntüden güven puanlarını çıkarmak için YOLO26 kullanan bir Python :

import numpy as np
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a source (e.g., a video frame or image list)
results = model(["bus.jpg", "zidane.jpg"])

# Extract confidence scores for monitoring
for i, result in enumerate(results):
    # Get the confidence scores for all detected objects
    confidences = result.boxes.conf.cpu().numpy()

    if len(confidences) > 0:
        avg_conf = np.mean(confidences)
        print(f"Image {i}: Average Detection Confidence: {avg_conf:.3f}")
    else:
        print(f"Image {i}: No objects detected.")

Bu istatistikleri düzenli olarak kaydetmek, ekiplerin Grafana gibi araçları veya Ultralytics içindeki izleme özelliklerini kullanarak zaman içindeki eğilimleri görselleştirmelerine olanak tanır ve modellerin dinamik ortamlarda sağlam kalmasını sağlar. Ultralytics , dinamik ortamlarda modellerin sağlam kalmasını sağlar. Ultralytics Ultralytics u, dinamik ortamlarda modellerin sağlam kalmasını sağlar. Ultralytics Ultralytics , dinamik ortamlarda modellerin sağlam kalmasını sağlar. Ultralytics Platformu, dinamik ortamlarda modellerin sağlam kalmasını sağlar. Ultralytics Ultralytics