Observability

Gözlemlenebilirlik, karmaşık bir sistemin iç durumunu yalnızca dış çıktılarına dayanarak anlama yeteneğini ifade eder. Hızla gelişen Yapay Zeka (AI) ve Makine Öğrenimi (ML) alanlarında gözlemlenebilirlik, basit durum kontrollerinin ötesine geçerek bir modelin neden belirli bir şekilde davrandığına dair derin içgörüler sağlar. En son teknoloji YOLO26 gibi modern Derin Öğrenme (DL) mimarileri giderek karmaşıklaştıkça, genellikle "kara kutular" gibi işlev görebilirler. Gözlemlenebilirlik araçları, bu sistemlerin içine şeffaf bir pencere açarak mühendislik ekiplerinin beklenmeyen davranışları ayıklamasını, hataların kök nedenlerini izlemesini ve üretim ortamlarında güvenilirliği sağlamasını sağlar.

Gözlemlenebilirlik ve İzleme (Monitoring)#

Genellikle birbirinin yerine kullanılsa da, gözlemlenebilirlik ve model izleme, MLOps yaşam döngüsü içinde farklı ama birbirini tamamlayan amaçlara hizmet eder.

• Model İzleme reaktiftir ve "bilinen bilinmeyenlere" odaklanır. çıkarım gecikmesi, CPU kullanımı veya hata oranları gibi önceden tanımlanmış metriklerin belirlenen eşik değerlerine göre takip edilmesini içerir. İzleme şu soruyu yanıtlar: "Sistem sağlıklı mı?"
• Gözlemlenebilirlik proaktiftir ve "bilinmeyen bilinmeyenleri" ele alır. eğitim verisi hazırlığı sırasında öngörülemeyen yeni sorunları araştırmak için gereken ayrıntılı verileri (günlükler, izler ve yüksek kardinaliteli olaylar) sağlar. Google SRE Kitabı'nda açıklandığı gibi, gözlemlenebilir bir sistem, yeni kod göndermeden yeni davranışları anlamanıza olanak tanır. Şu soruyu yanıtlar: "Sistem neden böyle davranıyor?"

Gözlemlenebilirliğin Üç Sütunu#

Bilgisayarlı Görü (CV) boru hatlarında gerçek gözlemlenebilirliğe ulaşmak için sistemler genellikle üç temel telemetri verisi türüne güvenir:

1. Günlükler (Logs): Ayrık olayların zaman damgalı, değiştirilemez kayıtları. Bir algılama boru hattında günlük, giriş resmi çözünürlüğünü veya bir çalıştırma sırasında kullanılan belirli hiperparametre ayarı yapılandırmasını yakalayabilir. Genellikle JSON formatındaki yapılandırılmış günlük kaydı, karmaşık sorgulama ve analiz yapılmasına olanak tanır.

2. Metrikler: Ortalama kesinlik (precision), bellek tüketimi veya GPU kullanımı gibi zaman içinde ölçülen toplanmış sayısal veriler. Prometheus ve Grafana gibi araçlar, trendleri görselleştirmek için bu zaman serisi verilerini depolamakta standarttır.

3. İzler (Traces): İzleme, bir isteğin çeşitli mikro hizmetler boyunca akarken ki yaşam döngüsünü takip eder. Dağıtık AI uygulamaları için OpenTelemetry gibi standartlar, çıkarım motoru veya ağ gecikmelerindeki darboğazları vurgulayarak bir isteğin yolunu haritalandırmaya yardımcı olur. Jaeger gibi özel araçlar bu dağıtık işlemleri görselleştirmeye yardımcı olur.

Python'da Gözlemlenebilirliği Uygulama#

Belirli iç durumları kaydetmek için geri çağrılar (callbacks) kullanarak eğitim boru hatlarınızdaki gözlemlenebilirliği artırabilirsiniz. Aşağıdaki örnek, performans metriklerini gerçek zamanlı olarak izlemek için bir YOLO26 eğitim oturumuna özel bir geri çağrının nasıl ekleneceğini göstermektedir.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Gerçek Dünya Uygulamaları#

Test verilerinin gerçek dünya koşullarıyla tam olarak eşleşmeyebileceği dinamik ortamlarda yüksek performanslı modelleri devreye sokmak için gözlemlenebilirlik çok önemlidir.

• Otonom Araçlar: Otonom araçların geliştirilmesinde gözlemlenebilirlik, mühendislerin bir devreden çıkış olayı sırasında sistemin tam durumunu yeniden oluşturmasına olanak tanır. Nesne algılama çıktılarını sensör günlükleri ve kontrol komutlarıyla ilişkilendirerek ekipler, bir frenleme hatasının sensör gürültüsünden, bir model tahmin hatasından veya planlama modülündeki bir mantık hatasından kaynaklanıp kaynaklanmadığını belirleyebilir.
• Sağlık Teşhisi: Sağlık alanında AI kullanımında tutarlı performans sağlamak hasta güvenliği için hayati önem taşır. Gözlemlenebilirlik araçları, bir modelin performansı yeni türde bir MRI tarayıcısından alınan görüntülere uygulandığında düştüğünde veri kaymasını (data drift) tespit edebilir. İzler, sorunun görüntü veri ön işlemedeki bir değişiklikten mi yoksa girdi dağılımındaki bir kaymadan mı kaynaklandığını ortaya çıkararak AI güvenliğinden ödün vermeden hızlı bir şekilde düzeltilmesini sağlar.

Modern Araçlarla Entegrasyon#

Modern iş akışları genellikle gözlemlenebilirliği doğrudan eğitim platformuna entegre eder. Ultralytics Platform kullanıcıları kayıp eğrilerinin, sistem performansının ve veri seti analizinin yerleşik görselleştirmesinden yararlanır. Ek olarak, TensorBoard ve MLflow gibi araçlarla standart entegrasyonlar, veri bilimcilerinin tüm model yaşam döngüsü boyunca titiz bir deney takibi ve gözlemlenebilirlik sürdürmesine olanak tanır.