Observability

Gözlemlenebilirlik, karmaşık bir sistemin iç durumunu yalnızca dış çıktılarından anlayabilme yeteneğini ifade eder. Hızla gelişen Yapay Zekâ (AI) ve Makine Öğrenmesi (ML) alanlarında gözlemlenebilirlik, basit durum kontrollerinin ötesine geçerek bir modelin belirli bir şekilde neden davrandığına dair derinlemesine bilgiler sunar. Son teknoloji YOLO26 gibi modern Derin Öğrenme (DL) mimarileri giderek daha karmaşık hâle geldikçe çoğu zaman “kara kutu” gibi çalışabilir. Gözlemlenebilirlik araçları bu sistemlere şeffaf bir pencere açarak mühendislik ekiplerinin beklenmedik davranışlarda hata ayıklamasını, hataların temel nedenlerini izlemesini ve üretim ortamlarında güvenilirliği sağlamasını mümkün kılar.

Gözlemlenebilirlik ve İzleme#

Gözlemlenebilirlik ve model izleme birbirinin yerine kullanılsa da MLOps yaşam döngüsünde farklı ancak birbirini tamamlayan amaçlara hizmet eder.

• Model İzleme tepkiseldir ve “bilinen bilinmeyenlere” odaklanır. Tanımlanmış ölçütlere göre çıkarım gecikmesi, CPU kullanımı veya hata oranları gibi önceden belirlenmiş ölçümleri takip etmeyi içerir. İzleme şu soruyu yanıtlar: “Sistem sağlıklı mı?”
• Gözlemlenebilirlik, proaktiftir ve "bilinmeyen bilinmeyenleri" ele alır. Eğitim verisi hazırlanırken öngörülmemiş yeni sorunları araştırmak için gereken ayrıntılı verileri (günlükler, izler ve yüksek kardinaliteli olaylar) sağlar. Gözlemlenebilir bir sistem, yeni kod yayımlamadan yeni davranışları anlamanı sağlar ve Google SRE Kitabı'ndaki klasik izlemenin önceden tanımlanmış uyarılarının ötesine geçer. Şu soruya yanıt verir: "Sistem neden böyle davranıyor?"

Gözlemlenebilirliğin Üç Temel Unsuru#

Bilgisayarlı Görü (CV) işlem hatlarında gerçek gözlemlenebilirliğe ulaşmak için sistemler genellikle üç temel telemetri verisi türünden yararlanır:

1. Günlükler: Ayrık olayların zaman damgalı ve değiştirilemez kayıtlarıdır. Bir algılama işlem hattındaki günlük, girdi görüntüsünün çözünürlüğünü veya çalıştırma sırasında kullanılan belirli hiperparametre ayarlama yapılandırmasını kaydedebilir. Genellikle JSON biçiminde tutulan yapılandırılmış günlükler, karmaşık sorgulama ve analiz olanağı sağlar.

2. Ölçümler: Ortalama kesinlik, bellek tüketimi veya GPU kullanımı gibi zaman içinde ölçülen ve bir araya getirilen sayısal verilerdir. Prometheus ve Grafana gibi araçlar, eğilimleri görselleştirmek amacıyla bu zaman serisi verilerini depolamak için yaygın olarak kullanılır.

3. İzler: İzleme, bir isteğin çeşitli mikro hizmetlerden geçerken yaşam döngüsünü takip eder. Dağıtık yapay zekâ uygulamalarında OpenTelemetry gibi standartlar, bir isteğin yolunu haritalandırarak çıkarım motorundaki darboğazları veya ağ gecikmelerini belirlemeye yardımcı olur. Jaeger gibi özel araçlar bu dağıtık işlemleri görselleştirmeyi sağlar.

Python'da Gözlemlenebilirliğin Uygulanması#

Belirli iç durumları günlüğe kaydetmek için geri çağrıları kullanarak eğitim işlem hatlarındaki gözlemlenebilirliği artırabilirsin. Aşağıdaki örnek, performans ölçümlerini gerçek zamanlı olarak izlemek için bir YOLO26 eğitim oturumuna özel bir geri çağrının nasıl ekleneceğini gösterir.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_fit_epoch_end(trainer):
    # Access and print validation metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_fit_epoch_end", on_fit_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Gerçek Dünya Uygulamaları#

Test verilerinin gerçek dünya koşullarıyla tam olarak eşleşmeyebileceği dinamik ortamlarda yüksek performanslı modeller dağıtmak için gözlemlenebilirlik kritik öneme sahiptir.

• Otonom Araçlar: Otonom araçların geliştirilmesinde gözlemlenebilirlik, mühendislerin devre dışı kalma olayı sırasında sistemin tam durumunu yeniden oluşturmasına olanak tanır. Ekipler, nesne algılama çıktılarını sensör günlükleri ve kontrol komutlarıyla ilişkilendirerek frenleme hatasının sensör gürültüsünden, hatalı bir model tahmininden veya planlama modülündeki bir mantık hatasından kaynaklanıp kaynaklanmadığını belirleyebilir.
• Sağlık Hizmetlerinde Tanı: Sağlık hizmetlerinde yapay zekâ uygulamalarında tutarlı performans sağlamak hasta güvenliği açısından hayati önem taşır. Gözlemlenebilirlik araçları, bir modelin yeni bir MRI tarayıcı türünden gelen görüntülere uygulandığında performansının düşmesi durumunda veri kaymasını tespit edebilir. İzler, sorunun görüntü veri ön işlemesindeki bir değişiklikten mi yoksa girdi dağılımındaki bir kaymadan mı kaynaklandığını ortaya çıkararak yapay zekâ güvenliğini tehlikeye atmadan hızlı çözüm üretmeye olanak tanır.

Modern Araçlarla Entegrasyon#

Modern iş akışları gözlemlenebilirliği çoğu zaman doğrudan eğitim platformuna entegre eder. Ultralytics Platform kullanıcıları, kayıp eğrilerinin, sistem performansının ve veri kümesi analizinin yerleşik görselleştirmelerinden yararlanır. Ayrıca TensorBoard ve MLflow gibi araçlarla standart entegrasyonlar, veri bilimcilerin model yaşam döngüsünün tamamında titiz deney takibi ve gözlemlenebilirlik sağlamasına olanak tanır.