Observability

Gözlemlenebilirlik, yalnızca dış çıktılara dayanarak karmaşık bir sistemin iç durumunu anlama yeteneğini ifade eder. Hızla gelişen Yapay Zeka (AI) ve Makine Öğrenimi (ML) alanlarında gözlemlenebilirlik, basit durum kontrollerinin ötesine geçerek bir modelin neden belirli bir şekilde davrandığına ilişkin derin içgörüler sağlar. Modern Derin Öğrenme (DL) mimarileri (son teknoloji YOLO26 gibi) giderek daha karmaşık hâle geldikçe, genellikle "kara kutu" gibi çalışabilir. Gözlemlenebilirlik araçları bu sistemlere şeffaf bir pencere açarak mühendislik ekiplerinin beklenmeyen davranışlarda hata ayıklamasına, hataların temel nedenlerini izlemesine ve üretim ortamlarında güvenilirliği sağlamasına olanak tanır.

Gözlemlenebilirlik ve İzleme#

Genellikle birbirinin yerine kullanılsalar da gözlemlenebilirlik ve model izleme, MLOps yaşam döngüsünde birbirinden farklı ancak birbirini tamamlayan amaçlara hizmet eder.

• Model İzleme reaktiftir ve "bilinen bilinmeyenlere" odaklanır. Bu süreçte çıkarım gecikmesi, CPU kullanımı veya hata oranları gibi önceden belirlenmiş metrikler, oluşturulmuş eşiklere göre takip edilir. İzleme şu soruyu yanıtlar: "Sistem sağlıklı mı?"
• Gözlemlenebilirlik proaktiftir ve "bilinmeyen bilinmeyenleri" ele alır. Eğitim verilerinin hazırlanması sırasında öngörülmeyen yeni sorunları araştırmak için gereken ayrıntılı verileri (günlükler, izler ve yüksek kardinaliteli olaylar) sağlar. Google SRE Kitabı'nda açıklandığı gibi, gözlemlenebilir bir sistem yeni kod göndermeden yeni davranışları anlamanı sağlar. Şu soruyu yanıtlar: "Sistem neden böyle davranıyor?"

Gözlemlenebilirliğin Üç Temel Unsuru#

Bilgisayarlı Görü (CV) işlem hatlarında gerçek gözlemlenebilirliğe ulaşmak için sistemler genellikle üç temel telemetri verisi türüne dayanır:

1. Günlükler: Zaman damgalı, değiştirilemez ve tekil olayları kaydeden kayıtlar. Bir algılama işlem hattında günlük, giriş görüntüsünün çözünürlüğünü veya bir çalıştırma sırasında kullanılan belirli hiperparametre ayarlama yapılandırmasını kaydedebilir. Genellikle JSON biçiminde tutulan yapılandırılmış günlük kaydı, karmaşık sorgulama ve analiz olanağı sağlar.

2. Metrikler: Ortalama kesinlik, bellek tüketimi veya GPU kullanımı gibi zaman içinde ölçülen toplulaştırılmış sayısal verilerdir. Prometheus ve Grafana gibi araçlar, eğilimleri görselleştirmek üzere bu zaman serisi verilerini depolamak için standart olarak kullanılır.

3. İzler: İzleme, bir isteğin çeşitli mikro hizmetler arasından geçerken yaşam döngüsünü takip eder. Dağıtık yapay zeka uygulamalarında OpenTelemetry gibi standartlar, bir isteğin yolunu haritalandırarak çıkarım motorundaki darboğazları veya ağ gecikmelerini öne çıkarmaya yardımcı olur. Jaeger gibi özel araçlar bu dağıtık işlemleri görselleştirmeye yardımcı olur.

Python'da Gözlemlenebilirliği Uygulama#

Belirli iç durumları günlüğe kaydetmek için geri çağırmaları kullanarak eğitim işlem hatlarında gözlemlenebilirliği artırabilirsin. Aşağıdaki örnek, performans metriklerini gerçek zamanlı olarak izlemek üzere bir YOLO26 eğitim oturumuna özel bir geri çağırmanın nasıl ekleneceğini gösterir.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Gerçek Dünya Uygulamaları#

Test verilerinin gerçek dünya koşullarıyla tam olarak eşleşmeyebileceği dinamik ortamlarda yüksek performanslı modelleri dağıtmak için gözlemlenebilirlik kritik öneme sahiptir.

• Otonom Araçlar: Otonom araçların geliştirilmesinde gözlemlenebilirlik, mühendislerin sistemin bir devreden çıkma olayı sırasındaki kesin durumunu yeniden oluşturmasına olanak tanır. Ekipler, nesne algılama çıktılarını sensör günlükleri ve kontrol komutlarıyla ilişkilendirerek bir frenleme hatasının sensör gürültüsünden, model tahminindeki bir kusurdan veya planlama modülündeki bir mantık hatasından kaynaklanıp kaynaklanmadığını belirleyebilir.
• Sağlık Hizmetlerinde Tanı: Sağlık hizmetlerinde yapay zeka kullanımında tutarlı performansın sağlanması hasta güvenliği açısından hayati önem taşır. Gözlemlenebilirlik araçları, bir modelin yeni bir MRI tarayıcısı türünden alınan görüntülere uygulandığında performansının düşmesi durumunda veri kaymasını tespit edebilir. İzler, sorunun görüntü veri ön işleme sürecindeki bir değişiklikten mi yoksa giriş dağılımındaki bir kaymadan mı kaynaklandığını ortaya çıkararak yapay zeka güvenliğini tehlikeye atmadan hızlı bir şekilde giderilmesini sağlayabilir.

Modern Araçlarla Entegrasyon#

Modern iş akışları genellikle gözlemlenebilirliği doğrudan eğitim platformuna entegre eder. Ultralytics Platform kullanıcıları, kayıp eğrilerinin, sistem performansının ve veri kümesi analizinin yerleşik görselleştirmesinden yararlanır. Ayrıca TensorBoard ve MLflow gibi araçlarla yapılan standart entegrasyonlar, veri bilimcilerin tüm model yaşam döngüsü boyunca titiz deney takibini ve gözlemlenebilirliği sürdürmesine olanak tanır.