Observability

Observability refers to the capability of understanding the internal state of a complex system based solely on its external outputs. In the rapidly evolving fields of Artificial Intelligence (AI) and Machine Learning (ML), observability goes beyond simple status checks to provide deep insights into why a model behaves in a certain way. As modern Deep Learning (DL) architectures—such as the state-of-the-art YOLO26—become increasingly sophisticated, they can often function as "black boxes." Observability tooling creates a transparent window into these systems, allowing engineering teams to debug unexpected behaviors, trace the root causes of errors, and ensure reliability in production environments.

Link to this sectionGözlemlenebilirlik ve İzleme (Monitoring)#

Sıklıkla birbirinin yerine kullanılsa da, gözlemlenebilirlik ve model izleme, MLOps yaşam döngüsü içinde farklı ama birbirini tamamlayan amaçlara hizmet eder.

• Model İzleme reaktiftir ve "bilinen bilinmeyenlere" odaklanır. Çıkarım gecikmesi, CPU kullanımı veya hata oranları gibi önceden tanımlanmış metriklerin belirlenen eşiklere göre izlenmesini içerir. İzleme şu soruya yanıt verir: "Sistem sağlıklı mı?"
• Gözlemlenebilirlik proaktiftir ve "bilinmeyen bilinmeyenleri" ele alır. Eğitim verisi hazırlığı sırasında öngörülmeyen yeni sorunları araştırmak için gereken granüler verileri (loglar, izler ve yüksek kardinaliteli olaylar) sağlar. Google SRE Book'ta açıklandığı gibi, gözlemlenebilir bir sistem, yeni kod yayınlamadan yeni davranışları anlamanıza olanak tanır. Şu soruya yanıt verir: "Sistem neden bu şekilde davranıyor?"

Link to this sectionGözlemlenebilirliğin Üç Sütunu#

Bilgisayarlı Görü (CV) hatlarında gerçek gözlemlenebilirliği elde etmek için sistemler genellikle üç temel telemetri verisi türüne dayanır:

1. Loglar: Ayrık olayların zaman damgalı, değiştirilemez kayıtları. Bir tespit hattında log, giriş görüntüsü çözünürlüğünü veya bir çalıştırma sırasında kullanılan belirli hiperparametre optimizasyonu yapılandırmasını yakalayabilir. Genellikle JSON formatındaki yapılandırılmış loglama, karmaşık sorgulama ve analize olanak tanır.

2. Metrikler: Ortalama kesinlik, bellek tüketimi veya GPU kullanımı gibi zaman içinde ölçülen toplanmış sayısal veriler. Prometheus ve Grafana gibi araçlar, eğilimleri görselleştirmek için bu zaman serisi verilerini depolamak adına standarttır.

3. İzler (Traces): İzleme, bir isteğin çeşitli mikro hizmetler boyunca akarken yaşam döngüsünü takip eder. Dağıtılmış yapay zeka uygulamaları için OpenTelemetry gibi standartlar, bir isteğin yolunu haritalamaya yardımcı olarak çıkarım motorundaki darboğazları veya ağ gecikmelerini vurgular. Jaeger gibi özel araçlar, bu dağıtılmış işlemleri görselleştirmeye yardımcı olur.

Link to this sectionPython'da Gözlemlenebilirliği Uygulama#

Belirli iç durumları loglamak için callback'ler (geri çağırmalar) kullanarak eğitim hatlarındaki gözlemlenebilirliği artırabilirsin. Aşağıdaki örnek, performans metriklerini gerçek zamanlı olarak izlemek için bir YOLO26 eğitim oturumuna nasıl özel bir callback ekleneceğini göstermektedir.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Link to this sectionGerçek Dünya Uygulamaları#

Gözlemlenebilirlik, test verilerinin gerçek dünya koşullarıyla tam olarak eşleşmeyebileceği dinamik ortamlarda yüksek performanslı modeller dağıtmak için kritiktir.

• Otonom Araçlar: Otonom araçların geliştirilmesinde gözlemlenebilirlik, mühendislerin bir devreden çıkma olayı sırasında sistemin tam durumunu yeniden oluşturmalarına olanak tanır. Nesne tespiti çıktılarını sensör logları ve kontrol komutlarıyla ilişkilendirerek ekipler, bir frenleme hatasının sensör gürültüsünden, bir model tahmin hatasından veya planlama modülündeki bir mantık hatasından kaynaklanıp kaynaklanmadığını belirleyebilir.
• Sağlık Tanılama: Sağlıkta yapay zekada tutarlı performans sağlamak, hasta güvenliği için hayati önem taşır. Gözlemlenebilirlik araçları, bir modelin performansı yeni bir MRI tarayıcısı türünden gelen görüntülere uygulandığında düşerse veri kaymasını tespit edebilir. İzler, sorunun görüntü veri ön işlemedeki bir değişiklikten mi yoksa giriş dağılımındaki bir kaymadan mı kaynaklandığını ortaya çıkarabilir ve yapay zeka güvenliğinden ödün vermeden hızlı düzeltme yapılmasına olanak tanır.

Link to this sectionModern Araçlarla Entegrasyon#

Modern iş akışları genellikle gözlemlenebilirliği doğrudan eğitim platformuna entegre eder. Ultralytics Platform kullanıcıları; kayıp eğrilerinin, sistem performansının ve veri kümesi analizinin yerleşik görselleştirmesinden yararlanır. Ayrıca, TensorBoard ve MLflow gibi araçlarla yapılan standart entegrasyonlar, veri bilimcilerin tüm model yaşam döngüsü boyunca titiz bir deney takibi ve gözlemlenebilirlik sürdürmelerine olanak tanır.