Gözlemlenebilirlik

Gözlemlenebilirlik, yalnızca dış çıktılarına dayanarak karmaşık bir sistemin iç durumunu anlama yeteneğini ifade eder. Hızla gelişen yapay zeka (AI) Yapay Zeka (AI) ve Makine Öğrenimi (ML)gelişen alanlarda, gözlemlenebilirlik basit durum kontrollerinin ötesine geçerek, bir modelin neden belirli bir şekilde davrandığına dair derin içgörüler sağlar. Modern Derin Öğrenme (DL) mimarilerinde olduğu gibi, en son teknoloji YOLO26gibi modern Derin Öğrenme (DL) mimarileri giderek daha sofistike hale geldikçe, genellikle "kara kutu" olarak işlev görebilirler. Gözlemlenebilirlik araçları, bu sistemlere şeffaf bir pencere açarak mühendislik ekiplerinin beklenmedik davranışları hata ayıklamasına, hataların kök nedenlerini izlemesine ve üretim ortamlarında güvenilirliği sağlamasına olanak tanır.

Gözlemlenebilirlik ve İzleme

Sıklıkla birbirinin yerine kullanılmasına rağmen, gözlemlenebilirlik ve model izleme , MLOps içinde farklı ancak birbirini tamamlayan amaçlara hizmet eder. MLOps yaşam döngüsü içinde farklı

• Model İzleme reaktif olup "bilinen bilinmeyenler"e odaklanır. Bu, önceden tanımlanmış metriklerin izlenmesini içerir, örneğin çıkarım gecikmesi, CPU veya hata oranları gibi önceden tanımlanmış metriklerin izlenmesini içerir. İzleme, "Sistem sağlıklı mı?"
• Gözlemlenebilirlik proaktiftir ve "bilinmeyen bilinmeyenleri" ele alır. Eğitim sırasında öngörülemeyen yeni sorunları araştırmak için gerekli olan ayrıntılı veriler (günlükler, izler ve yüksek kardinaliteli olaylar) sağlar. . hazırlığı sırasında öngörülemeyen yeni sorunları araştırmak için gerekli olan ayrıntılı verileri (günlükler, izler ve yüksek kardinaliteli olaylar) sağlar. Google Kitabı, gözlemlenebilir bir sistem, yeni kod göndermeden yeni davranışları anlamanıza olanak tanır. Şu soruyu yanıtlar: "Sistem neden bu şekilde davranıyor?"

Gözlemlenebilirliğin Üç Temel Direği

Gerçek gözlemlenebilirliği elde etmek için bilgisayar görme (CV) süreçlerinde gerçek gözlemlenebilirlik elde etmek için, sistemler genellikle üç ana telemetri veri türüne dayanır:

1. Günlükler: Zaman damgalı, değiştirilemez ayrı olay kayıtları. Bir algılama boru hattında, bir günlük giriş görüntüsünün çözünürlüğünü veya belirli hiperparametre ayarlamasını yapılandırmasını yakalayabilir. Yapılandırılmış günlük kaydı, genellikle JSON formatında yapılan yapılandırılmış günlük kaydı, karmaşık sorgulama ve analizlere olanak tanır.
2. Metrikler: Zaman içinde ölçülen toplu sayısal veriler, örneğin ortalama doğruluk, bellek tüketimi veya GPU kullanımı gibi zaman içinde ölçülen toplu sayısal veriler. Prometheus Prometheus ve Grafana , bu zaman serisi verilerini depolamak ve trendleri görselleştirmek için standart olarak kullanılır.
3. İzler: İzleme, çeşitli mikro hizmetlerden geçen bir isteğin yaşam döngüsünü takip eder. Dağıtılmış AI uygulamaları için, OpenTelemetry gibi standartlar, bir isteğin yolunu haritalandırmaya yardımcı olur ve çıkarım motorundaki çıkarım motorundaki veya ağ gecikmelerini vurgular. Jaeger gibi özel araçlar, bu dağıtılmış işlemlerin görselleştirilmesine yardımcı olur. Bu dağıtılmış işlemlerin görselleştirilmesine yardımcı olur.

Python'da Gözlemlenebilirlik Uygulaması

Geri aramaları kullanarak belirli iç durumları günlüğe kaydederek eğitim boru hatlarınızda gözlemlenebilirliği artırabilirsiniz. Aşağıdaki örnek, bir YOLO26 geri çağırma ekleyerek performans ölçütlerini gerçek zamanlı olarak izlemek için nasıl özel bir geri çağırma eklenir.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")


# Define a custom callback for observability
def on_train_epoch_end(trainer):
    # Access and print specific metrics at the end of each epoch
    map50 = trainer.metrics.get("metrics/mAP50(B)", 0)
    print(f"Observability Log - Epoch {trainer.epoch + 1}: mAP50 is {map50:.4f}")


# Register the callback and start training
model.add_callback("on_train_epoch_end", on_train_epoch_end)
model.train(data="coco8.yaml", epochs=3)

Gerçek Dünya Uygulamaları

Gözlemlenebilirlik, dinamik ortamlarda yüksek performanslı modellerin dağıtılması için kritik öneme sahiptir. test verilerinin gerçek dünya koşullarıyla tam olarak eşleşmeyebilecek dinamik ortamlarda yüksek performanslı modellerin dağıtılması için çok önemlidir.

• Otonom Araçlar: otonom araçlarıngeliştirilmesinde, gözlemlenebilirlik mühendislerin devre dışı kalma olayları sırasında sistemin tam durumunu yeniden oluşturmalarını sağlar. nesne algılama nesne algılama çıktılarını sensör günlükleri ve kontrol komutlarıyla ilişkilendirerek, ekipler frenleme hatasının sensör gürültüsünden, model tahmin hatasından veya planlama modülündeki mantık hatasından kaynaklanıp kaynaklanmadığını belirleyebilirler.
• Sağlık Teşhisi: Sağlık Hizmetlerinde sağlık hizmetlerinde yapay zeka, tutarlı performans sağlamak hasta güvenliği için hayati önem taşır. Gözlemlenebilirlik araçları, detect veri sapmasını gözlemlenebilirlik araçları, bir modelin performansı yeni bir MRI tarayıcı türünden alınan görüntülere uygulandığında düşerse veri sapmasını tespit edebilir. İzler, sorunun görüntü ön işleme ön işlemeden kaynağı mı yoksa giriş dağılımındaki AI güvenliği.

Modern Araçlarla Entegrasyon

Modern iş akışları genellikle gözlemlenebilirliği doğrudan eğitim platformuna entegre eder. Ultralytics kayıp eğrilerinin, sistem performansının ve veri seti analizinin yerleşik görselleştirilmesinden yararlanır. Ayrıca, TensorBoard TensorBoard ve MLflow ile standart entegrasyonlar, veri bilimcilerin tüm model yaşam döngüsü boyunca titiz deney takibi ve gözlemlenebilirlik sağlamasına olanak tanır.