Gözlemlenebilirlik

Gözlenebilirlik, mühendislik ekiplerinin karmaşık sistemlerin iç durumlarını aktif bir şekilde hata ayıklamasına ve anlamasına olanak tanır dış çıktıları üzerinde. Hızla gelişen alanlarda Yapay Zeka (AI) ve Makine Öğrenimi (ML), bu kavram kritik öneme sahiptir "kara kutu" dağıtımlarının ötesine geçmek için. Geleneksel yazılım testleri mantığı doğrulayabilirken, makine öğrenimi modelleri olasılıksal olarak çalışır, bu da geliştiricilerin sorunların temel nedenlerini araştırmasına olanak tanıyan sistemlere sahip olmayı gerekli kılar. beklenmedik tahminler, performans düşüşü veya arızalar sonrasında model dağıtımı.

Gözlemlenebilirlik ve İzleme

Sıklıkla birbirinin yerine kullanılsa da, bu terimler sistem güvenilirliğine yönelik farklı yaklaşımları temsil etmektedir.

• İzleme "bilinen bilinmeyenlere" odaklanır. Önceden tanımlanmış gösterge tablolarının izlenmesini içerir ve aşağıdaki gibi metrikler için uyarılar çıkarım gecikmesi veya hata oranları. İzleme "Sistem sağlıklı mı?" sorusuna cevap verir.
• Gözlemlenebilirlik "bilinmeyen bilinmeyenleri" ele alır. Gerekli ayrıntılı verileri sağlar Belirli bir başarısızlığın neden meydana geldiğine dair yeni, beklenmedik sorular sormak için. Kılavuzda açıklandığı gibi Google SRE Book, gözlemlenebilir bir sistem yeni kod göndermeden yeni davranışları anlamanızı sağlar. Şu soruya cevap verir: "Neden sistem bu şekilde mi davranıyor?"

Gözlemlenebilirliğin Üç Temel Direği

Derin içgörüler elde etmek için gözlemlenebilirlik üç temel telemetri verisi türüne dayanır:

1. Günlükler: Bunlar ayrık olayların zaman damgalı, değişmez kayıtlarıdır. Bir bilgisayarla görme (CV) işlem hattı, bir günlük giriş görüntüsü boyutlarını yakalamak veya hiperparametre ayarlama yapılandırması. Genellikle JSON formatında yapılandırılmış günlük kaydı, daha kolay Splunk gibi veri analiz araçları ile sorgulama.
2. Metrikler: Zaman içinde ölçülen toplu sayısal veriler, örneğin doğruluk, bellek tüketimi veya GPU kullanım. Gibi sistemler Prometheus, bu zaman serisi verilerini depolamak için yaygın olarak kullanılır ve ekiplerin aşağıdakileri yapmasına olanak tanır trendleri görselleştirin.
3. İzler: İzleme, çeşitli mikro hizmetler aracılığıyla yayılan bir isteğin yaşam döngüsünü takip eder. Dağıtık yapay zeka uygulamaları için OpenTelemetry ile uyumlu araçlar darboğazları vurgulayarak bir talebin yolunu belirler. çıkarım motoru veya ağ gecikmeleri.

YZ'de Gözlemlenebilirlik Neden Önemlidir?

Modellerin gerçek dünyaya dağıtılması, kontrollü eğitim ortamlarında mevcut olmayan zorlukları beraberinde getirir. Gözlemlenebilirlik aşağıdakiler için gereklidir:

• Veri Kaymasını Tespit Etme: Zaman içinde, canlı veriler aşağıdaki verilerden farklılaşabilir olarak bilinen bir olgu olan eğitim verileri veri sürüklenmesi. Gözlenebilirlik araçları girdiyi görselleştirir Yeniden eğitim gerektiğinde mühendisleri uyarmak için dağıtımlar.
• Yapay Zeka Güvenliğinin Sağlanması: Yüksek riskli alanlar için, model kararlarını anlamak aşağıdakiler için hayati önem taşır Yapay zeka güvenliği. Ayrıntılı içgörüler denetim kararlarına yardımcı olur güvenlik protokolleri ile uyumlu olduklarından emin olun ve Yapay zekada adalet.
• Performans Optimizasyonu: Ayrıntılı izleri analiz ederek, MLOps ekipleri şunları belirleyebilir Gereksiz hesaplamalar veya kaynak kısıtlamaları, maliyet ve hızı optimize eder.
• "Kara Kutularda" Hata Ayıklama: Derin öğrenme modelleri genellikle şeffaf değildir. Gözlemlenebilirlik platformları Honeycomb gibi mühendislerin yüksek boyutlu verileri dilimleyip Bir modelin belirli bir uç durumda neden başarısız olduğunu belirleyin.

Gerçek Dünya Uygulamaları

Gözlemlenebilirlik, sektörler genelinde modern yapay zeka çözümlerinin güvenilirliğini sağlamada çok önemli bir rol oynamaktadır.

• Otonom Araçlar: Geliştirilmesinde otonom araçlar, gözlemlenebilirlik mühendisleri, bir ayrılma olayı sırasında sistemin tam durumunu yeniden yapılandırmak için. İlişkilendirerek sensör günlükleri ile nesne algılama çıktıları ve kontrol komutları sayesinde, ekipler bir frenleme hatasının sensör gürültüsünden mi yoksa bir model tahmin hatasından mı kaynaklandığını belirleyebilir.
• Sağlık Teşhis Cihazları: İçinde Sağlık hizmetlerinde yapay zeka, güvenilir operasyon çok önemlidir. Gözlemlenebilirlik, tıbbi görüntüleme modellerinin farklı hastanelerde tutarlı performans göstermesini sağlar makineler. Bir modelin performansı düşerse, izler sorunun görüntü çözünürlüğündeki bir değişiklikten mi yoksa Veri ön işleme hattında bir gecikme, hasta bakımından ödün vermeden hızlı düzeltme sağlar.

Ultralytics ile Gözlenebilirliği Uygulama

Etkili gözlemlenebilirlik, uygun günlük kaydı ve deney takibi ile başlar. Ultralytics modelleri sorunsuz bir şekilde entegre olur MLflow gibi araçlarla, Weights & Biasesve TensorBoard metrikleri, parametreleri ve eserler otomatik olarak.

Aşağıdaki örnekte bir YOLO11 günlükleri belirli bir projede düzenlerken model yapısı, dosya tabanlı gözlemlenebilirliğin temelini oluşturur:

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model, saving logs and results to a specific project directory
# This creates structured artifacts useful for post-training analysis
model.train(data="coco8.yaml", epochs=3, project="observability_logs", name="experiment_1")

Üretim ortamları için ekipler genellikle bu günlükleri aşağıdaki gibi merkezi platformlarda toplar Datadog, New Relic veya Tüm yapay zekalarının birleşik bir görünümünü korumak için Elastic Stack altyapı. Gelişmiş görselleştirme, aşağıdaki gibi açık kaynaklı gösterge tabloları kullanılarak da elde edilebilir Grafana.