Ultralytics Platform üzerinde dağıtılmış bilgisayarlı görü modellerini izleme

Görüntü ve videoları analiz eden bilgisayarlı görü modellerini test etmek, onları üretim ortamında çalıştırmakla her zaman aynı şey değildir. Geliştirme aşamasında bu tür modeller veya algoritmalar, koşulların kontrollü ve öngörülebilir olduğu temiz ve iyi hazırlanmış veri kümeleri üzerinde test edilir.

Dağıtım yapıldıktan sonra işler daha dinamik bir hale gelir. Modeller, istek hacimlerinin değişebildiği, yanıt sürelerinin farklılaşabildiği ve zaman zaman hataların meydana gelebildiği gerçek dünya trafiğine maruz kalır.

Bu aşamada odak noktası, sistemin güvenilir bir şekilde çalışıp çalışmadığı ve değişen koşullar altında uç noktaların (endpoints) erişilebilir, yanıt verebilir ve kararlı kalıp kalmadığıdır.

İşte bu yüzden izleme (monitoring) şarttır. İzleme; istek hacmi, gecikme, hata oranları ve genel sistem sağlığı gibi metrikler aracılığıyla dağıtılmış uç noktaların üretimde nasıl davrandığına dair net bir görünüm sağlar.

Bunu kolaylaştırmak için doğru araçlara sahip olmak, modelin kendisi kadar önemli hale gelir. Ultralytics kısa süre önce, veriden eğitime, dağıtımdan izlemeye kadar tüm bilgisayarlı görü iş akışını bir araya getiren yeni uçtan uca ortamımız olan Ultralytics Platform'u kullanıma sundu.

Şekil 1. İzleme özelliklerine sahip Ultralytics Platform dağıtım paneli (Kaynak)

Bu iş akışına doğrudan entegre edilmiş izleme özelliği sayesinde, ayrı araçlara ihtiyaç duymadan uç nokta sağlığını takip edebilir, istek davranışlarını inceleyebilir ve güvenilir sistemleri koruyabilirsin. Bu makalede, dağıtılmış model uç noktalarını izlemek ve üretim sistemlerinin sorunsuz çalışmasını sağlamak için Ultralytics Platform'u nasıl kullanacağını keşfedeceğiz. Hadi başlayalım!

Link to this sectionYapay zeka modeli izlemeye genel bir bakış#

Bir yapay zeka modeli yaşam döngüsünde izleme, model canlıya alındıktan ve gerçek dünya isteklerini karşılamaya başladıktan sonra dağıtılmış sistemlerin davranışlarını gözlemlemeyi ifade eder. Eğitim ve doğrulama süreçleri, bir makine öğrenmesi modelinin (ML modeli) hazırlanan veri kümeleri üzerinde nasıl performans gösterdiğini gösterirken, izleme süreci dağıtılmış uç noktanın üretim ortamında nasıl çalıştığına odaklanır.

İzlemenin çok önemli bir parçası, güvenilirliği ve yanıt verebilirliği yansıtan sistem düzeyi metriklerini takip etmektir. Gecikme (latency) ve çalışma süresi (uptime) gibi metrikler, sistemin gelen istekleri ne kadar iyi yönettiğini anlamaya yardımcı olur. Gecikme, bir isteği işlemek ve yanıt döndürmek için ne kadar süre harcandığını ölçerken, çalışma süresi uç noktanın ne kadar tutarlı bir şekilde erişilebilir kaldığını vurgular.

Bir diğer önemli husus ise, isteklerin nasıl yönetildiğine dair görünürlük sağlayan gözlemlenebilirliktir (observability). Görüntü veya video karesi gibi bir girdi dağıtılmış bir modele her gönderildiğinde, bu bir çıkarım (inference) isteği olarak işlenir.

Günlükler (logs), bu istekleri zaman damgaları, yanıt süreleri ve durum kodları gibi ayrıntılarla birlikte kaydeder. Bu günlükler, isteklerin izini sürmeyi, sorunları gidermeyi ve hata durumlarını incelemeyi kolaylaştırır. Özellikle tekrarlayan hatalar, yavaş yanıtlar veya beklenmedik sistem davranışları gibi kalıpları belirlemek için oldukça kullanışlıdır.

Metrikleri ve günlükleri birleştiren izleme özelliği, sistemlerinin üretimde nasıl çalıştığını anlamana ve ortaya çıkan sorunlara hızla müdahale etmene yardımcı olur.

Link to this sectionModel performans metriklerine ve sistem metriklerine bir bakış#

Üretim izlemeye dalmadan önce, model performans metrikleri ile sistem metrikleri arasındaki farkı tartışalım.

Genellikle model izleme; doğruluk (accuracy), kesinlik (precision), duyarlılık (recall) ve mAP (ortalama hassasiyet) gibi model metrikleri olarak da bilinen değerlendirme metrikleri ile ilişkilendirilir. Bu metrikler, modelin davranışını tanımlamak ve model tahminlerinin kalitesini, genellikle üretim verileri veya girdi verileriyle ilişkili olarak değerlendirmek için kullanılır. Özellikle yeni verilerdeki uç durumları (edge cases) veya aykırı değerleri belirlemek için çok yararlı olabilirler.

Ancak bu, dağıtılmış bir sistemi üretimde izlemekten farklıdır. Bu bağlamda izleme, model tahminlerini doğrudan değerlendirmek yerine sistemin nasıl çalıştığına odaklanır.

Dağıtım izleme, model metrikleri yerine istek hacmi, gecikme, hata oranları ve çalışma süresi gibi sistem düzeyi sinyallerine dayanır. Bu metrikler; uç noktaların girdi verilerini nasıl yönettiği, ne kadar tutarlı yanıt verdiği ve üretim ortamlarında nasıl çalıştığına dair görünürlük sağlar.

Link to this sectionBilgisayarlı görü projelerinde model izlemenin rolü#

Şimdi, bilgisayarlı görü dağıtımlarında izleme sistemine olan ihtiyacı vurgulayan gerçek dünyadan bir örneğe bakalım.

İnsan vücudu hareketlerini tanımlamak ve analiz etmek için kullanılan bir bilgisayarlı görü görevi olan ve inşaat işçilerinin güvenlik uyumluluğunu izlemek için uygulanan poz tahmini çözümünü ele alalım. İlk model dağıtımı sırasında böyle bir sistem, net görüş ve standart senaryolarla kontrollü koşullar altında iyi performans gösterebilir.

Ancak, gerçek inşaat sahaları ek karmaşıklıklar getirir. İstek hacimleri gün boyunca değişebilir, ağ koşulları tutarsız olabilir ve aynı anda birden fazla kamera veya uç nokta veri gönderiyor olabilir. Sistem düzgün bir şekilde izlenmezse, bu faktörler daha yavaş yanıtlara veya ara sıra oluşan hatalara yol açabilir.

Şekil 2. Bir inşaat sahasında işçileri izlemek için kullanılan poz tahmini (Kaynak)

Bunun gibi bir üretim ortamında, sistemin ne kadar güvenilir bir şekilde çalıştığını anlamak önemli hale gelir. İzleme, uç noktaların erişilebilir olup olmadığı, gelen isteklere ne kadar hızlı yanıt verdikleri ve zaman içinde trafiği ne kadar tutarlı bir şekilde yönettikleri konusunda görünürlük sağlar.

Örneğin, gecikmedeki bir artış daha yüksek yüke veya kaynak kısıtlamalarına işaret edebilirken, hata oranlarındaki yükseliş istek yönetimi veya sistem kararlılığı ile ilgili sorunlara işaret edebilir. Günlükler, bireysel isteklerin nasıl işlendiğini ve hataların nerede meydana geldiğini göstererek daha fazla bağlam ekler.

Yapay zeka meraklıları ve veri bilimciler, bu sinyalleri takip ederek sorunları erkenden tespit edebilir, daha etkili sorun giderme işlemleri yapabilir ve gerçek dünya koşulları değişse bile sistemlerinin güvenilir bir şekilde çalışmaya devam etmesini sağlayabilirler.

Link to this sectionDağıtılmış görü modellerini izlemek için Ultralytics Platform'u kullanma#

Birçok derin öğrenme iş akışında izleme; günlük kaydı, metrikler ve sistem sağlığı için ayrı araçlar kullanılarak yönetilir. Bu parçalı kurulum, dağıtılmış uç noktaların üretimde nasıl çalıştığına dair net bir görüş elde etmeyi zorlaştırabilir ve dağıtımların yönetimini karmaşıklaştırır.

Ultralytics Platform, veri alımı ve etiketlemeden eğitime, dağıtıma ve izlemeye kadar tüm bilgisayarlı görü iş akışını kapsayan birleşik bir ortama izlemeyi doğrudan dahil ederek bu süreci basitleştirir.

Bu entegre kurulum ile kullanıcılar, harici günlük sistemleri veya ek paneller kurmaya gerek kalmadan dağıtılmış uç noktalarının gerçek dünya trafiğini nasıl yönettiğini takip edebilirler. Her şey tek bir yerde mevcuttur, bu da sistem davranışını gözlemlemeyi ve zaman içinde güvenilir dağıtımları korumayı kolaylaştırır.

İzleme özelliklerine doğrudan Deploy sekmesinden erişilebilir. Kullanıcılar tek bir panelden anahtar metrikleri takip edebilir, istek düzeyindeki davranışları analiz edebilir ve eğilimleri görselleştirebilirler. Bu yerleşik görselleştirmeler, araçlar arasında geçiş yapmadan çözümlerin nasıl performans gösterdiğini anlamayı kolaylaştırır.

İzlemeyi, dağıtımı ve model yönetimini daha geniş bir iş akışı içinde bir araya getiren platform, karmaşıklığı azaltır. Bu da dağıtımları yönetmeye, sistem performansını optimize etmeye ve güvenilirliği korumaya odaklanmayı daha sorunsuz hale getirir.

Link to this sectionUltralytics Platform'un yerleşik izleme özellikleri#

Gerçek dünya dağıtımlarında izleme, koşullar zaman içinde değiştikçe sistemlerin nasıl çalıştığına dair net bir görünürlüğe sahip olmaya bağlıdır. Bu, sadece birkaç metriği takip etmenin ötesine geçer ve uç noktaların ortamlar genelinde nasıl davrandığını anlamayı ve birden fazla dağıtımı etkili bir şekilde yönetmeyi içerir.

Yapay zeka topluluğundan gelen yaygın bilgisayarlı görü zorlukları hakkındaki geri bildirimlerden esinlenen Ultralytics Platform, izlemeyi daha pratik ve ölçeklenebilir kılan çeşitli yetenekler içerir.

İşte bu temel özelliklerden bazılarının bir özeti:

• Küresel dağıtım görünürlüğü: Deploy sayfası, aktif ve devam eden uç noktalar için görsel göstergeler içeren dağıtım bölgelerini gösteren etkileşimli bir dünya haritası içerir; bu sayede kullanıcılar coğrafi dağılımı ve bölgesel etkinliği izleyebilir.
• Esnek panel görünümleri: Dağıtımlar paneli; kart görünümü, kompakt ızgara ve isim, bölge, durum ve istekler gibi sıralanabilir sütunlara sahip tablo görünümü dahil olmak üzere yapılandırılmış izlemeyi ve karşılaştırmayı destekleyen birden fazla görünüm modu sağlar.
• Birden fazla uç noktayı izleme: Panel, özet kartları ve dağıtım listelerini kullanarak tüm dağıtımlardaki izleme verilerini toplar.
• Veri saklama politikaları: İzleme verileri belirli bir süre boyunca tutulur; metrikler 30 gün, günlükler ise 7 gün boyunca erişilebilir durumdadır; bu da yakın dönem performans analizi ve sorun giderme iş akışlarını destekler.
• Harici izleme desteği: Dağıtım uç noktaları, Datadog, New Relic ve çalışma süresi izleme hizmetleri gibi harici araçlar kullanılarak izlenebilir veya özel izleme ve sağlık kontrolleri için API uç noktaları aracılığıyla erişilebilir.

Bir sonraki bölümde, bu özelliklerden bazılarını daha ayrıntılı inceleyeceğiz ve üretimdeki dağıtılmış uç noktaları izlemek için nasıl kullanılabileceklerini göreceğiz.

Link to this sectionUltralytics Platform kullanarak temel performans metrikleri nasıl takip edilir#

Bir model dağıtıldıktan sonra izleme, temel sistem metriklerini takip etmekle başlar. Doğruluk ve duyarlılık gibi metrikler geliştirme sırasında yararlı olsa da, üretim izleme; uç noktaların gerçek dünya trafiğini ne kadar güvenilir bir şekilde yönettiğine dair ölçülebilir içgörüler sağlayan yanıt süresi ve hata oranları gibi sistem düzeyi sinyallerine odaklanır.

Ultralytics Platform, uç nokta etkinliğine ve sistem davranışına dair net bir görünüm sunan merkezi bir panel sağlar. Özellikle Dağıtım paneli, uç noktaların nasıl kullanıldığını ve gelen isteklere nasıl yanıt verdiğini gösteren dört anahtar metrik içerir.

İşte bu metriklerin daha yakından incelenmesi:

• Toplam istekler: 24 saatlik bir süre boyunca tüm uç noktalara yapılan toplam istek sayısı. Bu, kullanım kalıplarını ve genel talebi belirlemeye yardımcı olur.
• Aktif dağıtımlar: Şu anda çalışan ve isteklere yanıt veren uç nokta sayısı.
• P95 gecikme: İsteklerin %95'inin tamamlandığı yanıt süresi. Bu, daha yavaş yanıtları hesaba katarak performansın daha gerçekçi bir görünümünü sağlar.
• Hata oranı: Toplam istek sayısının yüzdesi olarak başarısız olan isteklerin oranıdır. Bu metrik, sorunları belirlemeye yardımcı olur ve anomalileri tespit etmek için kullanılabilir.

Kısacası, bu metrikler dağıtılmış uç noktaların üretimde nasıl çalıştığına dair net bir görünüm sağlar. Ekipler ve bireyler, kullanım kalıplarını analiz ederek trafik dağılımını anlayabilir, yoğun yük dönemlerini belirleyebilir ve kullanım arttıkça sistemlerin yanıt verebilir ve güvenilir kalmasını sağlayabilirler.

Link to this sectionGünlükler aracılığıyla model dağıtım davranışını anlama#

Metrikler sistem performansının üst düzey bir görünümünü sağlarken, günlükler dağıtılmış uç noktaların bireysel istekleri nasıl yönettiğine dair daha ayrıntılı bir bakış sunar. Günlükler, bir uç noktaya gönderilen her isteği ilgili yanıtıyla birlikte kaydeder.

Sorunları takip etmek, hataları incelemek ve isteklerin nasıl işlendiğini anlamak için yararlıdırlar. Ultralytics Platform içinde, günlükler dahil olmak üzere ayrıntılarını görüntülemek için herhangi bir dağıtımı seçebilirsin.

Şekil 3. Ultralytics Platform içindeki günlüklerin bir örneği (Kaynak)

Platformdaki bir günlük girişi yapılandırılmış bir biçimde görüntülenir, bu da her istek sırasında ne olduğunu anlamayı kolaylaştırır. Her giriş, olayın ne kadar önemli olduğunu gösteren bir önem düzeyi (severity level) ve gerçekleştiği zamanı gösteren bir zaman damgası içerir.

Ayrıca olayı tanımlayan bir mesaj ve durum kodları ile gecikme gibi HTTP ile ilgili ayrıntıları içerir. Bu bilgiler, isteklerin izini sürmeye, sorun gidermeye ve sorunları daha etkili bir şekilde hata ayıklamaya yardımcı olur. Bunların yanı sıra günlükler önem düzeyine göre gruplandırılır, böylece kullanıcılar dikkat gerektiren dağıtımlara öncelik verebilirler.

Link to this sectionUltralytics Platform'da uç nokta sağlığını ve güvenilirliğini analiz etme#

İzleme ayrıca; düzgün çalışıp çalışmadıkları, zamanında yanıt verip vermedikleri ve istekleri hatasız bir şekilde sürekli olarak yönetip yönetmedikleri dahil olmak üzere dağıtılmış uç noktaların genel sağlığını anlamayı da içerir. Ultralytics Platform, her dağıtımın sağlık durumunun net bir görünümünü sağlar, bu da uç noktaların beklendiği gibi çalıştığını doğrulamayı kolaylaştırır.

Platform, her dağıtım için görsel sağlık göstergeleri içerir ve bunlar bireysel dağıtım kartlarında görüntülenir.

Örneğin, yeşil bir gösterge uç noktanın sağlıklı olduğunu ve normal yanıt verdiğini gösterirken, kırmızı bir gösterge sorunları veya kesintiyi işaret eder. Dönen bir simge, sistemin dağıtımın durumunu aktif olarak kontrol ettiğini gösterir.

Uç nokta sağlığını zaman içinde takip ederek, sorunları erkenden tespit etmek, tutarlı performansı korumak ve üretimde çalışan uygulamalar için istikrarlı bir deneyim sağlamak mümkün hale gelir.

Link to this sectionİzleme verileri ile performans iyileştirme arasındaki bağlantı#

Model izleme sadece metrikleri takip etmekle ilgili değildir. Zaman içinde sürekli iyileştirmeyi destekleyen bir geri bildirim döngüsü oluşturur. Uç noktalar gerçek dünya trafiğini yönettikçe, artan gecikme, yüksek hata oranları veya tutarsız sistem davranışları gibi sorunları ortaya çıkarabilecek kalıplar metriklerde ve günlüklerde belirmeye başlar.

İzleme, dikkat gerektiren alanları vurgular. Örneğin, sürekli yüksek gecikme, daha iyi kaynak tahsisine veya ölçeklendirmeye ihtiyaç duyulduğuna işaret edebilirken, artan hata oranı istek yönetimi veya sistem kararlılığıyla ilgili sorunlara işaret edebilir.

Bu sorunlar tanımlandıktan sonra güvenilirliği artırmak için adımlar atılabilir. Bu, altyapıyı ayarlamayı, kaynakları ölçeklendirmeyi veya isteklerin nasıl işlendiğindeki sorunları düzeltmeyi içerebilir. Bu değişikliklerden sonra performansın iyileştiğini doğrulamak için sistemler izlenmeye devam edilebilir.

İzlemeyi sürekli iyileştirmelerle ilişkilendirerek, kullanım arttıkça ve koşullar değiştikçe kullanıcılar sağlam sistemlerini koruyabilirler.

Link to this sectionGerçek dünyadan bir örneği inceleme: Havacılıkta bagaj elleçlemeyi izleme#

İzlemenin gerçek bir senaryodaki etkisini daha iyi anlamak için, havacılık yer operasyonlarının otomasyonuna nasıl uygulandığını inceleyelim.

Hava aracı yer operasyonları sırasında bagaj yükleme ve boşaltmayı izlemek için tasarlanmış bir görü sistemini ele alalım. Bu kurulumda, Ultralytics YOLO26 gibi bir nesne algılama modeli, bagajların konveyör bantlarından veya elleçleme ekipmanından düşüp düşmediğini algılamak için kullanılabilir.

Test ve erken dağıtım sırasında gerçek zamanlı sistem iyi performans gösterebilir, bagajları doğru bir şekilde tanımlayıp hızlı yanıt verebilir.

Ancak canlı bir havaalanı ortamında koşullar çok daha az öngörülebilirdir. Gün boyunca ışık değişir, birden fazla kamera aynı anda veri akışı sağlar ve yoğun dönemlerde istek hacimleri ani yükselişler gösterir. Bu faktörler gecikmenin artmasına veya hataların görünmesine neden olabilir ve sistem üzerinde görünürlük olmadığında, bu tür sorunlar kolayca fark edilmeyebilir.

İzlemenin değerli hale geldiği nokta burasıdır. İstek hacmi, gecikme ve hata oranları gibi metrikleri ayrıntılı günlüklerle birlikte takip ederek, ekipler bir uç noktanın ne zaman yavaşladığını veya başarısız olduğunu hızla görebilirler. Yoğun saatlerde gecikme artarsa, bu durum kaynakları ölçeklendirme ihtiyacına işaret edebilir; ani hata artışları ise belirli kameralarla veya istek yönetimiyle ilgili sorunlara dikkat çekebilir. Bu sinyallere göre hareket etmek, sistemin güvenilir kalmasına yardımcı olur, böylece koşullar değişse bile bagaj elleçleme işlemleri doğru bir şekilde izlenmeye devam edilebilir.

Link to this sectionÖnemli çıkarımlar#

İzleme, dağıtılmış bilgisayarlı görü modellerinin geliştirmenin kontrollü koşullarından çıkıp gerçek dünya trafiğini yönetmeye başladıklarında güvenilir kalmalarını sağlayan şeydir. İstek hacmi, gecikme, hata oranları ve çalışma süresi gibi sistem düzeyi sinyallerine ve ayrıntılı günlüklere odaklanan izleme, sorunları erkenden tespit etmek ve üretim sistemlerinin sorunsuz çalışmasını sağlamak için gereken görünürlüğü sağlar.

Doğrudan dağıtım iş akışına entegre edilmiş izleme özelliğiyle Ultralytics Platform, ayrı araçlara ihtiyaç duymadan uç nokta sağlığını takip etmeyi, istek davranışını incelemeyi ve güvenilir sistemleri korumayı kolaylaştırır. Veri, eğitim, dağıtım ve izlemeyi tek bir yerde bir araya getiren platform, ekiplerin denemelerden güvenilir gerçek dünya dağıtımlarına geçmelerine yardımcı olur.

Büyüyen topluluğumuza katıl ve vision AI hakkında daha fazla bilgi edinmek için GitHub depomuzu keşfet. Vision AI ile bugün geliştirme yapmak için lisanslama seçeneklerimize göz at. Üretimde yapay zeka ve sağlıkta yapay zeka uygulamalarının geleceği nasıl şekillendirdiğini keşfetmek için çözüm sayfalarımızı ziyaret et.