Ultralytics Platform üzerinde dağıtılmış bilgisayarlı görü modellerini izleme

Görüntü ve video analiz eden bilgisayarlı görü modellerini test etmek, onları üretim ortamında çalıştırmakla her zaman aynı şey değildir. Geliştirme aşamasında, bu tür modeller veya algoritmalar, koşulların kontrollü ve tahmin edilebilir olduğu temiz, iyi hazırlanmış veri kümeleri üzerinde test edilir.

Dağıtım yapıldıktan sonra işler daha dinamik bir hal alır. Modeller, istek hacimlerinin değişebildiği, yanıt sürelerinin farklılaşabildiği ve zaman zaman hataların oluşabildiği gerçek dünya trafiğine maruz kalır.

Bu aşamada odak noktası, sistemin güvenilir bir şekilde çalışıp çalışmadığına, uç noktaların değişen koşullar altında erişilebilir, yanıt verebilir ve kararlı kalıp kalmadığına kayar.

İşte bu yüzden izleme (monitoring) çok önemlidir. İstek hacmi, gecikme, hata oranları ve genel sistem sağlığı gibi metrikler aracılığıyla, dağıtılmış uç noktaların üretimde nasıl davrandığına dair net bir görünüm sağlar.

Bunu kolaylaştırmak için, doğru araçlara sahip olmak en az modelin kendisi kadar önemli hale gelir. Yakın zamanda Ultralytics, veriden eğitime, dağıtımdan izlemeye kadar tüm bilgisayarlı görü iş akışını bir araya getiren uçtan uca yeni ortamımız Ultralytics Platform'u kullanıma sundu.

Şekil 1. Ultralytics Platform'un izleme özellikli dağıtım paneli (Kaynak)

İzleme özelliği doğrudan bu iş akışına dahil edildiğinde, kullanıcılar ayrı araçlara ihtiyaç duymadan uç nokta sağlığını takip edebilir, istek davranışlarını inceleyebilir ve güvenilir sistemler oluşturabilirler. Bu makalede, dağıtılmış model uç noktalarını izlemek ve üretim sistemlerini sorunsuz çalıştırmak için Ultralytics Platform'un nasıl kullanılacağını keşfedeceğiz. Haydi başlayalım!

Link to this sectionYapay zeka model izlemeye genel bakış#

Bir yapay zeka model yaşam döngüsünde izleme, model canlıya alınıp gerçek dünya isteklerini karşılamaya başladığında sistemin nasıl davrandığını gözlemlemek anlamına gelir. Eğitim ve doğrulama süreçleri bir makine öğrenimi modelinin (ML model) hazırlanan veri kümelerinde nasıl performans gösterdiğini ortaya koysa da, izleme süreci dağıtılmış uç noktanın üretim ortamında nasıl çalıştığına odaklanır.

İzlemenin çok önemli bir parçası, güvenilirliği ve yanıt verebilirliği yansıtan sistem düzeyi metrikleri takip etmektir. Gecikme ve çalışma süresi (uptime) gibi metrikler, sistemin gelen istekleri ne kadar iyi yönettiğini gösterir. Gecikme, bir isteğin işlenmesi ve yanıtın dönmesi için geçen süreyi ölçerken, çalışma süresi uç noktanın ne kadar tutarlı bir şekilde erişilebilir kaldığını vurgular.

Bir diğer önemli husus ise, isteklerin nasıl yönetildiğine dair görünürlük sağlayan gözlemlenebilirliktir (observability). Görüntü veya video karesi gibi bir girdi, dağıtılmış bir modele her gönderildiğinde, bu bir çıkarım isteği (inference request) olarak işlenir.

Günlükler (logs), bu istekleri zaman damgaları, yanıt süreleri ve durum kodları gibi ayrıntılarla birlikte yakalar. Bu günlükler, isteklerin izini sürmeyi, sorunları gidermeyi ve hatalar oluştuğunda bunları araştırmayı kolaylaştırır. Özellikle tekrarlayan hatalar, yavaş yanıtlar veya beklenmedik sistem davranışları gibi kalıpları belirlemek için son derece kullanışlıdırlar.

Metrikleri ve günlükleri birleştiren izleme, kullanıcıların sistemlerinin üretimde nasıl çalıştığını anlamalarına ve ortaya çıkan sorunlara hızlı bir şekilde yanıt vermelerine yardımcı olur.

Link to this sectionModel performans metrikleri ile sistem metriklerine bir bakış#

Üretim izleme sürecine dalmadan önce, model performans metrikleri ile sistem metrikleri arasındaki farkı tartışalım.

Genellikle model izleme, doğruluk (accuracy), kesinlik (precision), duyarlılık (recall) ve mAP (mean average precision) gibi model metrikleri olarak da bilinen değerlendirme metrikleriyle ilişkilendirilir. Bu metrikler, model davranışını tanımlamak ve genellikle üretim verileriyle veya girdi verileriyle ilişkili olarak model tahminlerinin kalitesini değerlendirmek için kullanılır. Özellikle yeni verilerdeki uç durumları veya aykırı değerleri belirlemek için oldukça faydalı olabilirler.

Ancak bu, üretimdeki dağıtılmış bir sistemi izlemekten farklıdır. Bu bağlamda izleme, model tahminlerini doğrudan değerlendirmek yerine sistemin nasıl çalıştığına odaklanır.

Dağıtım izleme, model metrikleri yerine istek hacmi, gecikme, hata oranları ve çalışma süresi gibi sistem düzeyi sinyallerine dayanır. Bu metrikler, uç noktaların girdi verilerini nasıl yönettiğine, ne kadar tutarlı yanıt verdiğine ve üretim ortamlarında nasıl faaliyet gösterdiğine dair görünürlük sağlar.

Link to this sectionBilgisayarlı görü projelerinde model izlemenin rolü#

Şimdi, bilgisayarlı görü dağıtımlarında izleme sistemine olan ihtiyacı vurgulayan gerçek dünya örneğine bakalım.

İnsan vücudu hareketlerini tanımlamak ve analiz etmek için kullanılan bir bilgisayarlı görü görevi olan pose estimation teknolojisinden yararlanan ve inşaat işçilerini güvenlik uyumluluğu açısından izleyen bir görü çözümü düşün. İlk model dağıtımı sırasında böyle bir sistem, net görüş açısı ve standart senaryolarla kontrollü koşullar altında iyi performans gösterebilir.

Ancak gerçek şantiyeler ek karmaşıklıklar getirir. İstek hacimleri gün boyunca değişebilir, ağ koşulları tutarsız olabilir ve birden fazla kamera veya uç nokta aynı anda veri gönderiyor olabilir. Sistem düzgün bir şekilde izlenmezse, bu faktörler daha yavaş yanıtlara veya ara sıra oluşan hatalara yol açabilir.

Şekil 2. Bir şantiyede işçileri izlemek için kullanılan pose estimation (Kaynak)

Böyle bir üretim ortamında, sistemin ne kadar güvenilir çalıştığını anlamak önem kazanır. İzleme; uç noktaların erişilebilir olup olmadığı, gelen isteklere ne kadar hızlı yanıt verdiği ve trafiği zaman içinde ne kadar tutarlı bir şekilde yönettiği konusunda görünürlük sağlar.

Örneğin, gecikmedeki bir artış, daha yüksek yüke veya kaynak kısıtlamalarına işaret edebilirken, hata oranlarındaki yükseliş istek yönetimi veya sistem kararlılığı ile ilgili sorunları gösterebilir. Günlükler, bireysel isteklerin nasıl işlendiğini ve hataların nerede meydana geldiğini göstererek daha fazla bağlam ekler.

Yapay zeka meraklıları ve veri bilimciler, bu sinyalleri takip ederek sorunları erkenden belirleyebilir, daha etkili bir şekilde sorun giderebilir ve gerçek dünya koşulları değiştikçe sistemlerinin güvenilir bir şekilde çalışmaya devam etmesini sağlayabilirler.

Link to this sectionDağıtılmış görü modellerini izlemek için Ultralytics Platform kullanımı#

Birçok derin öğrenme iş akışında izleme genellikle günlük kaydı, metrikler ve sistem sağlığı için kullanılan ayrı araçlarla yönetilir. Bu parçalı kurulum, dağıtılmış uç noktaların üretimde nasıl çalıştığına dair net bir görünüm elde etmeyi zorlaştırabilir ve dağıtımların yönetimini karmaşıklaştırır.

Ultralytics Platform, veri alımı ve etiketlemeden eğitime, dağıtıma ve izlemeye kadar tüm bilgisayarlı görü iş akışını kapsayan birleşik bir ortama izlemeyi doğrudan dahil ederek bu durumu basitleştirir.

Bu entegre kurulum sayesinde kullanıcılar, harici günlük sistemleri veya ek paneller kurmadan, dağıtılmış uç noktalarının gerçek dünya trafiğini nasıl yönettiğini takip edebilirler. Her şey tek bir yerde olduğundan, sistem davranışını gözlemlemek ve dağıtımları zaman içinde güvenilir tutmak daha kolay hale gelir.

İzleme özelliklerine doğrudan Dağıt sekmesinden erişilebilir. Kullanıcılar tek bir panelden anahtar metrikleri takip edebilir, istek düzeyindeki davranışları analiz edebilir ve eğilimleri görselleştirebilirler. Bu yerleşik görselleştirmeler, araçlar arasında geçiş yapmadan çözümlerin performansını anlamayı kolaylaştırır.

Platform, izleme, dağıtım ve model yönetimini daha geniş iş akışı içinde bir araya getirerek karmaşıklığı azaltır. Bu da dağıtımları yönetmeye, sistem performansını optimize etmeye ve güvenilirliği korumaya odaklanmayı daha kusursuz hale getirir.

Link to this sectionUltralytics Platform'un yerleşik izleme özellikleri#

Gerçek dünya dağıtımlarında izleme, koşullar zamanla değiştikçe sistemlerin nasıl çalıştığına dair net bir görünürlüğe sahip olmaya bağlıdır. Sadece birkaç metriği takip etmenin ötesine geçer ve dağıtılmış uç noktaların ortamlar genelinde nasıl davrandığını anlamayı ve birden fazla dağıtımı etkili bir şekilde yönetmeyi içerir.

Görü yapay zeka topluluğundan gelen yaygın bilgisayarlı görü zorlukları hakkındaki geri bildirimlerden esinlenen Ultralytics Platform, izlemeyi daha pratik ve ölçeklenebilir kılan çeşitli yetenekler içerir.

İşte bu önemli özelliklerden bazılarına genel bir bakış:

• Küresel dağıtım görünürlüğü: Dağıtım sayfası, aktif ve devam eden uç noktalar için görsel göstergelere sahip dağıtım bölgelerini görüntüleyen etkileşimli bir dünya haritası içerir; bu sayede kullanıcılar coğrafi dağılımı ve bölgesel faaliyetleri izleyebilir.
• Esnek panel görünümleri: Dağıtım paneli; kart görünümü, kompakt ızgara ve ad, bölge, durum ve istekler gibi sıralanabilir sütunlara sahip tablo görünümü dahil olmak üzere, yapılandırılmış izleme ve karşılaştırmayı destekleyen çoklu görünüm modları sunar.
• Birden fazla uç noktayı izleme: Panel, genel bakış kartlarını ve dağıtım listelerini kullanarak tüm dağıtımlardaki izleme verilerini toplar.
• Veri saklama politikaları: İzleme verileri, performans analizi ve hata ayıklama iş akışlarını desteklemek için metrikler 30 gün, günlükler ise 7 gün boyunca saklanır.
• Harici izleme desteği: Dağıtım uç noktaları, Datadog, New Relic ve çalışma süresi izleme hizmetleri gibi harici araçlar kullanılarak izlenebilir veya özel izleme ve sağlık kontrolleri için API uç noktaları aracılığıyla erişilebilir.

Bir sonraki bölümde, bu özelliklerden bazılarını daha ayrıntılı inceleyecek ve üretimdeki dağıtılmış uç noktaları izlemek için nasıl kullanılabileceklerini göreceğiz.

Link to this sectionUltralytics Platform kullanarak anahtar performans metrikleri nasıl takip edilir#

Model dağıtıldıktan sonra izleme, anahtar sistem metriklerini takip ederek başlar. Geliştirme sırasında doğruluk ve duyarlılık gibi metrikler faydalı olsa da, üretim izleme süreci; uç noktaların gerçek dünya trafiğini ne kadar güvenilir bir şekilde yönettiğine dair ölçülebilir içgörüler sağlayan yanıt süresi ve hata oranları gibi sistem düzeyi sinyallerine odaklanır.

Ultralytics Platform, uç nokta etkinliğine ve sistem davranışına dair net bir görünüm sunan merkezi bir panel sağlar. Özellikle Dağıtım paneli, uç noktaların nasıl kullanıldığını ve gelen isteklere nasıl yanıt verdiğini gösteren dört önemli metrik içerir.

İşte bu metriklerin daha yakından bir incelemesi:

• Toplam istekler: 24 saatlik bir süre boyunca tüm uç noktalarda yapılan toplam istek sayısı. Bu, kullanım kalıplarını ve genel talebi belirlemeye yardımcı olur.
• Aktif dağıtımlar: Şu anda çalışan ve istekleri karşılayan uç nokta sayısı.
• P95 gecikmesi: İsteklerin %95'inin tamamlandığı yanıt süresi. Bu, daha yavaş yanıtları hesaba katarak performansın daha gerçekçi bir görünümünü verir.
• Hata oranı: Toplam istek sayısının yüzdesi olarak başarısız olan isteklerin oranıdır. Bu metrik, sorunları tanımlamaya yardımcı olur ve anormallikleri tespit etmek için kullanılabilir.

Basitçe ifade etmek gerekirse, bu metrikler dağıtılmış uç noktaların üretimde nasıl faaliyet gösterdiğine dair net bir görünüm sağlar. Ekipler ve bireyler, kullanım kalıplarını analiz ederek trafik dağılımını anlayabilir, yoğun yük dönemlerini tespit edebilir ve kullanım arttıkça sistemlerin yanıt verebilir ve güvenilir kalmasını sağlayabilirler.

Link to this sectionGünlükler aracılığıyla model dağıtım davranışını anlamak#

Metrikler sistem performansına yüksek düzeyde bir bakış sağlarken, günlükler dağıtılmış uç noktaların bireysel istekleri nasıl yönettiğine dair daha ayrıntılı bir bakış sunar. Günlükler, bir uç noktaya gönderilen her isteği, karşılık gelen yanıtla birlikte kaydeder.

Sorunları takip etmek, başarısızlıkları incelemek ve isteklerin nasıl işlendiğini anlamak için faydalıdırlar. Ultralytics Platform içinde, günlükler dahil olmak üzere detaylarını görüntülemek için herhangi bir dağıtımı seçebilirsin.

Şekil 3. Ultralytics Platform içindeki günlüklerin bir örneği (Kaynak)

Platformdaki bir günlük girişi yapılandırılmış bir biçimde görüntülenir, bu da her istek sırasında neler olduğunu anlamayı kolaylaştırır. Her giriş, olayın ne kadar önemli olduğunu belirten bir önem düzeyi ile olayın ne zaman gerçekleştiğini gösteren bir zaman damgası içerir.

Ayrıca olayı tanımlayan bir mesaj ve durum kodları ile gecikme gibi HTTP ile ilgili ayrıntıları da içerir. Bu bilgiler, isteklerin izini sürmeye, sorun gidermeye ve sorunları daha etkili bir şekilde ayıklamaya yardımcı olur. Üstelik günlükler önem düzeyine göre gruplandırılır, böylece kullanıcılar dikkat gerektiren dağıtımlara öncelik verebilirler.

Link to this sectionUltralytics Platform üzerinde uç nokta sağlığını ve güvenilirliğini analiz etme#

İzleme ayrıca, düzgün çalışıp çalışmadıkları, zamanında yanıt verip vermedikleri ve hatalar olmadan sürekli olarak istekleri karşılayıp karşılamadıkları dahil olmak üzere dağıtılmış uç noktaların genel sağlığını anlamayı içerir. Ultralytics Platform, her dağıtımın sağlık durumuna dair net bir görünüm sağlar ve uç noktaların beklendiği gibi çalıştığını doğrulamayı kolaylaştırır.

Platform, her dağıtım için görsel sağlık göstergeleri içerir ve bunlar bireysel dağıtım kartlarında görüntülenir.

Örneğin, yeşil bir gösterge uç noktanın sağlıklı olduğunu ve normal yanıt verdiğini, kırmızı bir gösterge ise sorunları veya kesintiyi bildirir. Dönen bir simge, sistemin dağıtımın durumunu aktif olarak kontrol ettiğini belirtir.

Uç nokta sağlığını zaman içinde takip ederek, sorunları erkenden tespit etmek, tutarlı performansı korumak ve üretimde çalışan uygulamalar için istikrarlı bir deneyim sağlamak mümkün hale gelir.

Link to this sectionİzleme verileri ile performans iyileştirmesi arasındaki bağlantı#

Model izleme sadece metrikleri takip etmekle ilgili değildir. Zaman içinde sürekli iyileştirmeyi destekleyen bir geri bildirim döngüsü oluşturur. Uç noktalar gerçek dünya trafiğini yönetirken, metriklerde ve günlüklerde artan gecikme, yüksek hata oranları veya tutarsız sistem davranışı gibi sorunları ortaya çıkarabilecek kalıplar oluşmaya başlar.

İzleme, dikkat gerektiren alanları vurgular. Örneğin, sürekli yüksek gecikme daha iyi kaynak tahsisine veya ölçeklendirmeye ihtiyaç duyulduğunu gösterebilirken, yükselen hata oranı istek yönetimi veya sistem kararlılığı ile ilgili sorunlara işaret edebilir.

Bu sorunlar belirlendikten sonra güvenilirliği artırmak için adımlar atılabilir. Bu, altyapının ayarlanmasını, kaynakların ölçeklendirilmesini veya isteklerin işlenme şeklindeki hataların giderilmesini içerebilir. Bu değişikliklerden sonra performansın arttığını doğrulamak için sistemler izlenmeye devam edilebilir.

İzlemeyi sürekli iyileştirmelerle ilişkilendirerek, kullanıcılar kullanım arttıkça ve koşullar değiştikçe sağlam sistemler koruyabilirler.

Link to this sectionGerçek dünya örneğini keşfetme: Havacılıkta bagaj taşıma izleme#

İzlemenin gerçek dünyadaki etkisini daha iyi anlamak için, bunun havacılık yer operasyonlarının otomasyonuna nasıl uygulandığını inceleyelim.

Uçak yer operasyonları sırasında bagaj yükleme ve boşaltmayı izlemek için tasarlanmış bir görü sistemi düşün. Bu kurulumda, Ultralytics YOLO26 gibi bir nesne algılama modeli, bagajların bagaj bantlarından veya taşıma ekipmanlarından düşüp düşmediğini algılamak için kullanılabilir.

Test ve erken dağıtım aşamalarında, gerçek zamanlı sistem bagajları doğru bir şekilde tanımlayarak ve hızlı yanıt vererek iyi performans gösterebilir.

Ancak canlı bir havaalanı ortamında koşullar çok daha az tahmin edilebilirdir. Gün boyunca ışık değişir, birden fazla kamera aynı anda veri akışı sağlar ve yoğun dönemlerde istek hacimleri artar. Bu faktörler gecikmenin artmasına veya hataların ortaya çıkmasına neden olabilir ve sistemin görünürlüğü olmadan bu tür sorunlar kolayca gözden kaçabilir.

İşte izlemenin değerli olduğu nokta burasıdır. İstek hacmi, gecikme ve hata oranları gibi metrikleri ayrıntılı günlüklerle birlikte izleyerek, ekipler bir uç noktanın ne zaman yavaşladığını veya başarısız olduğunu hızlıca görebilirler. Yoğun saatlerde gecikme yükselirse, kaynakları ölçeklendirme ihtiyacına işaret edebilir; hatalardaki ani artış ise belirli kameralarla veya istek yönetimiyle ilgili sorunlara dikkat çekebilir. Bu sinyallere göre hareket etmek, sistemin güvenilir kalmasını sağlar, böylece koşullar değişse bile bagaj taşıma işlemleri doğru bir şekilde izlenmeye devam edebilir.

Link to this sectionÖne çıkanlar#

İzleme, dağıtılmış bilgisayarlı görü modellerinin geliştirme ortamının kontrollü koşullarından çıkıp gerçek dünya trafiğini yönetmeye başladıklarında güvenilir kalmalarını sağlayan unsurdur. İstek hacmi, gecikme, hata oranları ve çalışma süresi gibi sistem düzeyi sinyallerine ve ayrıntılı günlüklere odaklanan izleme, sorunları erkenden tespit etmek ve üretim sistemlerini sorunsuz çalıştırmak için gereken görünürlüğü sağlar.

Dağıtım iş akışına doğrudan yerleşik izleme özelliğiyle Ultralytics Platform, ayrı araçlara ihtiyaç duymadan uç nokta sağlığını takip etmeyi, istek davranışlarını incelemeyi ve güvenilir sistemler korumayı kolaylaştırır. Veri, eğitim, dağıtım ve izlemeyi tek bir yerde toplayan platform, ekiplerin deney aşamasından güvenilir gerçek dünya dağıtımlarına geçmelerine yardımcı olur.

Büyüyen topluluğumuza katıl ve görüntü tabanlı yapay zeka hakkında daha fazla bilgi edinmek için GitHub depomuza göz at. Bugün görüntü tabanlı yapay zeka ile geliştirme yapmaya başlamak için lisanslama seçeneklerimizi incele. Üretimde yapay zeka ve sağlık hizmetlerinde yapay zekanın geleceği nasıl şekillendirdiğini keşfetmek için çözüm sayfalarımızı ziyaret et.