Ultralytics 'nda devreye alınmış bilgisayar görme modellerinin izlenmesi

Görüntüleri ve videoları analiz eden bilgisayar görme modellerini test etmek, bunları üretim ortamında çalıştırmakla her zaman aynı şey değildir. Geliştirme aşamasında, bu tür modeller veya algoritmalar, koşulların kontrol altında tutulduğu ve öngörülebilir olduğu, temiz ve özenle hazırlanmış veri kümeleri üzerinde test edilir.

Uygulamaya alındıktan sonra işler daha dinamik bir hal alır. Modeller, istek hacminin değişkenlik gösterebileceği, yanıt sürelerinin değişebileceği ve ara sıra arızaların yaşanabileceği gerçek dünya trafiğine maruz kalır. 

Bu aşamada odak noktası, sistemin güvenilir bir şekilde çalışıp çalışmadığına, uç noktaların değişen koşullar altında erişilebilir, hızlı yanıt veren ve istikrarlı kalıp kalmadığına kaymaktadır.

Bu nedenle izleme çok önemlidir. İstek hacmi, gecikme süresi, hata oranları ve genel sistem durumu gibi metrikler aracılığıyla, devreye alınmış uç noktaların üretim ortamında nasıl davrandığına dair net bir görünüm sağlar.

Bunu kolaylaştırmak için, doğru araçlara sahip olmak modelin kendisi kadar önemli hale geliyor. Kısa bir süre önce Ultralytics , veriden eğitime, dağıtımdan izlemeye kadar bilgisayar görme iş akışının tamamını bir araya getiren yeni uçtan uca ortamımız olan Ultralytics Ultralytics .

Bu iş akışına doğrudan entegre edilmiş izleme özelliği sayesinde, kullanıcılar ayrı araçlara ihtiyaç duymadan track durumunu track edebilir, istek davranışını inceleyebilir ve sistemlerin güvenilirliğini sağlayabilir. Bu makalede, Ultralytics kullanarak dağıtılmış model uç noktalarını nasıl izleyeceğimizi ve üretim sistemlerinin sorunsuz çalışmasını nasıl sağlayacağımızı ele alacağız. Hadi başlayalım!

AI modeli izlemeye genel bakış

Bir yapay zeka modelinin yaşam döngüsünde, izleme, model devreye alınarak gerçek dünyadan gelen istekleri karşılamaya başladığında, devreye alınmış sistemlerin nasıl davrandığını gözlemlemeyi ifade eder. Eğitim ve doğrulama, bir makine öğrenimi modelinin (ML modeli) hazırlanmış veri kümelerinde nasıl performans gösterdiğini ortaya koyarken, izleme ise devreye alınmış uç noktanın üretim ortamında nasıl çalıştığına odaklanır.

İzlemenin en önemli unsurlarından biri, güvenilirliği ve yanıt hızını yansıtan sistem düzeyindeki metrikleri takip etmektir. Gecikme süresi ve çalışma süresi gibi metrikler, sistemin gelen istekleri ne kadar iyi işlediğini göstermeye yardımcı olur. Gecikme süresi, bir isteğin işlenip yanıtın geri gönderilmesinin ne kadar sürdüğünü ölçerken, çalışma süresi ise uç noktanın ne kadar istikrarlı bir şekilde erişilebilir durumda olduğunu ortaya koyar.

Bir diğer önemli unsur ise, isteklerin nasıl işlendiğine dair görünürlük sağlayan gözlemlenebilirliktir. Bir resim veya video karesi gibi bir girdi, devreye alınmış bir modele her gönderildiğinde, bir çıkarım isteği olarak işlenir. 

Günlükler, bu istekleri zaman damgaları, yanıt süreleri ve durum kodları gibi ayrıntılarla birlikte kaydeder. Bu günlükler, istekleri takip etmeyi, sorunları gidermeyi ve arızalar meydana geldiğinde bunları incelemeyi kolaylaştırır. Tekrarlanan hatalar, yavaş yanıtlar veya beklenmedik sistem davranışları gibi kalıpları tespit etmek için özellikle yararlıdırlar.

Metrikler ve günlükleri bir araya getiren izleme, kullanıcıların sistemlerinin üretim ortamında nasıl çalıştığını anlamalarına ve sorunlar ortaya çıktıkça bunlara hızla müdahale etmelerine yardımcı olur.

Model performans göstergeleri ile sistem göstergelerinin karşılaştırılması

Üretim izlemeye geçmeden önce, model performans ölçütleri ile sistem ölçütleri arasındaki farkı ele alalım.

Genellikle model izleme, doğruluk, kesinlik, geri çağırma ve mAP ortalama kesinlik) gibi değerlendirme ölçütleriyle, diğer bir deyişle model ölçütleriyle ilişkilendirilir. Bu ölçütler, genellikle üretim verileriyle veya girdi verileriyle bağlantılı olarak modelin davranışını tanımlamak ve model tahminlerinin kalitesini değerlendirmek için kullanılır. Bu ölçütler, yeni verilerdeki sınır durumlarını veya uç değerleri tespit etmek için özellikle yararlı olabilir.

Ancak bu, üretim ortamında devreye alınmış bir sistemi izlemekten farklıdır. Bu bağlamda izleme, model tahminlerini doğrudan değerlendirmek yerine sistemin nasıl çalıştığına odaklanır.

Dağıtım izleme, model metrikleri yerine istek hacmi, gecikme süresi, hata oranları ve çalışma süresi gibi sistem düzeyindeki sinyallere dayanır. Bu metrikler, uç noktaların girdi verilerini nasıl işlediğini, ne kadar tutarlı bir şekilde yanıt verdiğini ve üretim ortamlarında nasıl çalıştığını ortaya koyar.

Bilgisayar görme projelerinde model izlemenin rolü

Şimdi, bilgisayar görme uygulamalarında bir izleme sistemine duyulan ihtiyacı ortaya koyan gerçek hayattan bir örneğe bakalım.

İnşaat işçilerinin güvenlik kurallarına uyup uymadığını izlemek için, insan vücudunun hareketlerini tanımlamak ve analiz etmek amacıyla kullanılan bir bilgisayar görme görevi olan “duruş tahmini”ni kullanan bir görsel çözüm düşünün. İlk model uygulaması sırasında, bu tür bir sistem net görüş ve standart senaryoların olduğu kontrollü koşullar altında iyi performans gösterebilir.

Ancak, gerçek şantiyeler işleri daha da karmaşık hale getirir. İstek hacimleri gün içinde değişiklik gösterebilir, ağ koşulları tutarsız olabilir ve birden fazla kamera veya uç nokta aynı anda veri gönderebilir. Sistem düzgün bir şekilde izlenmezse, bu faktörler yanıt sürelerinin uzamasına veya ara sıra arızaların yaşanmasına neden olabilir.

Böyle bir üretim ortamında, sistemin ne kadar güvenilir bir şekilde çalıştığını anlamak önem kazanır. İzleme, uç noktaların erişilebilir olup olmadığını, gelen isteklere ne kadar hızlı yanıt verdiklerini ve zaman içinde trafiği ne kadar tutarlı bir şekilde yönettiklerini ortaya koyar.

Örneğin, gecikme süresindeki bir artış, yükün artmasına veya kaynak kısıtlamalarına işaret edebilir; hata oranlarındaki bir artış ise istek işleme veya sistem kararlılığıyla ilgili sorunları gösterebilir. Günlükler, tek tek isteklerin nasıl işlendiğini ve hataların nerede meydana geldiğini göstererek daha fazla bağlam sağlar.

Bu sinyalleri takip ederek, yapay zeka meraklıları ve veri bilimcileri sorunları erken aşamada tespit edebilir, sorun giderme işlemlerini daha etkili bir şekilde gerçekleştirebilir ve gerçek dünyadaki koşullar değiştikçe sistemlerinin güvenilir bir şekilde çalışmaya devam etmesini sağlayabilir.

Ultralytics kullanarak devreye alınmış görüntü işleme modellerini izlemek

Birçok derin öğrenme iş akışında, izleme genellikle günlük kaydı, metrikler ve sistem durumu için ayrı araçlar kullanılarak gerçekleştirilir. Bu parçalı yapı, devreye alınmış uç noktaların üretim ortamında nasıl çalıştığına dair net bir görünüm elde etmeyi zorlaştırabilir ve dağıtımların yönetimini karmaşıklaştırır.

Ultralytics , veri alımı ve etiketlemeden eğitim, devreye alma ve izlemeye kadar bilgisayar görme iş akışının tamamını kapsayan tek bir ortamda izlemeyi doğrudan sunarak bu süreci basitleştirir.

Bu entegre yapı sayesinde kullanıcılar, harici günlük kaydı sistemleri veya ek gösterge panelleri kurmaya gerek kalmadan, devreye alınmış uç noktalarının gerçek dünya trafiğini track işlediğini track edebilir. Her şey tek bir yerden erişilebilir olduğundan, sistem davranışını gözlemlemek ve zaman içinde güvenilir dağıtımları sürdürmek daha kolay hale gelir.

İzleme özelliklerine doğrudan "Dağıtım" sekmesinden erişilebilir. Kullanıcılar tek bir kontrol panelinden track metrikleri track edebilir, istek düzeyindeki davranışları analiz edebilir ve eğilimleri görselleştirebilir. Bu yerleşik görselleştirmeler, araçlar arasında geçiş yapmaya gerek kalmadan çözümlerin performansını anlamayı kolaylaştırır.

Platform, izleme, dağıtım ve model yönetimini daha geniş bir iş akışı içinde bir araya getirerek karmaşıklığı azaltır. Bu sayede dağıtımların yönetilmesine, sistem performansının optimize edilmesine ve güvenilirliğin sürdürülmesine odaklanmak daha sorunsuz hale gelir.

Ultralytics 'nun yerleşik izleme özellikleri

Gerçek ortamdaki dağıtımlarda, izleme, koşullar zaman içinde değiştikçe sistemlerin nasıl çalıştığına dair net bir görünürlük sağlanmasına bağlıdır. Bu, sadece birkaç metrik değerini takip etmekten öteye gider; dağıtılmış uç noktaların farklı ortamlarda nasıl davrandığını anlamayı ve birden fazla dağıtımı etkin bir şekilde yönetmeyi de içerir.

Bilgisayar görme alanındaki yaygın zorluklara ilişkin yapay zeka topluluğundan gelen geri bildirimlerden esinlenerek geliştirilen Ultralytics , izlemeyi daha pratik ve ölçeklenebilir hale getiren çeşitli özellikler sunmaktadır. 

İşte bu temel özelliklerin bazılarına genel bir bakış:

• Küresel dağıtım görünürlüğü: Dağıtım sayfasında, aktif ve işlem halindeki uç noktalar için görsel göstergelerle dağıtım bölgelerini gösteren etkileşimli bir dünya haritası bulunur; bu sayede kullanıcılar coğrafi dağılımı ve bölgesel etkinliği izleyebilir.
• Esnek kontrol paneli görünümleri: Dağıtımlar kontrol paneli, kart görünümü, kompakt ızgara ve isim, bölge, durum ve istekler gibi sıralanabilir sütunlara sahip tablo görünümü dahil olmak üzere çeşitli görünüm modları sunarak, yapılandırılmış izleme ve karşılaştırma imkanı sağlar.
• Birden fazla uç noktanın izlenmesi: Kontrol paneli, genel bakış kartları ve dağıtım listeleri aracılığıyla tüm dağıtımlardaki izleme verilerini bir araya getirir.
• Veri saklama politikaları: İzleme verileri belirli bir süre boyunca saklanır; metrikler 30 gün, günlükler ise 7 gün boyunca erişilebilir kalır. Bu sayede, son dönem performans analizleri ve hata giderme süreçleri desteklenir.
• Harici izleme desteği: Dağıtım uç noktaları, Datadog, New Relic ve çalışma süresi izleme hizmetleri gibi harici araçlar kullanılarak izlenebilir veya özel izleme ve durum kontrolleri için API uç noktaları aracılığıyla erişilebilir.

Şimdi, bu özelliklerin bazılarını daha ayrıntılı olarak inceleyeceğiz ve bunların üretim ortamında devreye alınmış uç noktaları izlemek için nasıl kullanılabileceğini göreceğiz.

Ultralytics kullanarak track performans göstergelerini nasıl track edebilirsiniz?

Bir model devreye alındığında, izleme süreci temel sistem metriklerinin takip edilmesiyle başlar. Doğruluk ve geri çağırma oranı gibi metrikler geliştirme aşamasında yararlı olsa da, üretim ortamındaki izleme, uç noktaların gerçek dünya trafiğini ne kadar güvenilir bir şekilde işlediğine dair ölçülebilir bilgiler sağlayan yanıt süresi ve hata oranları gibi sistem düzeyindeki sinyallere odaklanır.

Ultralytics , uç nokta etkinlikleri ve sistem davranışlarına ilişkin net bir görünüm sunan merkezi bir kontrol paneli sağlar. Özellikle, Dağıtım kontrol paneli, uç noktaların nasıl kullanıldığını ve gelen isteklere nasıl yanıt verdiklerini gösteren dört temel ölçüt içerir.

İşte bu göstergelere daha yakından bir bakış:

• Toplam istek sayısı: 24 saatlik bir süre içinde tüm uç noktalara yapılan isteklerin toplam sayısı. Bu, kullanım alışkanlıklarını ve genel talebi belirlemeye yardımcı olur.
• Etkin dağıtımlar: Şu anda çalışmakta olan ve istekleri karşılayan uç noktaların sayısı.
• P95 gecikme süresi: İsteklerin %95’inin tamamlandığı tepki süresi. Bu, daha yavaş yanıtları da hesaba katarak performans hakkında daha gerçekçi bir bakış açısı sunar.
• Hata oranı: Toplam istek sayısına göre başarısız olan isteklerin yüzdesidir. Bu metrik, sorunları tespit etmeye yardımcı olur ve detect için kullanılabilir.

Basitçe ifade etmek gerekirse, bu metrikler, devreye alınmış uç noktaların üretim ortamında nasıl çalıştığına dair net bir görünüm sunar. Kullanım alışkanlıklarını analiz ederek, ekipler ve bireyler trafik dağılımını anlayabilir, yoğun yük dönemlerini tespit edebilir ve kullanım arttıkça sistemlerin yanıt verebilir ve güvenilir kalmasını sağlayabilir.

Günlükler aracılığıyla model dağıtım davranışını anlamak

Metrikler sistem performansına genel bir bakış sunarken, günlükler dağıtılmış uç noktaların tek tek istekleri nasıl işlediğine dair daha ayrıntılı bir bakış sağlar. Günlükler, bir uç noktaya gönderilen her isteği ilgili yanıtla birlikte kaydeder.

Bunlar, sorunları takip etmek, arızaları incelemek ve isteklerin nasıl işlendiğini anlamak için kullanışlıdır. Ultralytics içinde, herhangi bir dağıtımı seçerek günlükler dahil olmak üzere ayrıntılarını görüntüleyebilirsiniz.

Platformdaki bir günlük kaydı yapılandırılmış bir biçimde görüntülenir; bu sayede her istek sırasında neler olduğu daha kolay anlaşılır. Her kayıtta, olayın önem derecesini gösteren bir ciddiyet seviyesi ile olayın ne zaman gerçekleştiğini gösteren bir zaman damgası bulunur. 

Ayrıca, olayı açıklayan bir mesaj ile durum kodları ve gecikme süresi gibi HTTP ile ilgili ayrıntıları da içerir. Bu bilgiler, isteklerin izlenmesine, sorun gidermeye ve sorunların daha etkili bir şekilde giderilmesine yardımcı olur. Bunun yanı sıra, günlükler önem derecesine göre gruplandırılır; böylece kullanıcılar, dikkat gerektiren dağıtımlara öncelik verebilir. 

Ultralytics 'nda uç nokta durumunun ve güvenilirliğinin analiz edilmesi

İzleme, dağıtılmış uç noktaların genel durumunu anlamayı da içerir; bu, uç noktaların düzgün çalışıp çalışmadığını, zamanında yanıt verip vermediğini ve istekleri hatasız bir şekilde tutarlı bir şekilde işleyip işlemediğini de kapsar. Ultralytics , her bir dağıtımın durumuna ilişkin net bir görünüm sunarak, uç noktaların beklendiği gibi çalıştığını doğrulamayı kolaylaştırır.

Platform, her bir dağıtım için görsel sağlık göstergelerini içerir ve bunlar ayrı dağıtım kartlarında görüntülenir. 

Örneğin, yeşil bir gösterge uç noktanın sorunsuz çalıştığını ve normal şekilde yanıt verdiğini gösterirken, kırmızı bir gösterge sorunların veya kesintilerin olduğunu belirtir. Dönen bir simge, sistemin dağıtımın durumunu aktif olarak kontrol ettiğini gösterir.

Zaman içinde uç noktaların durumunu takip ederek, detect erken aşamada detect , tutarlı bir performans sağlamak ve üretim ortamında çalışan uygulamalar için istikrarlı bir deneyim sunmak mümkün hale gelir.

İzleme verileri ile performans iyileştirme arasındaki bağlantı

Model izleme, yalnızca metrikleri takip etmekten ibaret değildir. Zaman içinde sürekli iyileştirmeyi destekleyen bir geri bildirim döngüsü oluşturur. Uç noktalar gerçek dünya trafiğini işledikçe, metriklerde ve günlüklerde gecikme süresindeki artış, daha yüksek hata oranları veya tutarsız sistem davranışları gibi sorunları ortaya çıkarabilecek kalıplar belirmeye başlar.

İzleme, dikkat edilmesi gereken alanları ortaya çıkarır. Örneğin, sürekli olarak yüksek gecikme süresi, daha iyi kaynak tahsisi veya ölçeklendirme ihtiyacını gösterebilir; artan hata oranı ise istek işleme veya sistem kararlılığıyla ilgili sorunlara işaret edebilir.

Bu sorunlar tespit edildikten sonra, güvenilirliği artırmak için gerekli adımlar atılabilir. Bu, altyapının ayarlanmasını, kaynakların ölçeklendirilmesini veya isteklerin işlenme şekline ilişkin sorunların giderilmesini içerebilir. Bu değişikliklerin ardından, performansın arttığını doğrulamak için sistemler izlenmeye devam edilebilir.

İzleme sürecini sürekli iyileştirme çabalarıyla birleştirerek, kullanıcılar kullanım artışı ve koşulların değişmesi durumunda bile sistemlerin sağlamlığını koruyabilirler.

Gerçek hayattan bir örnek: Havacılık sektöründe bagaj işlemlerinin izlenmesi

Gerçek hayattaki bir senaryoda izlemenin etkisini daha iyi anlayabilmek için, bunun havacılık yer operasyonlarının otomasyonuna nasıl uygulandığını inceleyelim.

Uçakların yer operasyonları sırasında bagaj yükleme ve boşaltma işlemlerini izlemek üzere tasarlanmış bir görüntü işleme sistemini ele alalım. Bu sistemde, Ultralytics gibi bir nesne algılama modeli, bagajların konveyör bantlarından veya taşıma ekipmanlarından detect için kullanılabilir. 

Test aşamasında ve ilk kullanım döneminde, gerçek zamanlı sistem iyi bir performans gösterebilir; bagajları doğru bir şekilde tanımlayabilir ve hızlı tepki verebilir.