Ultralytics Platform: Bilgisayarlı görü modellerini herhangi bir bölgeye dağıtma

Ultralytics bu hafta başında, veri hazırlamadan model geliştirme ve dağıtıma kadar görsel yapay zekâ iş akışının her aşamasını kolaylaştırarak bilgisayarlı görü (CV) sistemlerinin kullanıma sunulmasını hızlandırmak üzere tasarlanmış, uçtan uca yeni bir ortam olan Ultralytics Platform'u kullanıma sundu.

Ultralytics Platform'u geliştirmenin temel nedenlerinden biri, bir bilgisayarlı görü çözümünü fikir aşamasından gerçek dünyada etki yaratma noktasına taşımak için güçlü bir model oluşturmaktan daha fazlasının gerekmesidir. Bir model eğitilip doğrulamadan geçtikten sonra, uygulamaların görüntü gönderebilmesi, tahmin alabilmesi ve gerçek dünya ortamlarında güvenilir bir şekilde çıkarım yapabilmesi için dağıtılması gerekir.

Makine öğrenimi yaşam döngüsünün bu aşamasında bilgisayarlı görü modelleri deney aşamasını geride bırakır ve pratik sistemlere güç vermeye başlar. Veri kümesi hazırlama, açıklama ekleme, model eğitimi ve test gibi önceki adımlar sorunsuz ilerlese bile, modelleri dağıtmanın güvenilir bir yolu olmadan bu sonuçlar fark yaratamaz.

Birçok bilgisayarlı görü projesinde dağıtımın iş akışındaki en karmaşık adımlardan biri olabildiği bilinen bir gerçektir.

Ekiplerin genellikle çıkarım API'lerini yapılandırması, işlem kaynaklarını yönetmesi, gecikmeyi azaltmak için modelleri kullanıcılara yakın konumlarda dağıtması ve sistemler üretimde çalışmaya başladıktan sonra performansı izlemesi gerekir.

Ultralytics Platform; model dışa aktarma biçimleri, paylaşımlı çıkarım hizmetleri ve dünyanın farklı bölgelerindeki özel uç noktalar dahil olmak üzere birden fazla dağıtım seçeneği sunarak bu süreci kolaylaştırır ve otomatikleştirir. Yönetilen altyapı ve yerleşik izleme sayesinde ekipler, eğitilmiş modellerden üretime hazır bilgisayarlı görü sistemlerine kolayca geçebilir.

Şekil 1. Ultralytics Platform kullanılarak modellerin nasıl dağıtıldığına bakış (Kaynak)

Bu makalede, Ultralytics Platform'daki özel uç noktaları kullanarak bilgisayarlı görü modellerini her bölgeye nasıl dağıtabileceğini inceleyeceğiz.

CV modeli dağıtımı nedir?#

Ultralytics Platform'u kullanarak derin öğrenme modellerinin nasıl dağıtılacağına geçmeden önce, bilgisayarlı görü modeli dağıtımının gerçekte ne anlama geldiğini daha iyi anlayalım.

Bilgisayarlı görü model dağıtımı, eğitilmiş bir modeli alıp gerçek dünyada kullanıma sunma sürecidir. Model yalnızca bir eğitim ortamında çalıştırılmak yerine, uygulamaların modele görüntü veya video gönderip karşılığında tahmin alabileceği şekilde yapılandırılır.

Örneğin bir model, görüntüdeki nesneleri algılayabilir, görüntü segmentasyonu yapabilir, depodaki öğeleri belirleyebilir veya video kayıtlarındaki örüntüleri tanıyabilir. Gerçek dünya sistemlerinin çoğunda bu işlem bir API veya çıkarım uç noktası üzerinden gerçekleşir.

Bir uygulama modele görüntü gönderir, model görüntüyü işler ve milisaniyeler içinde bir tahmin döndürür. Ultralytics YOLO gibi bilgisayarlı görü modellerinin gerçek zamanlı uygulamalara güç vermesini sağlayan da budur.

Modeller, kullanım senaryosuna bağlı olarak farklı ortamlara dağıtılabilir. Bazıları bulutta çalışır (bulut platformları aracılığıyla) ve birçok uygulama bunlara erişebilir; diğerleri ise hızlı yerel tahminler gerektiren, şirket içi kameralar, robotlar veya gömülü sistemler gibi uç cihazlarda çalışır.

Ultralytics Platform'da AI modeli dağıtım seçenekleri#

Ultralytics Platform, bilgisayarlı görü topluluğunun model dağıtırken karşılaştığı birçok zorluğu ele alır ve uygulamanın ihtiyaçlarına bağlı olarak çıkarım çalıştırmak için esnek yöntemler sunar.

Platformda bulunan model dağıtım seçeneklerine hızlıca göz atalım:

• Model dışa aktarımı: Modelleri ONNX, TensorRT, CoreML ve TFLite dâhil 22 farklı biçime aktarabilir; böylece Raspberry Pi ve NVIDIA Jetson gibi uç cihazlarda, mobil uygulamalarda, Docker kapsayıcılarında ve özel altyapılarda çalıştırabilirsin.
• Paylaşımlı çıkarım: Platform, yönetilen ve paylaşımlı bir çıkarım hizmeti üzerinden tahmin çalıştırmana olanak tanır; bu hizmet, modelleri hızlıca test etmek için idealdir.
• Özel uç noktalar: Modelleri, dünya genelindeki 42 bölgede çalışabilen benzersiz API URL'lerine sahip bağımsız hizmetler olarak kolayca dağıtabilir; üretim dağıtımları için sıfıra ölçeklendirme, izleme ve sistem durumu kontrollerinden yararlanabilirsin.

Özel uç noktaları kullanarak dağıtım#

Ultralytics Platform'da önceden eğitilmiş modelleri veya özel olarak eğitilmiş bilgisayarlı görü modellerini üretimde çalıştırmanın en ölçeklenebilir yollarından biri özel uç noktalardır. Özel uç nokta, eğitilmiş bir modeli kendi hizmeti olarak dağıtmana olanak tanır; böylece uygulamalar modele görüntü gönderip API aracılığıyla tahmin alabilir.

Bir modeli yalnızca eğitim ortamında veya yerel bir not defterinde çalıştırmak yerine, uç nokta olarak dağıtmak modeli gerçek uygulamaların erişimine açar. Örneğin bir depo sistemi, nesne algılama için paket görüntüleri gönderebilir; akıllı bir kamera video karelerini analiz edebilir veya bir robotik sistemi eylemlere yön vermek için tahminlerden yararlanabilir.

Her özel uç nokta, tek kiracılı bir hizmet olarak çalışır; yani modelini çalıştıran altyapı diğer kullanıcılarla paylaşılmaz. Bu, daha öngörülebilir bir performans sağlar ve modelin üretimdeki davranışını izlemeyi kolaylaştırır.

Özel çıkarım uç noktalarının işleyişini anlamak#

Özel bir uç noktayı modelin için barındırılan bir hizmet olarak düşünebilirsin. Ultralytics Platform, uygulamalar için giriş noktası görevi gören benzersiz bir uç nokta URL'si sağlar.

Bir uygulama bu URL'ye istek gönderdiğinde, isteğe görüntü ve güven eşiği ya da görüntü boyutu gibi isteğe bağlı parametrelerin yanı sıra kimlik doğrulama için bir API anahtarı da eklenir.

Hizmet, görüntü üzerinde senin modelini kullanarak çıkarım yapar ve tahminleri yapılandırılmış bir yanıtta döndürür. Bu kurulum, geliştiricilerin standart web araçlarını kullanarak bilgisayarlı görü modellerini gerçek sistemlere entegre etmesine olanak tanır.

Uygulamalar Python, JavaScript, cURL veya diğer HTTP istemcilerini kullanarak istek gönderebilir; böylece modelleri panolara, robotik sistemlere veya bulut uygulamalarına bağlamak kolaylaşır. Uç nokta bağımsız çalıştığından ölçeklendirme, izleme ve küresel dağıtımı da destekleyebilir ve ekiplerin güvenilir, üretime hazır bilgisayarlı görü sistemleri geliştirmesine yardımcı olur.

Çok bölgeli dağıtım, gerçek zamanlı çıkarım performansını artırır#

Ultralytics Platform'daki özel uç noktaların önemli bir avantajı, modelleri dünya genelindeki 42 bölgede dağıtabilmendir. Bu bölgeler Kuzey Amerika, Güney Amerika, Avrupa, Asya-Pasifik, Orta Doğu ve Afrika dâhil dünyanın çeşitli yerlerine yayılır.

Şekil 2. Ultralytics Platform dünya genelindeki 42 bölgeyi destekliyor (Kaynak)

Modelleri uygulamaların çalıştığı yerlere daha yakın bölgelere dağıtmak, uygulamanın görüntü gönderip tahmin almasının ne kadar sürdüğünü ifade eden gecikmeyi azaltmaya yardımcı olur. Ayrıca verilerin işlendiği yeri kaynağına yakın tutarak kuruluşların veri gizliliği ve veri yerleşikliği gereksinimlerini karşılamasına yardımcı olabilir.

Robotik sistemler, Nesnelerin İnterneti (IoT) cihazları, endüstriyel denetim iş akışları ve akıllı şehir altyapıları gibi gerçek zamanlı çıkarıma dayanan birçok bilgisayarlı görü uygulaması için düşük gecikme önemlidir.

Örneğin, bir uygulama ağırlıklı olarak Avrupa'da kullanılıyorsa modeli Avrupa'daki bir bölgede dağıtmak, modeli uzak bir bölgede çalıştırmaya kıyasla yanıt sürelerini önemli ölçüde iyileştirebilir.

Ultralytics Platform ile herhangi bir bölgeye dağıtım nasıl yapılır#

Bir modeli belirli bir bölgeye dağıtmak kolaydır ve genellikle yalnızca birkaç dakika sürer. Platform altyapı kurulumunu üstlenir; böylece geliştiriciler modeli uygulamalarına entegre etmeye odaklanabilir. Şimdi gerekli adımlara göz atalım.

Adım 1: Modeli eğit veya yükle#

Dağıtım yapmadan önce projenin içinde eğitilmiş bir modelin bulunması gerekir. Bu model, doğrudan Ultralytics Platform'da eğitilmiş, başka bir yerde eğitildikten sonra yüklenmiş veya diğer kullanıcıların herkese açık projelerinin tek tıklamayla kendi hesabına kopyalanabildiği “Keşfet sekmesi”nde bulunan bir topluluk projesinden kopyalanmış olabilir.

Model hazır olduğunda devam etmek için proje içindeki model sayfasını aç.

Adım 2: Deploy sekmesini aç#

Modelin Deploy sekmesine git. Platformun bu bölümü dağıtımları yapılandırıp başlatmanı sağlar.

Bu sayfada, dünya genelindeki kullanılabilir dağıtım konumlarını gösteren bir bölge tablosu ve etkileşimli bir harita göreceksin. Platform, bulunduğun konumdan gecikmeyi ölçer ve sana en uygun bölgeyi seçmene yardımcı olmak için bölgeleri buna göre sıralar.

Şekil 3. Ultralytics Platform'da gecikmeye göre sıralanmış bölgeler (Kaynak)

Adım 3: Dağıtım bölgesini seç#

Kullanıcılarının veya uygulamalarının bulunduğu yere göre bir bölge seç. Modeli isteklerin kaynağına daha yakın bir yerde dağıtmak, yanıt sürelerini önemli ölçüde azaltabilir.

Adım 4: Uç noktayı dağıt#

Bölgeyi seçip yapılandırmayı onayladıktan sonra Deploy'a tıklayabilirsin.

Platform daha sonra dağıtım ortamını hazırlar, model imajını alır, hizmeti başlatır ve uç noktanın hazır olduğundan emin olmak için sağlık kontrolü yapar. Bu işlem genellikle bir ila iki dakika sürer.

Dağıtım tamamlandığında platform, uygulamaların çıkarım istekleri göndermek için kullanabileceği benzersiz bir uç nokta URL'si oluşturur.

Şekil 4. Dağıtılmış bir uç nokta örneği (Kaynak)

Adım 5: Çıkarım istekleri göndermeye başla#

Uç nokta çalışmaya başladıktan sonra uygulamalar, sağlanan REST API uç noktasını ve Authorization üstbilgisinde gönderilen bir API anahtarını kullanarak modele görüntü göndermeye başlayabilir. Uç nokta her isteği işler ve tespit edilen nesneler, sınırlayıcı kutular veya göreve özgü diğer çıktılar gibi tahminleri döndürür.

Model dağıtımı hakkında daha fazla bilgi için resmi Ultralytics Platform belgelerine göz at.

Dağıtılmış uç noktaların model performansını ve ölçümlerini izleme#

Bir bilgisayarlı görü modeli dağıtıldıktan sonra performansını izlemek, sistemin güvenilirliğini ve sağlamlığını korumanın önemli bir parçası hâline gelir. İyi eğitilmiş bir modelin bile hızlı yanıt vermeye, gelen istekleri doğru şekilde işlemeye ve isabetli tahminler sunmaya devam ettiğinden emin olmak için üretim ortamında gözlemlenmesi gerekir.

Ultralytics Platform, ekiplerin dağıtılmış uç noktaların performansını görmesini sağlayan yerleşik izleme araçları sunar. Platformun Deploy sayfası bir izleme panosu görevi görür; çalışan tüm uç noktaları ve sistem durumunu ve kullanımını takip etmeye yardımcı olan temel ölçümleri tek bir yerde gösterir.

Platformu kullanarak izleyebileceğin ölçümlerden bazıları şunlardır:

• P95 gecikmesi: Bu ölçüm, çıkarım isteklerinin sunucu tarafındaki 95. yüzdelik yanıt süresini ölçer. Çoğu çıkarım isteğinin ne kadar sürdüğünü gösterir ve performans yavaşlamalarını belirler.
• Hata oranı: Seçilen izleme aralığında başarısız olan veya hata döndüren isteklerin yüzdesini ifade eder. Hata oranlarını izlemek, ekiplerin dağıtımlardaki veya gelen isteklerdeki sorunları hızla tespit etmesini sağlar.
• Toplam istek: Bu ölçüm, seçilen zaman aralığında (örneğin son 24 saatte) dağıtılmış uç noktalar genelinde işlenen toplam çıkarım isteği sayısını gösterir. Ekiplerin trafik düzeylerini ve modellerinin ne sıklıkla kullanıldığını anlamasına yardımcı olur.

Bu ölçümlere ek olarak platform, uç nokta sağlık kontrolleri ve dağıtım günlükleri de sunar. Sağlık kontrolleri bir uç noktanın doğru yanıt verip vermediğini gösterirken günlükler, son istekler ve sistem etkinliği hakkında ayrıntılı bilgi sağlar.

Önemli çıkarımlar#

Bilgisayarlı görü modellerini dağıtmak, eğitilmiş modelleri gerçek dünya uygulamalarına güç veren sistemlere dönüştürmenin önemli bir adımıdır. Ultralytics Platform ile ekipler, dünya genelindeki 42 bölgede özel uç noktalar üzerinden modelleri kolayca dağıtabilir, API'lerle gerçek zamanlı çıkarım yapabilir ve performansı tek bir ortamdan izleyebilir. Esnek dağıtım seçeneklerini, yerleşik izlemeyi ve ölçeklenebilir altyapıyı bir araya getiren platform, geliştiricilerin eğitilmiş makine öğrenimi modellerinden güvenilir bilgisayarlı görü uygulamalarına daha hızlı geçmesine yardımcı olur.

Büyüyen topluluğumuzun bir parçası ol! Yapay zekâ hakkında daha fazla bilgi edinmek için GitHub depomuza göz at. Bilgisayarlı görü çözümleri geliştirmek istiyorsan lisans seçeneklerimizi incele. Sağlık hizmetlerinde bilgisayarlı görünün faydalarını keşfet ve lojistikte yapay zekânın nasıl fark yarattığını gör!