Ultralytics Platform: Bilgisayarlı görü modellerini herhangi bir bölgeye dağıtma

Bu haftanın başlarında Ultralytics, veri hazırlama ve model geliştirmeden dağıtıma kadar vision AI iş akışının her aşamasını kolaylaştırarak bilgisayarlı görü (CV) sistemlerini daha hızlı göndermek için tasarlanmış yeni bir uçtan uca ortam olan Ultralytics Platform'ı kullanıma sundu.

Ultralytics Platform'u geliştirmenin arkasındaki temel motivasyonlardan biri, makinelerin görüntüleri ve videoları analiz etmesini sağlayan bir bilgisayarlı görü çözümünü fikirden etki yaratmaya götürmenin, güçlü bir model oluşturmaktan çok daha fazlasını içermesidir. Bir model eğitilip doğrulamayı geçtikten sonra, uygulamaların görüntü gönderebilmesi, tahminleri alabilmesi ve gerçek dünya ortamlarında güvenilir bir şekilde çıkarım yapabilmesi için dağıtılması gerekir.

Makine öğrenimi yaşam döngüsünün bu aşaması, bilgisayarlı görü modellerinin deneme aşamasının ötesine geçip pratik sistemlere güç vermeye başladığı yerdir. Veri kümesi hazırlama, etiketleme, model eğitimi ve test gibi önceki adımlar sorunsuz ilerlese bile, modelleri dağıtmak için güvenilir bir yol olmadan bu sonuçlar bir fark yaratamaz.

Birçok bilgisayarlı görü projesindeki gerçek, dağıtımın iş akışındaki en karmaşık adımlardan biri olabileceğidir.

Ekipler genellikle çıkarım API'lerini yapılandırmalı, bilgi işlem kaynaklarını yönetmeli, gecikmeyi azaltmak için modelleri kullanıcılara yakın bir yerde dağıtmalı ve sistemler üretimde çalışmaya başladığında performansı izlemelidir.

Ultralytics Platform, model dışa aktarma formatları, paylaşılan çıkarım hizmetleri ve küresel bölgelerdeki özel uç noktalar dahil olmak üzere birden fazla dağıtım seçeneği sunarak bu süreci kolaylaştırır ve otomatikleştirir. Yönetilen altyapı ve yerleşik izleme ile ekipler, eğitilmiş modellerden üretim için hazır bilgisayarlı görü sistemlerine kolayca geçebilirler.

Şekil 1. Ultralytics Platform kullanılarak modellerin dağıtımına bir bakış (Kaynak)

Bu makalede, Ultralytics Platform üzerindeki özel uç noktaları kullanarak bilgisayarlı görü modellerinin herhangi bir bölgeye nasıl dağıtılacağını keşfedeceğiz. Başlayalım!

Link to this sectionCV model dağıtımı nedir?#

Ultralytics Platform kullanarak derin öğrenme modellerinin nasıl dağıtılacağına geçmeden önce, bilgisayarlı görü modeli dağıtımının aslında ne anlama geldiğini daha iyi anlayalım.

Bilgisayarlı görü model dağıtımı, eğitilmiş bir modelin alınıp gerçek dünya kullanımına sunulması sürecidir. Model, yalnızca bir eğitim ortamında çalışmak yerine, uygulamaların ona görüntü veya video gönderebilmesi ve karşılığında tahminler alabilmesi için ayarlanır.

Örneğin, bir model bir görüntüdeki nesneleri algılayabilir, görüntü bölütleme gerçekleştirebilir, bir depodaki öğeleri tanımlayabilir veya video görüntülerindeki desenleri tanıyabilir. Çoğu gerçek dünya sisteminde bu, bir API veya çıkarım uç noktası aracılığıyla gerçekleşir.

Bir uygulama modele bir görüntü gönderir, model onu işler ve milisaniyeler içinde bir tahmin döndürür. Ultralytics YOLO gibi bilgisayarlı görü modellerinin gerçek zamanlı uygulamaları mümkün kılması işte bu sayede olur.

Modeller, kullanım durumuna bağlı olarak farklı ortamlarda dağıtılabilir. Bazıları bulutta (bulut platformları aracılığıyla) çalışır ve birçok uygulama bunlara erişebilirken, diğerleri yerel olarak hızlı tahminlere ihtiyaç duyan kurum içi kameralar, robotlar veya gömülü sistemler gibi uç cihazlarda çalışır.

Link to this sectionUltralytics Platform üzerinde AI model dağıtım seçenekleri#

Ultralytics Platform, bilgisayarlı görü topluluğunun karşılaştığı birçok zorluğu, özellikle modelleri dağıtma konusunda ele alırken, uygulamanın ihtiyaçlarına bağlı olarak çıkarım yapmanın esnek yollarını sunar.

İşte platformda mevcut olan model dağıtım seçeneklerine hızlı bir bakış:

• Model dışa aktarma: Modelleri ONNX, TensorRT, CoreML ve TFLite dahil olmak üzere 17 farklı formata aktarabilirsin; bu da modelleri Raspberry Pi ve NVIDIA Jetson gibi uç cihazlar, mobil uygulamalar, Docker konteynerleri ve özel altyapı gibi çok çeşitli ortamlarda çalıştırmayı mümkün kılar.
• Paylaşılan çıkarım: Platform, modelleri hızlı bir şekilde test etmek için ideal olan yönetilen bir paylaşılan çıkarım hizmeti aracılığıyla tahminler yürütmene olanak tanır.
• Özel uç noktalar: Yerleşik otomatik ölçeklendirme, izleme ve üretim dağıtımları için sağlık kontrolleri ile 43 küresel bölgede çalışabilen, benzersiz API URL'lerine sahip bağımsız hizmetler olarak modelleri kolayca dağıt.

Link to this sectionÖzel uç noktalar kullanarak dağıtım#

Ultralytics Platform'da önceden eğitilmiş modelleri veya özel olarak eğitilmiş bilgisayarlı görü modellerini üretimde çalıştırmanın en ölçeklenebilir yollarından biri özel uç noktalardır. Özel bir uç nokta, eğitilmiş bir modeli kendi hizmeti olarak dağıtmana olanak tanır, böylece uygulamalar ona görüntü gönderebilir ve bir API aracılığıyla tahminleri alabilir.

Bir modeli yalnızca bir eğitim ortamında veya yerel bir not defterinde çalıştırmak yerine, bir uç nokta olarak dağıtmak onu gerçek uygulamalar için erişilebilir kılar. Örneğin, bir depo sistemi nesne algılama için paket görüntüleri gönderebilir, akıllı bir kamera video karelerini analiz edebilir veya bir robotik sistemi eylemlere rehberlik etmek için tahminleri kullanabilir.

Her özel uç nokta, tek kiracılı bir hizmet olarak çalışır, yani modelini çalıştıran altyapı diğer kullanıcılarla paylaşılmaz. Bu, daha öngörülebilir performans sağlar ve modelin üretimde nasıl davrandığını izlemeyi kolaylaştırır.

Link to this sectionÖzel çıkarım uç noktalarının işlevselliğini anlama#

Özel bir uç noktayı modelin için barındırılan bir hizmet olarak düşünebilirsin. Ultralytics Platform, uygulamalar için giriş noktası görevi gören benzersiz bir uç nokta URL'si sağlar.

Bir uygulama o URL'ye bir istek gönderdiğinde, bir görüntü ve doğruluk eşikleri veya görüntü boyutu gibi isteğe bağlı parametrelerin yanı sıra kimlik doğrulama için bir API anahtarı içerir.

Hizmet, modelini kullanarak görüntü üzerinde çıkarım yapar ve tahminleri yapılandırılmış bir yanıtla döndürür. Bu kurulum, geliştiricilerin standart web araçlarını kullanarak bilgisayarlı görü modellerini gerçek sistemlere entegre etmelerini sağlar.

Uygulamalar Python, JavaScript, cURL veya diğer HTTP istemcilerini kullanarak istek gönderebilir, bu da modelleri panolara, robotik sistemlere veya bulut uygulamalarına bağlamayı kolaylaştırır. Uç nokta bağımsız olarak çalıştığından, aynı zamanda ölçeklendirmeyi, izlemeyi ve küresel dağıtımı destekleyebilir, böylece ekiplerin güvenilir üretim bilgisayarlı görü sistemleri oluşturmasına yardımcı olur.

Link to this sectionÇok bölgeli dağıtım, gerçek zamanlı çıkarımı iyileştirir#

Ultralytics Platform'daki özel uç noktaların temel bir avantajı, modelleri 43 küresel bölgeye dağıtma yeteneğidir. Bu bölgeler, Kuzey Amerika, Güney Amerika, Avrupa, Asya Pasifik ve Orta Doğu ve Afrika dahil olmak üzere dünyanın birçok yerini kapsar.

Şekil 2. Ultralytics Platform 43 küresel bölgeyi destekler (Kaynak)

Modelleri uygulamaların çalıştığı yere daha yakın bölgelerde dağıtmak, bir uygulamanın bir görüntü gönderip tahmin alması için geçen süre olan gecikmeyi azaltmaya yardımcı olur. Ayrıca, veri işlemeyi kaynağından daha yakın tutarak kuruluşların veri gizliliği ve veri yerleşimi gereksinimlerini karşılamalarına da yardımcı olabilir.

Düşük gecikme süresi, robotik sistemler, Nesnelerin İnterneti (IoT) cihazları, endüstriyel denetim hatları ve akıllı şehir altyapısı gibi gerçek zamanlı çıkarıma dayanan birçok bilgisayarlı görü uygulaması için önemlidir.

Örneğin, bir uygulama öncelikle Avrupa'da kullanılıyorsa, modeli Avrupa bölgesinde dağıtmak, modeli uzak bir bölgede çalıştırmaya kıyasla yanıt sürelerini önemli ölçüde iyileştirebilir.

Link to this sectionUltralytics Platform ile herhangi bir bölgeye nasıl dağıtım yapılır#

Bir modeli belirli bir bölgeye dağıtmak basittir ve genellikle sadece birkaç dakika sürer. Platform, altyapı kurulumunu halleder, böylece geliştiriciler modeli uygulamalarına entegre etmeye odaklanabilir. İlgili adımları inceleyelim.

Link to this sectionAdım 1: Bir model eğit veya yükle#

Dağıtımdan önce, projenizde mevcut olan eğitilmiş bir modele ihtiyacınız var. Bu, doğrudan Ultralytics Platform'da eğitilmiş bir model, başka bir yerde eğitildikten sonra yüklenen bir model veya diğer kullanıcılar tarafından paylaşılan genel projelerin tek bir tıklamayla kendi hesabına kopyalanabildiği “Keşfet sekmesi”nde bulunan bir topluluk projesinden klonlanmış bir model olabilir.

Model hazır olduğunda, devam etmek için projenizin içindeki model sayfasını aç.

Link to this sectionAdım 2: Dağıtım sekmesini aç#

Model için Dağıtım sekmesine git. Platformun bu bölümü, dağıtımları yapılandırmana ve başlatmana olanak tanır.

O sayfada, dünyanın dört bir yanındaki mevcut dağıtım konumlarını gösteren bir bölge tablosu ve etkileşimli bir harita göreceksin. Platform, konumundan gelen gecikmeyi ölçer ve en uygun bölgeyi seçmene yardımcı olmak için bölgeleri buna göre sıralar.

Şekil 3. Ultralytics Platform üzerinde gecikmeye göre sıralanmış bölgeler (Kaynak)

Link to this sectionAdım 3: Bir dağıtım bölgesi seç#

Kullanıcılarının veya uygulamalarının bulunduğu yere göre bir bölge seç. Modeli isteklerin kaynağına daha yakın dağıtmak yanıt sürelerini önemli ölçüde azaltabilir.

Link to this sectionAdım 4: Uç noktayı dağıt#

Bölgeyi seçip yapılandırmayı onayladıktan sonra Dağıt düğmesine tıklayabilirsin.

Platform daha sonra dağıtım ortamını hazırlar, model görüntüsünü çeker, hizmeti başlatır ve uç noktanın hazır olduğundan emin olmak için bir sağlık kontrolü gerçekleştirir. Bu işlem genellikle yaklaşık bir ila iki dakika sürer.

Dağıtım tamamlandığında, platform uygulamaların çıkarım istekleri göndermek için kullanabileceği benzersiz bir uç nokta URL'si oluşturur.

Şekil 4. Dağıtılmış bir uç nokta örneği (Kaynak)

Link to this sectionAdım 5: Çıkarım istekleri göndermeye başla#

Uç nokta çalışırken, uygulamalar sağlanan REST API uç noktasını ve Yetkilendirme üstbilgisinde (Authorization header) iletilen bir API anahtarını kullanarak modele görüntü göndermeye başlayabilir. Uç nokta her isteği işler ve algılanan nesneler, sınırlayıcı kutular veya diğer göreve özel çıktılar gibi tahminleri döndürür.

Model dağıtımıyla ilgili daha fazla ayrıntı için resmi Ultralytics Platform belgelerine göz at.

Link to this sectionDağıtılmış uç noktalar için model performansını ve ölçümlerini izleme#

Bir bilgisayarlı görü modeli dağıtıldıktan sonra, performansını izlemek sistem güvenilirliğini ve sağlamlığını korumanın önemli bir parçası haline gelir. İyi eğitilmiş bir modelin bile hızlı yanıt vermeye, gelen istekleri düzgün bir şekilde işlemeye ve doğru tahminler sunmaya devam ettiğinden emin olmak için üretimde gözlemlenmesi gerekir.

Ultralytics Platform, ekiplere dağıtılmış uç noktaların nasıl performans gösterdiğine dair görünürlük sağlayan yerleşik izleme araçları sağlar. Platformun Dağıtım sayfası, sistem sağlığını ve kullanımını izlemeye yardımcı olan temel ölçümlerle birlikte tüm çalışan uç noktaların merkezi bir görünümünü sunarak bir izleme panosu görevi görür.

İşte Platformu kullanarak izleyebileceğin bazı ölçümler:

• P95 gecikmesi: Bu ölçüm, çıkarım istekleri için 95. yüzdelik sunucu tarafı yanıt süresini ölçer. Çoğu çıkarım isteğinin ne kadar sürdüğüne dair bilgi sağlar ve performans yavaşlamalarını tanımlar.
• Hata oranı: Seçilen izleme penceresi içinde başarısız olan veya hata döndüren isteklerin yüzdesini temsil eder. Hata oranlarını izlemek, ekiplerin dağıtımlarla veya gelen isteklerle ilgili sorunları hızlı bir şekilde tespit etmesini sağlar.
• Toplam istekler: Bu ölçüm, seçilen zaman diliminde (örneğin, son 24 saat) dağıtılmış uç noktalarda işlenen toplam çıkarım isteği sayısını gösterir. Ekiplerin trafik seviyelerini ve modellerinin ne sıklıkla kullanıldığını anlamalarına yardımcı olur.

Bu ölçümlere ek olarak, platform uç nokta sağlık kontrolleri ve dağıtım günlükleri de sağlar. Sağlık kontrolleri bir uç noktanın doğru yanıt verip vermediğini gösterirken, günlükler son istekler ve sistem etkinliği hakkında ayrıntılı bilgi sağlar.

Link to this sectionÖne çıkanlar#

Bilgisayarlı görü modellerini dağıtmak, eğitilmiş modelleri gerçek dünya uygulamalarına güç veren sistemlere dönüştürmede çok önemli bir adımdır. Ultralytics Platform ile ekipler, 43 küresel bölgedeki özel uç noktalar aracılığıyla modelleri kolayca dağıtabilir, API'ler aracılığıyla gerçek zamanlı çıkarım çalıştırabilir ve performansı tek bir ortamdan izleyebilir. Esnek dağıtım seçeneklerini, yerleşik izlemeyi ve ölçeklenebilir altyapıyı birleştiren platform, geliştiricilerin eğitilmiş makine öğrenimi modellerinden güvenilir bilgisayarlı görü uygulamalarına daha hızlı geçmelerine yardımcı olur.

Büyüyen topluluğumuzun bir parçası ol! AI hakkında daha fazla bilgi edinmek için GitHub depomuza göz at. Bilgisayarlı görü çözümleri oluşturmak istiyorsan, lisanslama seçeneklerimize bak. Sağlık hizmetlerinde bilgisayarlı görü avantajlarını keşfet ve lojistikte AI kullanımının nasıl bir fark yarattığını gör!