Ultralytics Platform: Bilgisayarlı görü modellerini istediğin bölgeye dağıtma

Bu haftanın başlarında Ultralytics, veri hazırlamadan model geliştirme ve dağıtıma kadar görüntü yapay zekâsı iş akışının her aşamasını kolaylaştırarak bilgisayarlı görü (CV) sistemlerinin kullanıma sunulmasını hızlandırmak üzere tasarlanmış yeni bir uçtan uca ortam olan Ultralytics Platform'u kullanıma sundu.

Ultralytics Platform'un geliştirilmesinin ardındaki temel motivasyonlardan biri, makinelerin görüntü ve videoları analiz etmesini sağlayan bir bilgisayarlı görü çözümünü fikir aşamasından etki yaratmaya taşımanın güçlü bir model oluşturmaktan daha fazlasını gerektirmesidir. Bir model eğitilip doğrulamadan geçirildikten sonra uygulamaların görüntü gönderebilmesi, tahmin alabilmesi ve gerçek dünya ortamlarında güvenilir şekilde çıkarım yapabilmesi için dağıtılması gerekir.

Makine öğrenimi yaşam döngüsünün bu aşamasında bilgisayarlı görü modelleri deneme aşamasını geride bırakır ve pratik sistemlere güç vermeye başlar. Veri kümesi hazırlama, etiketleme, model eğitimi ve test gibi önceki adımlar sorunsuz ilerlese bile modelleri dağıtmanın güvenilir bir yolu olmadığında bu sonuçlar fark yaratamaz.

Birçok bilgisayarlı görü projesinde gerçek şu ki dağıtım, iş akışındaki en karmaşık adımlardan biri olabilir.

Ekiplerin çoğu zaman çıkarım API'lerini yapılandırması, işlem kaynaklarını yönetmesi, gecikmeyi azaltmak için modelleri kullanıcılara yakın konumlarda dağıtması ve sistemler üretimde çalışmaya başladıktan sonra performansı izlemesi gerekir.

Ultralytics Platform; model dışa aktarma biçimleri, paylaşımlı çıkarım hizmetleri ve dünya genelindeki bölgelerde özel uç noktalar dâhil olmak üzere birden fazla dağıtım seçeneği sunarak bu süreci kolaylaştırır ve otomatikleştirir. Yönetilen altyapı ve yerleşik izleme sayesinde ekipler, eğitilmiş modellerden üretime hazır bilgisayarlı görü sistemlerine kolayca geçebilir.

Şekil 1. Ultralytics Platform kullanılarak model dağıtımına genel bakış (Kaynak)

Bu makalede, Ultralytics Platform üzerindeki özel uç noktaları kullanarak bilgisayarlı görü modellerinin herhangi bir bölgeye nasıl dağıtılacağını inceleyeceğiz. Hadi başlayalım!

CV modeli dağıtımı nedir?#

Ultralytics Platform kullanarak derin öğrenme modellerinin nasıl dağıtılacağına geçmeden önce bilgisayarlı görü modeli dağıtımının gerçekte ne anlama geldiğini daha iyi anlayalım.

Bilgisayarlı görü modeli dağıtımı, eğitilmiş bir modelin alınıp gerçek dünyada kullanılabilir hâle getirilmesi sürecidir. Model yalnızca bir eğitim ortamında çalıştırılmak yerine, uygulamaların modele görüntü veya video gönderip karşılığında tahmin alabileceği şekilde kurulur.

Örneğin bir model görüntüdeki nesneleri tespit edebilir, görüntü segmentasyonu gerçekleştirebilir, bir depodaki öğeleri tanımlayabilir veya video görüntülerindeki örüntüleri tanıyabilir. Gerçek dünya sistemlerinin çoğunda bu işlem bir API ya da çıkarım uç noktası üzerinden gerçekleşir.

Bir uygulama modele görüntü gönderir, model bu görüntüyü işler ve milisaniyeler içinde bir tahmin döndürür. Ultralytics YOLO gibi bilgisayarlı görü modellerinin gerçek zamanlı uygulamalara olanak sağlamasını mümkün kılan şey budur.

Modeller, kullanım senaryosuna bağlı olarak farklı ortamlarda dağıtılabilir. Bazıları bulutta (bulut platformları üzerinden) çalışır ve birçok uygulama bunlara erişebilirken diğerleri hızlı yerel tahminlere ihtiyaç duyan şirket içi kameralar, robotlar veya gömülü sistemler gibi uç cihazlarda çalışır.

Ultralytics Platform'da yapay zekâ modeli dağıtım seçenekleri#

Ultralytics Platform, bilgisayarlı görü topluluğunun karşılaştığı birçok zorluğu, özellikle model dağıtımıyla ilgili olanları ele alırken uygulamanın ihtiyaçlarına göre çıkarım çalıştırmak için esnek yollar sunar.

Platformda bulunan model dağıtım seçeneklerine kısaca göz atalım:

• Model dışa aktarma: Modelleri ONNX, TensorRT, CoreML ve TFLite dâhil 17 farklı biçime dışa aktarabilir; böylece modelleri Raspberry Pi ve NVIDIA Jetson gibi uç cihazlar, mobil uygulamalar, Docker container'ları ve özel altyapılar dâhil çok çeşitli ortamlarda çalıştırabilirsin.
• Paylaşımlı çıkarım: Platform, tahminleri yönetilen bir paylaşımlı çıkarım hizmeti üzerinden çalıştırmana olanak tanır; bu seçenek modelleri hızlıca test etmek için idealdir.
• Özel uç noktalar: Modelleri, üretim dağıtımları için yerleşik otomatik ölçeklendirme, izleme ve sistem durumu kontrolleriyle birlikte 43 küresel bölgede çalışabilen benzersiz API URL'lerine sahip bağımsız hizmetler olarak kolayca dağıtabilirsin.

Özel uç noktaları kullanarak dağıtım#

Ultralytics Platform'da önceden eğitilmiş modelleri veya özel olarak eğitilmiş bilgisayarlı görü modellerini üretimde çalıştırmanın en ölçeklenebilir yollarından biri özel uç noktaları kullanmaktır. Özel uç nokta, eğitilmiş bir modeli kendi hizmeti olarak dağıtmana olanak tanır; böylece uygulamalar modele görüntü gönderip API üzerinden tahmin alabilir.

Bir modeli yalnızca eğitim ortamında veya yerel bir not defterinde çalıştırmak yerine uç nokta olarak dağıtmak, onu gerçek uygulamalar için erişilebilir hâle getirir. Örneğin bir depo sistemi nesne tespiti için paket görüntüleri gönderebilir, akıllı bir kamera video karelerini analiz edebilir veya bir robotik sistem eylemleri yönlendirmek için tahminleri kullanabilir.

Her özel uç nokta tek kiracılı bir hizmet olarak çalışır; yani modelini çalıştıran altyapı diğer kullanıcılarla paylaşılmaz. Bu, daha öngörülebilir performans sağlar ve modelin üretimde nasıl davrandığını izlemeyi kolaylaştırır.

Özel çıkarım uç noktalarının işlevselliğini anlama#

Özel uç noktayı modelin için barındırılan bir hizmet olarak düşünebilirsin. Ultralytics Platform, uygulamalar için giriş noktası görevi gören benzersiz bir uç nokta URL'si sağlar.

Bir uygulama bu URL'ye istek gönderdiğinde istek; görüntüyü, güven eşiği veya görüntü boyutu gibi isteğe bağlı parametreleri ve kimlik doğrulama için bir API anahtarını içerir.

Hizmet, modelini kullanarak görüntü üzerinde çıkarım gerçekleştirir ve tahminleri yapılandırılmış bir yanıtla döndürür. Bu kurulum, geliştiricilerin bilgisayarlı görü modellerini standart web araçlarını kullanarak gerçek sistemlere entegre etmesine olanak tanır.

Uygulamalar Python, JavaScript, cURL veya diğer HTTP istemcilerini kullanarak istek gönderebilir; bu da modelleri panolara, robotik sistemlere veya bulut uygulamalarına bağlamayı kolaylaştırır. Uç nokta bağımsız çalıştığından ölçeklendirme, izleme ve küresel dağıtımı da destekleyebilir; böylece ekiplerin güvenilir üretim bilgisayarlı görü sistemleri oluşturmasına yardımcı olur.

Çok bölgeli dağıtım gerçek zamanlı çıkarımı iyileştirir#

Ultralytics Platform'daki özel uç noktaların temel avantajlarından biri, modelleri dünya genelindeki 43 bölgeye dağıtabilme olanağıdır. Bu bölgeler Kuzey Amerika, Güney Amerika, Avrupa, Asya Pasifik ve Orta Doğu ile Afrika dâhil dünyanın birçok bölümüne yayılır.

Şekil 2. Ultralytics Platform 43 küresel bölgeyi destekler (Kaynak)

Modelleri uygulamaların çalıştığı konumlara daha yakın bölgelerde dağıtmak, bir uygulamanın görüntü gönderip tahmin alması için gereken süre olan gecikmeyi azaltmaya yardımcı olur. Ayrıca veri işlemeyi verinin kaynağına daha yakın tutarak kuruluşların veri gizliliği ve veri yerleşimi gereksinimlerini karşılamasına yardımcı olabilir.

Düşük gecikme; robotik sistemler, Nesnelerin İnterneti (IoT) cihazları, endüstriyel denetim iş akışları ve akıllı şehir altyapısı gibi gerçek zamanlı çıkarıma dayanan birçok bilgisayarlı görü uygulaması için önemlidir.

Örneğin bir uygulama ağırlıklı olarak Avrupa'da kullanılıyorsa modeli Avrupa'daki bir bölgede dağıtmak, modeli uzak bir bölgede çalıştırmaya kıyasla yanıt sürelerini önemli ölçüde iyileştirebilir.

Ultralytics Platform ile herhangi bir bölgeye nasıl dağıtım yapılır?#

Bir modeli belirli bir bölgeye dağıtmak kolaydır ve genellikle yalnızca birkaç dakika sürer. Platform, altyapı kurulumunu yöneterek geliştiricilerin modeli uygulamalarına entegre etmeye odaklanmasını sağlar. Şimdi gereken adımlara göz atalım.

Adım: Bir model eğit veya yükle#

Dağıtımdan önce projen içinde kullanılabilir durumda eğitilmiş bir modelin olması gerekir. Bu model doğrudan Ultralytics Platform'da eğitilmiş, başka bir yerde eğitildikten sonra yüklenmiş veya diğer kullanıcıların paylaştığı herkese açık projelerin tek tıklamayla kendi hesabına kopyalanabildiği “Explore sekmesi”ndeki bir topluluk projesinden klonlanmış olabilir.

Model hazır olduğunda devam etmek için projenin içindeki model sayfasını aç.

Adım: Deploy sekmesini aç#

Modelin Deploy sekmesine git. Platformun bu bölümü dağıtımları yapılandırmana ve başlatmana olanak tanır.

Bu sayfada bir bölge tablosu ve dünya genelindeki kullanılabilir dağıtım konumlarını gösteren etkileşimli bir harita görürsün. Platform, konumundan itibaren gecikmeyi ölçer ve en uygun bölgeyi seçmene yardımcı olmak için bölgeleri buna göre sıralar.

Şekil 3. Ultralytics Platform'da gecikmeye göre sıralanan bölgeler (Kaynak)

Adım: Bir dağıtım bölgesi seç#

Kullanıcılarının veya uygulamalarının bulunduğu konuma göre bir bölge seç. Modeli isteklerin kaynağına daha yakın bir yerde dağıtmak yanıt sürelerini önemli ölçüde azaltabilir.

Adım: Uç noktayı dağıt#

Bölgeyi seçip yapılandırmayı onayladıktan sonra Deploy'a tıklayabilirsin.

Platform daha sonra dağıtım ortamını hazırlar, model görüntüsünü çeker, hizmeti başlatır ve uç noktanın hazır olduğundan emin olmak için sistem durumu kontrolü gerçekleştirir. Bu işlem genellikle yaklaşık bir ila iki dakika sürer.

Dağıtım tamamlandığında platform, uygulamaların çıkarım istekleri göndermek için kullanabileceği benzersiz bir uç nokta URL'si oluşturur.

Şekil 4. Dağıtılmış bir uç nokta örneği (Kaynak)

Adım: Çıkarım istekleri göndermeye başla#

Uç nokta çalışırken uygulamalar, sağlanan REST API uç noktasını ve Authorization başlığında gönderilen bir API anahtarını kullanarak modele görüntü göndermeye başlayabilir. Uç nokta her isteği işler ve tespit edilen nesneler, sınırlayıcı kutular veya göreve özgü diğer çıktılar gibi tahminleri döndürür.

Model dağıtımıyla ilgili daha fazla ayrıntı için resmî Ultralytics Platform belgelerine göz at.

Dağıtılmış uç noktalar için model performansını ve metriklerini izleme#

Bir bilgisayarlı görü modeli dağıtıldıktan sonra performansını izlemek, sistemin güvenilirliğini ve sağlamlığını korumanın önemli bir parçası hâline gelir. İyi eğitilmiş bir modelin bile hızlı yanıt vermeye, gelen istekleri düzgün şekilde işlemeye ve doğru tahminler sunmaya devam ettiğinden emin olmak için üretimde gözlemlenmesi gerekir.

Ultralytics Platform, ekiplerin dağıtılmış uç noktaların nasıl performans gösterdiğini görmesini sağlayan yerleşik izleme araçları sunar. Platformun Deploy sayfası, çalışan tüm uç noktaları ve sistem durumunu ve kullanımı takip etmeye yardımcı olan temel metrikleri merkezi bir görünümde sunan bir izleme panosu görevi görür.

Platformu kullanarak izleyebileceğin metriklerden bazıları şunlardır:

• P95 gecikmesi: Bu metrik, çıkarım istekleri için sunucu tarafındaki 95. yüzdelik dilim yanıt süresini ölçer. Çoğu çıkarım isteğinin ne kadar sürdüğüne ilişkin içgörü sağlar ve performans yavaşlamalarını belirler.
• Hata oranı: Seçilen izleme aralığında başarısız olan veya hata döndüren isteklerin yüzdesini ifade eder. Hata oranlarını izlemek, ekiplerin dağıtımlardaki veya gelen isteklerdeki sorunları hızlıca tespit etmesini sağlar.
• Toplam istek sayısı: Bu metrik, seçilen zaman aralığında (örneğin son 24 saatte) dağıtılmış uç noktalar genelinde işlenen toplam çıkarım isteği sayısını gösterir. Ekiplerin trafik düzeylerini ve modellerinin ne sıklıkta kullanıldığını anlamasına yardımcı olur.

Bu metriklere ek olarak platform, uç nokta sistem durumu kontrolleri ve dağıtım günlükleri de sunar. Sistem durumu kontrolleri bir uç noktanın doğru yanıt verip vermediğini gösterirken günlükler son istekler ve sistem etkinliği hakkında ayrıntılı bilgi sağlar.

Önemli çıkarımlar#

Bilgisayarlı görü modellerini dağıtmak, eğitilmiş modelleri gerçek dünya uygulamalarına güç veren sistemlere dönüştürmede kritik bir adımdır. Ultralytics Platform ile ekipler modelleri 43 küresel bölgedeki özel uç noktalar üzerinden kolayca dağıtabilir, API'ler aracılığıyla gerçek zamanlı çıkarım çalıştırabilir ve performansı tek bir ortamdan izleyebilir. Esnek dağıtım seçenekleri, yerleşik izleme ve ölçeklenebilir altyapıyı bir araya getiren platform, geliştiricilerin eğitilmiş makine öğrenimi modellerinden güvenilir bilgisayarlı görü uygulamalarına daha hızlı geçmesine yardımcı olur.

Büyüyen topluluğumuzun bir parçası ol! Yapay zekâ hakkında daha fazla bilgi edinmek için GitHub depomuza göz at. Bilgisayarlı görü çözümleri geliştirmek istiyorsan lisanslama seçeneklerimize göz at. Sağlık hizmetlerinde bilgisayarlı görünün avantajlarını keşfet ve lojistikte yapay zekânın nasıl fark yarattığını gör!