Dağıtım için özel çıkarım uç noktaları vs paylaşımlı çıkarım

Kısa bir süre önce, veri kümesi hazırlama ve model eğitiminden çıkarım, dağıtım ve izlemeye kadar tüm bilgisayarlı görü iş akışını tek bir yerde toplayan uçtan uca çözümümüz Ultralytics Platform'u tanıttık.

Bilgisayarlı görü topluluğundan gelen geri bildirimlerle oluşturulan bu platform, görü yapay zekası uygulamalarının tüm yaşam döngüsünü destekleyen entegre özellikler sunarak geliştirmenin her aşamasını basitleştirmek için tasarlandı.

Örneğin, bir model eğitildikten sonra bir sonraki adım, çıkarım çalıştırmak ve gerçek dünya uygulamalarında tahminler yapmak için onu dağıtmaktır. Platform, birden fazla dağıtım seçeneği sunarak bu süreci kolaylaştırır.

Modelleri kendi ortamında çalıştırmak üzere dışa aktarabilir, hızlı testler için paylaşımlı çıkarımı kullanabilir veya ölçeklenebilir, üretime hazır uygulamalar için özel uç noktalar dağıtabilirsin. Bu dağıtım seçeneklerinin her biri yapay zeka çıkarımı çalıştırmana olanak tanır ancak bunlar farklı aşamalar ve kullanım durumları için tasarlanmıştır.

Şekil 1. Ultralytics Platform, ölçeklenebilir küresel görü yapay zekası model dağıtımını etkinleştirir (Kaynak)

Model dışa aktarma, modelleri kendi altyapında çalıştırman için sana tam kontrol sağlar; paylaşımlı çıkarım, kurulum yapmadan test etmeyi ve denemeler yapmayı kolaylaştırır; özel uç noktalar ise güvenilir, büyük ölçekli üretim iş yükleri için oluşturulmuştur.

İlk bakışta, paylaşımlı çıkarım ve özel uç noktalar oldukça benzer görünebilir. Her ikisi de modeline API istekleri göndermeni ve yapılandırılmış tahminler almanı sağlayarak görü yapay zekasını uygulamalara entegre etmeyi kolaylaştırır.

Ancak iş yüklerin büyüdükçe ve bilgisayarlı görü uygulamaların gerçek zamanlı çıkarım isteklerini işlemeye başladıkça, bu seçenekler arasındaki farklar daha önemli hale gelir. Bu makalede, paylaşımlı çıkarım ve özel uç noktalara, bunların nasıl karşılaştırıldığına, her birinin ne zaman kullanılacağına ve uygulamaların ölçeklendikçe neden özel uç noktaların daha iyi bir seçim haline geldiğine daha yakından bakacağız.

Link to this sectionPaylaşımlı çıkarımları kullanarak dağıtıma genel bir bakış#

Paylaşımlı çıkarım, herhangi bir altyapı kurmak veya GPU türleri, çerçeve entegrasyonu ya da çalışma zamanı yapılandırması hakkında endişelenmek zorunda kalmadan modellerinde yapay zeka çıkarımı çalıştırmanın basit bir yoludur. Modelin eğitildiğinde veya ince ayar yapıldığında, onu doğrudan platform üzerinden tahminler yapmak için kullanabilirsin.

Bu kurulumda modelin, ABD, Avrupa ve Asya-Pasifik gibi birkaç temel bölgedeki paylaşımlı, çok kiracılı işlem kaynaklarında çalışır. İstekler otomatik olarak mevcut hizmetlere yönlendirilir, bu nedenle GPU örneklerini veya çalışma zamanı ortamlarını yapılandırmana gerek kalmaz. Her şey senin yerine halledilir, bu da başlamayı kolaylaştırır.

Paylaşımlı çıkarımı kullandığında, Python veya CLI gibi araçları kullanarak bir REST API aracılığıyla modeline istekler gönderir ve algılanan nesneler, güven puanları ve diğer tahmin detayları gibi yapılandırılmış JSON çıktıları alırsın. Bu, modelleri test etmeyi ve uygulamalara entegre etmeyi sorunsuz hale getirir.

Sistem paylaşımlı olduğu için geliştirme, test etme ve hafif kullanım amaçlı tasarlanmıştır. Tahminleri doğrulamak ve erken entegrasyonlar oluşturmak için iyi çalışır. Aynı zamanda, performans sistem yüküne bağlı olarak değişebilir ve kullanım API anahtarı başına dakikada 20 istek ile sınırlandırılmıştır, bu da onu yüksek hacimli üretim iş yükleri için daha az uygun hale getirir.

Genel olarak, paylaşımlı çıkarım, odağın daha büyük ölçekli uygulamalara geçmeden önce modelini anlamak ve geliştirmek olduğu erken aşama geliştirme için en uygundur.

Link to this sectionÖzel uç noktaları kullanarak modelleri küresel olarak dağıt#

Özel uç noktalar, görü yapay zekası modellerinin izole edilmiş işlem kaynaklarında çalıştığı tek kiracılı çıkarım hizmetleridir. Altyapıyı paylaşmak yerine, her uç nokta CPU ve bellek gibi yapılandırılabilir kaynaklara sahip kendi çalışma zamanına sahiptir ve bu da sana performans üzerinde daha fazla kontrol sağlar.

Bir modeli özel uç nokta olarak dağıttığında, ona benzersiz bir API URL'si atanır ve kimlik doğrulaması için API anahtarını kullanır, bu da uygulamalara entegre edilmesini kolaylaştırır. Bu uç noktalar 43 küresel bölgede dağıtılabilir, böylece çıkarımı kullanıcılarına daha yakın bir yerde çalıştırabilir ve gecikmeyi azaltabilirsin.

Şekil 2. Özel uç noktaları 43 küresel bölgede dağıtabilirsin (Kaynak)

En önemli avantajlardan biri otomatik ölçeklendirmedir. Uç noktalar gelen isteklere göre otomatik olarak ayarlanır, daha yüksek trafiği işlemek için yukarı ölçeklenir ve talep düştüğünde aşağı ölçeklenir. Varsayılan olarak etkinleştirilen sıfıra ölçeklenme (scale-to-zero) özelliği sayesinde uç noktalar boşta kaldıklarında kapanabilir ve ihtiyaç duyulduğunda yeniden başlayarak kaynak kullanımını optimize etmeye yardımcı olabilir.

Başka bir deyişle, özel uç noktalar üretim iş yükleri için tasarlanmıştır. Paylaşımlı çıkarıma kıyasla tutarlı düşük gecikme süresi, daha yüksek verimlilik ve daha fazla güvenilirlik sağlarlar.

Ayrıca, özel uç noktaların hız sınırları yoktur. İstekler doğrudan uç noktana gider, bu nedenle ne kadar trafiği işleyebileceğin sabit sınırlar yerine kurulumuna ve ölçeklendirmene bağlıdır.

Buna ek olarak, yerleşik izleme, günlükler, sağlık kontrolleri ve öngörülebilir çalışma zamanı ve başlatma davranışı, tüm planlarda performansı izlemeyi ve kararlı dağıtımları sürdürmeyi kolaylaştırır. Ücretsiz planda soğuk başlatmalar genellikle 5 ile 45 saniye arasında sürerken, Pro plan uç noktaları sıcak kalır ve bu da daha hızlı ve daha öngörülebilir bir çıkarım performansı sağlar.

Basitçe ifade etmek gerekirse, özel uç noktalar güvenilir, ölçeklenebilir ve yüksek performanslı çıkarım gerektiren gerçek zamanlı görü yapay zekası uygulamaları için idealdir.

Link to this sectionPaylaşımlı çıkarım ve özel uç noktalar: Temel farklar#

İşte paylaşımlı çıkarım ve özel uç noktaların nasıl karşılaştırıldığına dair daha yakından bir bakış:

• Gecikme: Gecikme, kaynak paylaşımı nedeniyle paylaşımlı ortamlarda değişebilirken, özel uç noktalar daha tutarlı, düşük gecikmeli yanıtlar sağlar.
• Bölgeler: Paylaşımlı çıkarım birkaç bölgede (ABD, AB, AP) mevcuttur, oysa özel uç noktalar 43 küresel bölgede dağıtımı destekler.
• Ölçeklenebilirlik: Ölçeklendirme paylaşımlı çıkarımda yapılandırılamazken, özel uç noktalar gelen trafiğe göre otomatik olarak ölçeklenir.
• Hız Sınırları: Paylaşımlı çıkarım hız sınırına tabidir (API anahtarı başına dakikada 20 istek veya API çağrısı), oysa özel uç noktaların platform hız sınırları yoktur.
• Fiyatlandırma: Paylaşımlı çıkarım, test ve geliştirme için hiçbir ek ücret olmadan sunulurken, özel uç noktalar kaynak yapılandırmasına ve dağıtım ihtiyaçlarına bağlı kullanımla daha fazla kontrol ve ölçeklenebilirlik sunar.

Link to this sectionÖzel uç noktalar neden üretim iş yükleri için daha iyidir?#

Yapay zeka ve makine öğrenimi uygulamaları test aşamasından gerçek dünya kullanımına geçtikçe performans, ölçeklenebilirlik ve güvenilirlik temel hale gelir. İşte bu yüzden özel uç noktalar, paylaşımlı çıkarıma göre net avantajlar sunar.

Özel uç noktalarla, önceden eğitilmiş veya özel modelin kendi işlem kaynaklarında çalışır, bu nedenle performans diğer kullanıcılardan etkilenmez. Bu, video analitiği ve izleme sistemleri gibi gerçek zamanlı uygulamalar için önemli olan gecikmeyi düşük ve tutarlı tutmaya yardımcı olur.

Şekil 3. Özel bir çıkarım uç noktası kullanılarak dağıtıma bir bakış (Kaynak)

Örneğin, birden fazla mağazadaki canlı kamera akışlarını işleyen bir perakende analitiği sistemini düşün. Uç noktaları 43 küresel bölgede dağıtarak çıkarım, her mağazaya daha yakın çalışabilir, bu da gecikmeyi azaltır ve yanıt sürelerini iyileştirir.

Kaynakların paylaşıldığı ve bölgelerin sınırlı olduğu paylaşımlı çıkarımda performans yoğun dönemlerde değişebilir.

Özel uç noktalar ayrıca daha yüksek trafiği işleyebilir ve talebe göre otomatik olarak ölçeklenebilir. Yerleşik izleme, günlükler ve sağlık kontrolleri ile daha öngörülebilir performans sağlarlar, bu da onları büyük ölçekli ve sürekli yapay zeka iş yükleri için uygun kılar.

Link to this sectionPaylaşımlı çıkarım, görü yapay zekası iş akışının neresine oturur?#

Paylaşımlı çıkarım ve özel uç noktalar arasındaki farkları keşfederken, paylaşımlı çıkarımın genel bilgisayarlı görü iş akışının neresine uyduğunu merak ediyor olabilirsin.

Perakende analitiği örneğine tekrar bakalım. Bir görü çözümünü birden fazla mağazada dağıtmadan önce ekipler genellikle gerçek veriler üzerinde nasıl performans gösterdiğini test etmeli ve bu sonuçlara göre iyileştirmeler yapmalıdır.

Paylaşımlı çıkarım, mağaza kameralarından örnek görüntüler veya video kareleri göndermene ve altyapı kurmadan tahminleri hızlıca gözden geçirmene olanak tanıyarak bu süreci basit hale getirir. Bu, özellikle model davranışını test etmek, yanlış tahminleri ayıklamak ve ışıklandırma veya mağaza düzenindeki değişiklikler gibi farklı koşullar altında sonuçları doğrulamak için yararlıdır.

Bu şekilde yineleyerek ekipler, üretime geçmeden önce model doğruluğunu ve güvenilirliğini artırabilirler. Model bu test senaryolarında iyi performans gösterdiğinde, gerçek zamanlı kullanım için birden fazla konumda özel uç noktalara dağıtılabilir.

Paylaşımlı çıkarım, düşük veya seyrek kullanım gerektiren uygulamalar için de iyi çalışabilir. Örneğin, küçük bir perakende mağazası, tam ölçekli bir dağıtıma ihtiyaç duymadan, yaya trafiğini ara sıra analiz etmek veya müşteri faaliyetlerini belirli zamanlarda gözden geçirmek için bunu kullanabilir. Bu durumlarda, talep üzerine çıkarım çalıştırmak için basit ve uygun maliyetli bir yol sağlar.

Link to this sectionÖzel uç noktaların gerçek dünya kullanım durumları#

Yapay zeka uygulamaları test aşamasının ötesine geçtikçe, dağıtım seçimi doğrudan performansı, ölçeklenebilirliği ve kullanıcı deneyimini etkilemeye başlar. Özel uç noktalar, kararlı performans, düşük gecikme süresi ve büyük ölçekli iş yüklerini işleme yeteneği sağladıkları için sektörler genelinde yaygın olarak kullanılabilir.

İşte özel uç noktaların gerçek dünya uygulamalarında nasıl kullanılabileceğini gösteren bazı yaygın kullanım durumları:

• Perakende ve video analitiği: Bir perakende zinciri, müşteri hareketlerini takip etmek, popüler ürünleri belirlemek ve mağaza aktivitesini gerçek zamanlı olarak izlemek için bilgisayarlı görüden yararlanabilir. Özel uç noktalar (dedicated endpoints), yoğun saatlerde bile birden fazla mağaza konumunda çıkarımı hızlı ve tutarlı tutar.
• Üretim ve kalite kontrol: Üretim hattında, modeller ürünler sistem içinden geçerken kusurları veya anormallikleri tespit edebilir. Özel uç noktalar, ekiplerin sorunları erkenden yakalamasına ve operasyonları yavaşlatmadan ürün kalitesini korumasına yardımcı olarak sürekli, gerçek zamanlı çıkarımı destekler.
• Sağlık hizmetleri ve tıbbi görüntüleme: Sağlık hizmeti sağlayıcıları ve tanı laboratuvarları, röntgen veya tarama gibi tıbbi görüntüleri analiz etmek için görü modellerine güvenebilir. Özel uç noktalar, hassas verileri işlerken ve zamana duyarlı teşhislerde kritik öneme sahip olan güvenilir ve tutarlı bir performans sunar.
• Depo ve lojistik otomasyonu: Büyük depolar genellikle aynı kurulumun kopyaları olarak hareket eden konveyör bantları ve sıralama hatları gibi birden fazla özdeş sistem çalıştırır. Bilgisayarlı görü modelleri, sıkışmalar veya yanlış yönlendirilmiş paketler gibi sorunları tespit etmek için her kopyayı izleyebilir. Özel uç noktalar, tüm kopyalarda gerçek zamanlı olarak tutarlı çıkarım sağlar.

Link to this sectionPaylaşımlı çıkarımdan özel uç noktalara geçiş#

Ultralytics Platform'un en önemli avantajlarından biri, uygulaman büyüdükçe paylaşımlı çıkarımdan özel uç noktalara geçmenin ne kadar basit olduğudur. Araç değiştirmek veya kurulumunu yeniden oluşturmak yerine, aynı ortamda üretime hazır bir dağıtıma geçiş yapabilirsin.

Modelini paylaşımlı çıkarımla test ettikten sonra, özel bir uç noktaya geçmek basit bir sonraki adımdır. Aynı modeli bir uç noktaya dağıtabilir, tercih ettiğin bölgeyi ve işlem kaynaklarını seçebilir ve uygulamanındaki uç nokta URL'sini güncelleyebilirsin. Genel entegrasyon benzer kalır, bu nedenle istekleri nasıl gönderdiğin veya yanıtları nasıl işlediğin konusunda çok az değişiklik olur veya hiç olmaz.

Şekil 4. Ultralytics Platform üzerinde bir özel uç nokta URL'sini görüntüleme (Kaynak)

Bu, birkaç tıklamayla test aşamasından üretime geçebileceğin anlamına gelir. İş yükün arttıkça veya uygulaman daha tutarlı bir performans gerektirdiğinde, mevcut iş akışını bozmadan özel uç noktalara geçebilirsin.

Ultralytics Platform üzerinde özel uç noktalar kullanarak modelleri dağıtma hakkında daha fazla bilgi edinmek için resmi Ultralytics Platform belgelerine göz at.

Link to this sectionÖne çıkanlar#

Paylaşımlı çıkarım, test ve deneme için harika bir başlangıç noktasıdır ancak üretim iş yükleri daha fazla tutarlılık ve ölçek gerektirir. Uygulamalar büyüdükçe, özel uç noktalar gerçek dünya kullanımını desteklemek için gereken performans ve güvenilirliği sağlar. Bu, onları çoğu üretim dağıtımı için en iyi seçenek haline getirir.

Topluluğumuza katıl ve bilgisayarlı görü modelleri hakkında daha fazla bilgi edinmek için GitHub depomuzu keşfet. Çözüm sayfalarımızda tarımda yapay zeka ve robotikte bilgisayarlı görü gibi uygulamalar hakkında bilgi edin. Lisanslama seçeneklerimize göz at ve görü yapay zekası ile çalışmaya başla.