Dağıtım için özel çıkarım uç noktaları vs paylaşımlı çıkarım

Yakın zamanda, veri seti hazırlama ve model eğitiminden çıkarıma, dağıtıma ve izlemeye kadar tüm bilgisayarlı görü iş akışını tek bir yerde toplayan uçtan uca bir çözüm olan Ultralytics Platform'ı tanıttık.

Bilgisayarlı görü topluluğundan gelen geri bildirimlerle oluşturulan bu platform, görü yapay zekası uygulamalarının tüm yaşam döngüsünü destekleyen entegre özellikler sunarak geliştirmenin her aşamasını basitleştirmek için tasarlandı.

Örneğin, bir model eğitildikten sonra, sonraki adım gerçek dünya uygulamalarında çıkarım çalıştırmak ve tahminler yapmak için onu dağıtmaktır. Platform, birden fazla dağıtım seçeneği sunarak bu süreci kolaylaştırır.

Modelleri kendi ortamında çalıştırmak üzere dışa aktarabilir, hızlı testler için paylaşımlı çıkarımı kullanabilir veya ölçeklenebilir, üretime hazır uygulamalar için özel uç noktalar dağıtabilirsin. Bu dağıtım seçeneklerinin her biri yapay zeka çıkarımı çalıştırmana olanak tanır ancak bunlar farklı aşamalar ve kullanım durumları için tasarlanmıştır.

Şekil 1. Ultralytics Platform, ölçeklenebilir küresel görü yapay zeka model dağıtımını sağlar (Kaynak)

Model dışa aktarma, modelleri kendi altyapında çalıştırman için sana tam kontrol sağlar; paylaşımlı çıkarım, kurulum yapmadan test etmeyi ve denemeler yapmayı kolaylaştırır; özel uç noktalar ise güvenilir, büyük ölçekli üretim iş yükleri için oluşturulmuştur.

İlk bakışta, paylaşımlı çıkarım ve özel uç noktalar oldukça benzer görünebilir. Her ikisi de modeline API istekleri göndermeni ve yapılandırılmış tahminler almanı sağlayarak görü yapay zekasını uygulamalara entegre etmeyi kolaylaştırır.

Ancak iş yüklerin büyüdükçe ve bilgisayarlı görü uygulamaların gerçek zamanlı çıkarım isteklerini işlemeye başladıkça, bu seçenekler arasındaki farklar daha önemli hale gelir. Bu makalede, paylaşımlı çıkarım ve özel uç noktalara, bunların nasıl karşılaştırıldığına, her birinin ne zaman kullanılacağına ve uygulamaların ölçeklendikçe neden özel uç noktaların daha iyi bir seçim haline geldiğine daha yakından bakacağız.

Paylaşımlı çıkarımları kullanarak dağıtıma genel bir bakış#

Paylaşılan çıkarım, herhangi bir altyapı kurmak veya GPU türleri, çerçeve entegrasyonu ya da çalışma zamanı yapılandırması hakkında endişelenmek zorunda kalmadan modellerinizde yapay zeka çıkarımı çalıştırmanın basit bir yoludur. Modeliniz eğitildikten veya ince ayar yapıldıktan sonra, doğrudan platform üzerinden tahminler yapmak için kullanabilirsin.

Bu kurulumda modelin, ABD, Avrupa ve Asya-Pasifik gibi birkaç temel bölgedeki paylaşımlı, çok kiracılı işlem kaynaklarında çalışır. İstekler otomatik olarak mevcut hizmetlere yönlendirilir, bu nedenle GPU örneklerini veya çalışma zamanı ortamlarını yapılandırmana gerek kalmaz. Her şey senin yerine halledilir, bu da başlamayı kolaylaştırır.

Paylaşımlı çıkarımı kullandığında, Python veya CLI gibi araçları kullanarak bir REST API aracılığıyla modeline istekler gönderir ve algılanan nesneler, güven puanları ve diğer tahmin detayları gibi yapılandırılmış JSON çıktıları alırsın. Bu, modelleri test etmeyi ve uygulamalara entegre etmeyi sorunsuz hale getirir.

Sistem paylaşımlı olduğu için geliştirme, test etme ve hafif kullanım amaçlı tasarlanmıştır. Tahminleri doğrulamak ve erken entegrasyonlar oluşturmak için iyi çalışır. Aynı zamanda, performans sistem yüküne bağlı olarak değişebilir ve kullanım API anahtarı başına dakikada 20 istek ile sınırlandırılmıştır, bu da onu yüksek hacimli üretim iş yükleri için daha az uygun hale getirir.

Genel olarak, paylaşımlı çıkarım, odağın daha büyük ölçekli uygulamalara geçmeden önce modelini anlamak ve geliştirmek olduğu erken aşama geliştirme için en uygundur.

Özel uç noktaları kullanarak modelleri küresel olarak dağıt#

Özel uç noktalar, görü yapay zeka modellerinin yalıtılmış bilgi işlem kaynakları üzerinde çalıştığı tek kiracılı çıkarım hizmetleridir. Altyapıyı paylaşmak yerine, her uç noktanın CPU ve bellek gibi yapılandırılabilir kaynaklara sahip kendi çalışma zamanı vardır ve bu da sana performans üzerinde daha fazla kontrol sağlar.

Bir modeli özel bir uç nokta olarak dağıttığında, buna benzersiz bir API URL'si atanır ve kimlik doğrulama için API anahtarın kullanılır, böylece uygulamalara entegre edilmesi kolaylaşır. Bu uç noktalar 43 küresel bölge genelinde dağıtılabilir, böylece çıkarımı kullanıcılarına daha yakın çalıştırabilir ve gecikmeyi azaltabilirsin.

Şekil 2. Özel uç noktaları 43 küresel bölgede dağıtabilirsin (Kaynak)

En önemli avantajlardan biri otomatik ölçeklendirmedir. Uç noktalar gelen isteklere göre otomatik olarak ayarlanır, daha yüksek trafiği işlemek için yukarı ölçeklenir ve talep düştüğünde aşağı ölçeklenir. Varsayılan olarak etkinleştirilen sıfıra ölçeklenme (scale-to-zero) özelliği sayesinde uç noktalar boşta kaldıklarında kapanabilir ve ihtiyaç duyulduğunda yeniden başlayarak kaynak kullanımını optimize etmeye yardımcı olabilir.

Başka bir deyişle, özel uç noktalar üretim iş yükleri için tasarlanmıştır. Paylaşımlı çıkarıma kıyasla tutarlı düşük gecikme süresi, daha yüksek verimlilik ve daha fazla güvenilirlik sağlarlar.

Ayrıca, özel uç noktaların hız sınırları yoktur. İstekler doğrudan uç noktana gider, bu nedenle ne kadar trafiği işleyebileceğin sabit sınırlar yerine kurulumuna ve ölçeklendirmene bağlıdır.

Buna ek olarak, yerleşik izleme, günlükler, sağlık kontrolleri ve öngörülebilir çalışma zamanı ve başlatma davranışı, tüm planlarda performansı izlemeyi ve kararlı dağıtımları sürdürmeyi kolaylaştırır. Ücretsiz planda soğuk başlatmalar genellikle 5 ile 45 saniye arasında sürerken, Pro plan uç noktaları sıcak kalır ve bu da daha hızlı ve daha öngörülebilir bir çıkarım performansı sağlar.

Basitçe ifade etmek gerekirse, özel uç noktalar güvenilir, ölçeklenebilir ve yüksek performanslı çıkarım gerektiren gerçek zamanlı görü yapay zekası uygulamaları için idealdir.

Paylaşımlı çıkarım ve özel uç noktalar: Temel farklar#

İşte paylaşımlı çıkarım ve özel uç noktaların nasıl karşılaştırıldığına dair daha yakından bir bakış:

• Gecikme: Gecikme, kaynak paylaşımı nedeniyle paylaşımlı ortamlarda değişebilirken, özel uç noktalar daha tutarlı, düşük gecikmeli yanıtlar sağlar.
• Bölgeler: Paylaşımlı çıkarım birkaç bölgede (ABD, AB, AP) mevcuttur, oysa özel uç noktalar 43 küresel bölgede dağıtımı destekler.
• Ölçeklenebilirlik: Ölçeklendirme paylaşımlı çıkarımda yapılandırılamazken, özel uç noktalar gelen trafiğe göre otomatik olarak ölçeklenir.
• Hız Sınırları: Paylaşımlı çıkarım hız sınırına tabidir (API anahtarı başına dakikada 20 istek veya API çağrısı), oysa özel uç noktaların platform hız sınırları yoktur.
• Fiyatlandırma: Paylaşımlı çıkarım, test ve geliştirme için hiçbir ek ücret olmadan sunulurken, özel uç noktalar kaynak yapılandırmasına ve dağıtım ihtiyaçlarına bağlı kullanımla daha fazla kontrol ve ölçeklenebilirlik sunar.

Özel uç noktalar neden üretim iş yükleri için daha iyidir?#

Yapay zeka ve makine öğrenimi uygulamaları test aşamasından gerçek dünya kullanımına geçtikçe performans, ölçeklenebilirlik ve güvenilirlik temel hale gelir. İşte bu yüzden özel uç noktalar, paylaşımlı çıkarıma göre net avantajlar sunar.

Özel uç noktalarla, önceden eğitilmiş veya özel modelin kendi işlem kaynaklarında çalışır, bu nedenle performans diğer kullanıcılardan etkilenmez. Bu, video analitiği ve izleme sistemleri gibi gerçek zamanlı uygulamalar için önemli olan gecikmeyi düşük ve tutarlı tutmaya yardımcı olur.

Şekil 3. Özel bir çıkarım uç noktası kullanarak dağıtıma bir bakış (Kaynak)

Örneğin, birden fazla mağazadaki canlı kamera akışlarını işleyen bir perakende analitiği sistemini düşün. Uç noktaları 43 küresel bölgede dağıtarak çıkarım, her mağazaya daha yakın çalışabilir, bu da gecikmeyi azaltır ve yanıt sürelerini iyileştirir.

Kaynakların paylaşıldığı ve bölgelerin sınırlı olduğu paylaşımlı çıkarımda performans yoğun dönemlerde değişebilir.

Özel uç noktalar ayrıca daha yüksek trafiği işleyebilir ve talebe göre otomatik olarak ölçeklenebilir. Yerleşik izleme, günlükler ve sağlık kontrolleri ile daha öngörülebilir performans sağlarlar, bu da onları büyük ölçekli ve sürekli yapay zeka iş yükleri için uygun kılar.

Paylaşımlı çıkarım, görü yapay zekası iş akışının neresine oturur?#

Paylaşımlı çıkarım ve özel uç noktalar arasındaki farkları keşfederken, paylaşımlı çıkarımın genel bilgisayarlı görü iş akışının neresine uyduğunu merak ediyor olabilirsin.

Perakende analitiği örneğine tekrar bakalım. Bir görü çözümünü birden fazla mağazada dağıtmadan önce ekipler genellikle gerçek veriler üzerinde nasıl performans gösterdiğini test etmeli ve bu sonuçlara göre iyileştirmeler yapmalıdır.

Paylaşımlı çıkarım, mağaza kameralarından örnek görüntüler veya video kareleri göndermene ve altyapı kurmadan tahminleri hızlıca gözden geçirmene olanak tanıyarak bu süreci basit hale getirir. Bu, özellikle model davranışını test etmek, yanlış tahminleri ayıklamak ve ışıklandırma veya mağaza düzenindeki değişiklikler gibi farklı koşullar altında sonuçları doğrulamak için yararlıdır.

Bu şekilde yineleyerek ekipler, üretime geçmeden önce model doğruluğunu ve güvenilirliğini artırabilirler. Model bu test senaryolarında iyi performans gösterdiğinde, gerçek zamanlı kullanım için birden fazla konumda özel uç noktalara dağıtılabilir.

Paylaşımlı çıkarım, düşük veya seyrek kullanım gerektiren uygulamalar için de iyi çalışabilir. Örneğin, küçük bir perakende mağazası, tam ölçekli bir dağıtıma ihtiyaç duymadan, yaya trafiğini ara sıra analiz etmek veya müşteri faaliyetlerini belirli zamanlarda gözden geçirmek için bunu kullanabilir. Bu durumlarda, talep üzerine çıkarım çalıştırmak için basit ve uygun maliyetli bir yol sağlar.

Özel uç noktaların gerçek dünya kullanım durumları#

Yapay zeka uygulamaları test aşamasının ötesine geçtikçe, dağıtım seçimi doğrudan performansı, ölçeklenebilirliği ve kullanıcı deneyimini etkilemeye başlar. Özel uç noktalar, kararlı performans, düşük gecikme süresi ve büyük ölçekli iş yüklerini işleme yeteneği sağladıkları için sektörler genelinde yaygın olarak kullanılabilir.

İşte özel uç noktaların gerçek dünya uygulamalarında nasıl kullanılabileceğini gösteren bazı yaygın kullanım durumları:

• Perakende ve video analitiği: Bir perakende zinciri, müşteri hareketlerini takip etmek, popüler ürünleri belirlemek ve mağaza etkinliğini gerçek zamanlı olarak izlemek için bilgisayarlı görü kullanabilir. Özel uç noktalar, yoğun saatlerde bile birden fazla mağaza konumunda çıkarımın hızlı ve tutarlı kalmasını sağlar.
• İmalat ve kalite kontrol: Bir üretim hattında, modeller ürünler sistemden geçerken kusurları veya anomalileri tespit edebilir. Özel uç noktalar sürekli, gerçek zamanlı çıkarımı destekleyerek ekiplerin operasyonları yavaşlatmadan sorunları erken yakalamasına ve ürün kalitesini korumasına yardımcı olur.
• Sağlık hizmetleri ve tıbbi görüntüleme: Sağlık hizmeti sağlayıcıları ve tanı laboratuvarları, röntgen veya tarama gibi tıbbi görüntüleri analiz etmek için görü modellerine güvenebilir. Özel uç noktalar, hassas verileri ve zamana duyarlı tanıları ele alırken çok önemli olan güvenilir, tutarlı performans sağlar.
• Depo ve lojistik otomasyonu: Büyük depolar genellikle aynı kurulumun kopyaları olarak hareket eden konveyör bantları ve sıralama hatları gibi birden fazla özdeş sistem çalıştırır. Bilgisayarlı görü modelleri, sıkışmalar veya yanlış yönlendirilmiş paketler gibi sorunları tespit etmek için her kopyayı izleyebilir. Özel uç noktalar, tüm kopyalarda gerçek zamanlı olarak tutarlı çıkarım sağlar.

Paylaşımlı çıkarımdan özel uç noktalara geçiş#

Ultralytics Platform'un en önemli avantajlarından biri, uygulaman büyüdükçe paylaşımlı çıkarımdan özel uç noktalara geçmenin ne kadar basit olduğudur. Araç değiştirmek veya kurulumunu yeniden oluşturmak yerine, aynı ortamda üretime hazır bir dağıtıma geçiş yapabilirsin.

Modelini paylaşımlı çıkarımla test ettikten sonra, özel bir uç noktaya geçmek basit bir sonraki adımdır. Aynı modeli bir uç noktaya dağıtabilir, tercih ettiğin bölgeyi ve işlem kaynaklarını seçebilir ve uygulamanındaki uç nokta URL'sini güncelleyebilirsin. Genel entegrasyon benzer kalır, bu nedenle istekleri nasıl gönderdiğin veya yanıtları nasıl işlediğin konusunda çok az değişiklik olur veya hiç olmaz.

Şekil 4. Ultralytics Platform üzerinde özel bir uç nokta URL'sini görüntüleme (Kaynak)

Bu, birkaç tıklamayla test aşamasından üretime geçebileceğin anlamına gelir. İş yükün arttıkça veya uygulaman daha tutarlı bir performans gerektirdiğinde, mevcut iş akışını bozmadan özel uç noktalara geçebilirsin.

Ultralytics Platform üzerinde özel uç noktalar kullanarak modelleri dağıtma hakkında daha fazla bilgi edinmek için resmi Ultralytics Platform belgelerine göz at.

Öne çıkanlar#

Paylaşımlı çıkarım, test ve deneme için harika bir başlangıç noktasıdır ancak üretim iş yükleri daha fazla tutarlılık ve ölçek gerektirir. Uygulamalar büyüdükçe, özel uç noktalar gerçek dünya kullanımını desteklemek için gereken performans ve güvenilirliği sağlar. Bu, onları çoğu üretim dağıtımı için en iyi seçenek haline getirir.

Bilgisayarlı görü modelleri hakkında daha fazla bilgi edinmek için topluluğumuza katıl ve GitHub depolarımızı keşfet. Çözüm sayfalarımızda tarımda yapay zeka ve robotikte bilgisayarlı görü gibi uygulamalar hakkında bilgi oku. Lisanslama seçeneklerimize göz at ve görü yapay zekası ile çalışmaya başla.