Dağıtım için özel çıkarım uç noktaları ve paylaşımlı çıkarım

Yakın zamanda, veri kümesi hazırlama ve model eğitiminden çıkarım, dağıtım ve izlemeye kadar bilgisayarlı görü iş akışının tamamını tek bir yerde buluşturan uçtan uca bir çözüm olan Ultralytics Platform'u kullanıma sunduk.

Bilgisayarlı görü topluluğundan alınan geri bildirimler temelinde geliştirilen platform, görüntü işleme yapay zekâ uygulamalarının tüm yaşam döngüsünü destekleyen entegre özellikler sunarak geliştirme sürecinin her aşamasını kolaylaştırmak için tasarlanmıştır.

Örneğin, bir model eğitildikten sonra sonraki adım, gerçek dünya uygulamalarında çıkarım yapmak ve tahminler üretmek için modeli dağıtmaktır. Platform, çeşitli dağıtım seçenekleri sunarak bu süreci kolaylaştırır.

Modelleri kendi ortamında çalıştırmak üzere dışa aktarabilir, hızlı testler için paylaşımlı çıkarımı kullanabilir veya ölçeklenebilir, üretime hazır uygulamalar için özel uç noktalar dağıtabilirsin. Bu dağıtım seçeneklerinin her biri yapay zekâ çıkarımı yapmanı sağlar, ancak farklı aşamalar ve kullanım senaryoları için tasarlanmıştır.

Şekil 1. Ultralytics Platform, ölçeklenebilir ve küresel görüntü işleme yapay zekâ modeli dağıtımını sağlar (Kaynak)

Modeli dışa aktarmak, modelleri kendi altyapında çalıştırman için tam kontrol sağlar; paylaşımlı çıkarım, kurulum yapmadan test ve deneme gerçekleştirmeyi kolaylaştırır; özel uç noktalar ise güvenilir, büyük ölçekli üretim iş yükleri için tasarlanmıştır.

İlk bakışta paylaşımlı çıkarım ile özel uç noktalar oldukça benzer görünebilir. Her ikisi de modeline API istekleri gönderip yapılandırılmış tahminler almanı sağlayarak görüntü işleme yapay zekâsını uygulamalara entegre etmeyi kolaylaştırır.

Ancak iş yüklerin arttıkça ve bilgisayarlı görü uygulamaların gerçek zamanlı çıkarım isteklerini işlemeye başladıkça bu seçenekler arasındaki farklar daha önemli hale gelir. Bu yazıda paylaşımlı çıkarım ile özel uç noktaları, aralarındaki farkları, her birini ne zaman kullanman gerektiğini ve uygulamaların ölçeklendikçe özel uç noktaların neden daha iyi bir seçenek haline geldiğini daha yakından inceleyeceğiz.

Paylaşımlı çıkarımla dağıtıma genel bakış#

Paylaşımlı çıkarım, herhangi bir altyapı kurmadan veya GPU türleri, çerçeve entegrasyonu ya da çalışma zamanı yapılandırması konusunda endişelenmeden modellerinde yapay zekâ çıkarımı yapmanın kolay bir yoludur. Modelin eğitildikten veya ince ayarı yapıldıktan sonra platform üzerinden doğrudan tahminler üretebilirsin.

Bu kurulumda modelin; ABD, Avrupa ve Asya-Pasifik gibi birkaç ana bölgede paylaşılan, çok kiracılı işlem kaynaklarında çalışır. İstekler kullanılabilir hizmetlere otomatik olarak yönlendirilir; dolayısıyla GPU örneklerini veya çalışma zamanı ortamlarını yapılandırman gerekmez. Her şey senin için halledilir ve böylece işe başlamak kolaylaşır.

Paylaşımlı çıkarımı kullandığında Python veya CLI gibi araçlarla REST API üzerinden modeline istek gönderir ve algılanan nesneler, güven puanları ve diğer tahmin ayrıntıları gibi yapılandırılmış JSON çıktıları alırsın. Böylece modelleri test etmek ve uygulamalara entegre etmek kolaylaşır.

Sistem paylaşımlı olduğundan geliştirme, test ve düşük yoğunluklu kullanım için tasarlanmıştır. Tahminleri doğrulamak ve ilk entegrasyonları oluşturmak için iyi çalışır. Bununla birlikte performans sistem yüküne göre değişebilir ve kullanım, API anahtarı başına dakikada 20 istekle sınırlandırılmıştır; bu nedenle yüksek hacimli üretim iş yükleri için daha az uygundur.

Genel olarak paylaşımlı çıkarım, daha büyük ölçekli uygulamalara geçmeden önce modelini anlamaya ve iyileştirmeye odaklandığın geliştirme sürecinin ilk aşamaları için en uygunudur.

Özel uç noktalarla modelleri küresel ölçekte dağıt#

Özel uç noktalar, görüntü işleme yapay zekâ modellerinin yalıtılmış işlem kaynaklarında çalıştığı, tek kiracılı çıkarım hizmetleridir. Altyapıyı paylaşmak yerine her uç noktanın CPU ve bellek gibi yapılandırılabilir kaynaklara sahip kendi çalışma zamanı vardır; bu da performans üzerinde daha fazla kontrol sağlar.

Bir modeli özel uç nokta olarak dağıttığında modele benzersiz bir API URL'si atanır ve kimlik doğrulaması için API anahtarın kullanılır; böylece modeli uygulamalara entegre etmek kolaylaşır. Bu uç noktalar 43 küresel bölgede dağıtılabilir; böylece çıkarımı kullanıcılarına daha yakın bir yerde çalıştırıp gecikmeyi azaltabilirsin.

Şekil 2. Özel uç noktaları 43 küresel bölgede dağıtabilirsin (Kaynak)

Önemli avantajlardan biri otomatik ölçeklendirmedir. Uç noktalar gelen isteklere göre otomatik olarak ayarlanır; yoğun trafikle başa çıkmak için ölçeklerini büyütür, talep azaldığında ise küçültür. Varsayılan olarak etkin olan sıfıra ölçeklendirme sayesinde uç noktalar boşta kaldıklarında kapanıp gerektiğinde yeniden başlatılabilir; bu da kaynak kullanımını optimize etmeye yardımcı olur.

Başka bir deyişle, özel uç noktalar üretim iş yükleri için tasarlanmıştır. Paylaşımlı çıkarıma kıyasla tutarlı, düşük gecikme; daha yüksek verim ve daha fazla güvenilirlik sağlarlar.

Ayrıca özel uç noktalarda hız sınırı yoktur. İstekler doğrudan uç noktanıza gider; dolayısıyla işleyebileceğin trafik miktarı sabit sınırlara değil, kurulumuna ve ölçeklendirmene bağlıdır.

Yerleşik izleme, günlükler, sağlık kontrolleri ve öngörülebilir çalışma zamanı ve başlatma davranışı sayesinde tüm planlarda performansı izlemek ve kararlı dağıtımları sürdürmek kolaydır. Free planında soğuk başlatmalar genellikle 5 ila 45 saniye sürerken Pro planındaki uç noktalar sıcak durumda kalır; bu da daha hızlı ve öngörülebilir çıkarım performansı sağlar.

Kısacası özel uç noktalar, güvenilir, ölçeklenebilir ve yüksek performanslı çıkarım gerektiren gerçek zamanlı görüntü işleme yapay zekâ uygulamaları için idealdir.

Paylaşımlı çıkarım ve özel uç noktalar: Temel farklar#

Paylaşımlı çıkarım ile özel uç noktaların karşılaştırmasına daha yakından bakalım:

• Gecikme: Kaynak paylaşımı nedeniyle paylaşımlı ortamlarda gecikme değişebilir; özel uç noktalar ise daha tutarlı ve düşük gecikmeli yanıtlar sunar.
• Bölgeler: Paylaşımlı çıkarım birkaç bölgede kullanılabilir (ABD, AB, AP); özel uç noktalar ise 43 küresel bölgede dağıtımı destekler.
• Ölçeklenebilirlik: Paylaşımlı çıkarımda ölçeklendirme yapılandırılamaz; özel uç noktalar ise gelen trafiğe göre otomatik olarak ölçeklenir.
• Hız sınırları: Paylaşımlı çıkarımda hız sınırı vardır (API anahtarı başına dakikada 20 istek veya API çağrısı); özel uç noktalarda ise platform kaynaklı hız sınırları yoktur.
• Fiyatlandırma: Paylaşımlı çıkarım test ve geliştirme için ek ücret olmadan sunulur; özel uç noktalar ise daha fazla kontrol ve ölçeklenebilirlik sağlar, kullanım maliyeti kaynak yapılandırmasına ve dağıtım ihtiyaçlarına bağlıdır.

Özel uç noktalar üretim iş yükleri için neden daha iyi?#

Yapay zekâ ve makine öğrenimi uygulamaları test aşamasından gerçek dünya kullanımına geçtikçe performans, ölçeklenebilirlik ve güvenilirlik vazgeçilmez hale gelir. Bu nedenle özel uç noktalar, paylaşımlı çıkarıma kıyasla belirgin avantajlar sunar.

Özel uç noktalarda önceden eğitilmiş veya özel modelin kendi işlem kaynaklarında çalışır; bu nedenle performans diğer kullanıcılardan etkilenmez. Bu, video analitiği ve izleme sistemleri gibi gerçek zamanlı uygulamalar için önemli olan düşük ve tutarlı gecikmeyi korumaya yardımcı olur.

Şekil 3. Özel bir çıkarım uç noktası kullanılarak dağıtıma bakış (Kaynak)

Örneğin, birden fazla mağazadaki canlı kamera yayınlarını işleyen bir perakende analitiği sistemini düşün. Uç noktalar 43 küresel bölgeye dağıtıldığında çıkarım her mağazaya daha yakın bir yerde çalıştırılabilir; böylece gecikme azalır ve yanıt süreleri iyileşir.

Kaynakların paylaşıldığı ve bölgelerin sınırlı olduğu paylaşımlı çıkarımda, yoğun dönemlerde performans değişebilir.

Özel uç noktalar daha yoğun trafiği de işleyebilir ve talebe göre otomatik olarak ölçeklenebilir. Yerleşik izleme, günlükler ve sağlık kontrolleri sayesinde daha öngörülebilir performans sunarlar; bu da onları büyük ölçekli ve sürekli yapay zekâ iş yükleri için uygun hale getirir.

Görüntü işleme yapay zekâ iş akışında paylaşımlı çıkarımın yeri#

Paylaşımlı çıkarım ile özel uç noktalar arasındaki farkları incelerken, paylaşımlı çıkarımın genel bilgisayarlı görü iş akışında nasıl bir yere sahip olduğunu merak ediyor olabilirsin.

Perakende analitiği örneğine yeniden bakalım. Görüntü işleme çözümünü birden fazla mağazada kullanıma sunmadan önce ekiplerin genellikle çözümün gerçek verilerle nasıl performans gösterdiğini test etmesi ve sonuçlara göre iyileştirmeler yapması gerekir.

Paylaşımlı çıkarım, altyapı kurmadan mağaza kameralarından örnek görüntüler veya video kareleri gönderip tahminleri hızlıca incelemene olanak tanıyarak bu süreci kolaylaştırır. Model davranışını test etmek, hatalı tahminlerde hata ayıklamak ve aydınlatma veya mağaza düzenindeki değişiklikler gibi farklı koşullardaki sonuçları doğrulamak için özellikle kullanışlıdır.

Ekipler bu şekilde yinelemeli çalışarak üretime geçmeden önce model doğruluğunu ve güvenilirliğini artırabilir. Model bu test senaryolarında iyi performans gösterdiğinde, birden fazla konumda gerçek zamanlı kullanım için özel uç noktalara dağıtılabilir.

Paylaşımlı çıkarım, düşük veya seyrek kullanımlı uygulamalarda da işe yarayabilir. Örneğin küçük bir perakende mağazası, tam ölçekli bir dağıtıma ihtiyaç duymadan yaya trafiğini ara sıra analiz etmek veya belirli zamanlarda müşteri hareketlerini incelemek için bu yöntemi kullanabilir. Bu gibi durumlarda talep üzerine çıkarım yapmak için basit ve uygun maliyetli bir yol sunar.

Özel uç noktaların gerçek dünyadaki kullanım senaryoları#

Yapay zekâ uygulamaları test aşamasını aştıkça dağıtım tercihi performansı, ölçeklenebilirliği ve kullanıcı deneyimini doğrudan etkilemeye başlar. Kararlı performans, düşük gecikme ve büyük ölçekli iş yüklerini işleme olanağı sunduklarından özel uç noktalar pek çok sektörde yaygın olarak kullanılabilir.

Özel uç noktaların gerçek dünya uygulamalarında nasıl kullanılabileceğini gösteren bazı yaygın kullanım senaryoları şunlardır:

• Perakende ve video analitiği: Bir perakende zinciri, müşteri hareketlerini izlemek, popüler ürünleri belirlemek ve mağaza etkinliğini gerçek zamanlı olarak takip etmek için bilgisayarlı görüden yararlanabilir. Özel uç noktalar, yoğun saatlerde bile birden fazla mağaza konumunda hızlı ve tutarlı çıkarım sağlar.
• Üretim ve kalite denetimi: Üretim hattında modeller, ürünler sistemden geçerken kusurları veya anormallikleri algılayabilir. Özel uç noktalar sürekli, gerçek zamanlı çıkarımı destekleyerek ekiplerin sorunları erkenden yakalamasına ve operasyonları yavaşlatmadan ürün kalitesini korumasına yardımcı olur.
• Sağlık ve tıbbi görüntüleme: Sağlık hizmeti sunucuları ve tanı laboratuvarları, röntgen veya tarama görüntüleri gibi tıbbi görüntüleri analiz etmek için görüntü işleme modellerinden yararlanabilir. Özel uç noktalar, hassas veriler ve zaman açısından kritik tanılar söz konusu olduğunda büyük önem taşıyan güvenilir ve tutarlı bir performans sunar.
• Depo ve lojistik otomasyonu: Büyük depolarda genellikle konveyör bantları ve ayıklama hatları gibi aynı düzenin kopyaları olan birden fazla özdeş sistem bulunur. Bilgisayarlı görü modelleri, tıkanıklık veya yanlış yönlendirilen paketler gibi sorunları algılamak için her kopyayı izleyebilir. Özel uç noktalar, tüm kopyalarda gerçek zamanlı ve tutarlı çıkarım sağlar.

Paylaşımlı çıkarımdan özel uç noktalara geçiş#

Ultralytics Platform'un en önemli avantajlarından biri, uygulaman büyüdükçe paylaşımlı çıkarımdan özel uç noktalara geçişin ne kadar kolay olduğudur. Araç değiştirmek veya kurulumunu baştan oluşturmak yerine aynı ortamda üretime hazır bir dağıtıma geçebilirsin.

Modelini paylaşımlı çıkarımla test ettikten sonra özel bir uç noktaya geçmek basit bir sonraki adımdır. Aynı modeli bir uç noktaya dağıtabilir, tercih ettiğin bölgeyi ve işlem kaynaklarını seçebilir, ardından uygulamandaki uç nokta URL'sini güncelleyebilirsin. Genel entegrasyon aynı kalır; dolayısıyla istek gönderme veya yanıtları işleme biçiminde çok az değişiklik olur ya da hiç değişiklik olmaz.

Şekil 4. Ultralytics Platform'da özel bir uç noktanın URL'sini görüntüleme (Kaynak)

Böylece birkaç tıklamayla test aşamasından üretime geçebilirsin. İş yükün arttıkça veya uygulaman daha tutarlı performans gerektirdikçe mevcut iş akışını aksatmadan özel uç noktalara geçebilirsin.

Ultralytics Platform'da özel uç noktalar kullanarak model dağıtımı hakkında daha fazla bilgi edinmek için resmi Ultralytics Platform belgelerine göz at.

Önemli çıkarımlar#

Paylaşımlı çıkarım test ve denemeler için harika bir başlangıç noktasıdır; ancak üretim iş yükleri daha fazla tutarlılık ve ölçek gerektirir. Uygulamalar büyüdükçe özel uç noktalar, gerçek dünyadaki kullanımı desteklemek için gereken performansı ve güvenilirliği sağlar. Bu da onları çoğu üretim dağıtımı için en iyi seçenek haline getirir.

Bilgisayarlı görü modelleri hakkında daha fazla bilgi edinmek için topluluğumuza katıl ve GitHub depomuzu incele. Çözüm sayfalarımızda tarımda yapay zekâ ve robotikte bilgisayarlı görü gibi uygulamaları oku. Lisans seçeneklerimize göz at ve görüntü işleme yapay zekâsını kullanmaya başla.