Dağıtım için özel çıkarım uç noktaları ve paylaşımlı çıkarım
Paylaşımlı çıkarım yerine ölçeklenebilir ve düşük gecikmeli görüntü yapay zekâ dağıtımı için Ultralytics Platform'da özel çıkarım uç noktalarını ne zaman seçmen gerektiğini keşfet.
Abirami Vina9 dakikalık okuma
Yakın zamanda, veri kümesi hazırlama ve model eğitiminden çıkarım, dağıtım ve izlemeye kadar bilgisayarlı görü iş akışının tamamını tek bir yerde buluşturan uçtan uca bir çözüm olan Ultralytics Platform'u kullanıma sunduk.
Bilgisayarlı görü topluluğundan alınan geri bildirimler temelinde geliştirilen platform, görüntü işleme yapay zekâ uygulamalarının tüm yaşam döngüsünü destekleyen entegre özellikler sunarak geliştirme sürecinin her aşamasını kolaylaştırmak için tasarlanmıştır.
Örneğin, bir model eğitildikten sonra sonraki adım, gerçek dünya uygulamalarında çıkarım yapmak ve tahminler üretmek için modeli dağıtmaktır. Platform, çeşitli dağıtım seçenekleri sunarak bu süreci kolaylaştırır.
Modelleri kendi ortamında çalıştırmak üzere dışa aktarabilir, hızlı testler için paylaşımlı çıkarımı kullanabilir veya ölçeklenebilir, üretime hazır uygulamalar için özel uç noktalar dağıtabilirsin. Bu dağıtım seçeneklerinin her biri yapay zekâ çıkarımı yapmanı sağlar, ancak farklı aşamalar ve kullanım senaryoları için tasarlanmıştır.

Şekil 1. Ultralytics Platform, ölçeklenebilir ve küresel görüntü işleme yapay zekâ modeli dağıtımını sağlar (Kaynak)
Modeli dışa aktarmak, modelleri kendi altyapında çalıştırman için tam kontrol sağlar; paylaşımlı çıkarım, kurulum yapmadan test ve deneme gerçekleştirmeyi kolaylaştırır; özel uç noktalar ise güvenilir, büyük ölçekli üretim iş yükleri için tasarlanmıştır.
İlk bakışta paylaşımlı çıkarım ile özel uç noktalar oldukça benzer görünebilir. Her ikisi de modeline API istekleri gönderip yapılandırılmış tahminler almanı sağlayarak görüntü işleme yapay zekâsını uygulamalara entegre etmeyi kolaylaştırır.
Ancak iş yüklerin arttıkça ve bilgisayarlı görü uygulamaların gerçek zamanlı çıkarım isteklerini işlemeye başladıkça bu seçenekler arasındaki farklar daha önemli hale gelir. Bu yazıda paylaşımlı çıkarım ile özel uç noktaları, aralarındaki farkları, her birini ne zaman kullanman gerektiğini ve uygulamaların ölçeklendikçe özel uç noktaların neden daha iyi bir seçenek haline geldiğini daha yakından inceleyeceğiz.
Paylaşımlı çıkarım kullanarak dağıtıma genel bakış#
Paylaşımlı çıkarım, herhangi bir altyapı kurmadan veya GPU türleri, çerçeve entegrasyonu ya da çalışma zamanı yapılandırması konusunda endişelenmeden modellerinde yapay zekâ çıkarımı yapmanın kolay bir yoludur. Modelin eğitildikten veya ince ayarı yapıldıktan sonra platform üzerinden doğrudan tahminler üretebilirsin.
Bu kurulumda modelin; ABD, Avrupa ve Asya-Pasifik gibi birkaç ana bölgede paylaşılan, çok kiracılı işlem kaynaklarında çalışır. İstekler kullanılabilir hizmetlere otomatik olarak yönlendirilir; dolayısıyla GPU örneklerini veya çalışma zamanı ortamlarını yapılandırman gerekmez. Her şey senin için halledilir ve böylece işe başlamak kolaylaşır.
Paylaşımlı çıkarım kullandığında, Python veya CLI gibi araçlarla bir REST API üzerinden modeline istek gönderir ve tespit edilen nesneler, güven puanları ve diğer tahmin ayrıntıları gibi yapılandırılmış JSON çıktıları alırsın. Bu, modelleri test etmeyi ve uygulamalara entegre etmeyi kolaylaştırır.
Sistem paylaşımlı olduğundan geliştirme, test ve düşük yoğunluklu kullanım için tasarlanmıştır. Tahminleri doğrulamak ve ilk entegrasyonları oluşturmak için iyi çalışır. Bununla birlikte performans sistem yüküne göre değişebilir ve kullanım, API anahtarı başına dakikada 20 istekle sınırlandırılmıştır; bu nedenle yüksek hacimli üretim iş yükleri için daha az uygundur.
Genel olarak paylaşımlı çıkarım, daha büyük ölçekli uygulamalara geçmeden önce modelini anlamaya ve iyileştirmeye odaklandığın geliştirme sürecinin ilk aşamaları için en uygunudur.
Özel uç noktalarla modelleri küresel ölçekte dağıt#
Özel uç noktalar, görüntü işleme yapay zekâ modellerinin yalıtılmış işlem kaynaklarında çalıştığı, tek kiracılı çıkarım hizmetleridir. Altyapıyı paylaşmak yerine her uç noktanın CPU ve bellek gibi yapılandırılabilir kaynaklara sahip kendi çalışma zamanı vardır; bu da performans üzerinde daha fazla kontrol sağlar.
Bir modeli özel uç nokta olarak dağıttığında modele benzersiz bir API URL'si atanır ve kimlik doğrulama için API anahtarın kullanılır; böylece modeli uygulamalara kolayca entegre edebilirsin. Bu uç noktalar dünya genelindeki 42 bölgede dağıtılabilir, böylece çıkarımı kullanıcılarına daha yakın bir yerde çalıştırıp gecikmeyi azaltabilirsin.

Şekil 2. Dünya genelindeki 42 bölgede özel uç noktalar dağıtabilirsin (Kaynak)
Özel uç noktalar, üretim iş yükleri için tasarlanmıştır. Paylaşımlı çıkarıma kıyasla tutarlı ve düşük gecikme, daha yüksek iş hacmi ve daha fazla güvenilirlik sunarlar.
Ayrıca özel uç noktalar için platform hız sınırları yoktur. İstekler doğrudan uç noktanıza gider; bu nedenle işleyebileceğin trafik miktarı sabit sınırlara değil, uç noktanın kaynaklarına bağlıdır.
Buna ek olarak yerleşik izleme, günlükler, sistem durumu kontrolleri ve öngörülebilir çalışma zamanı ile başlatma davranışı, tüm planlarda performansı izlemeyi ve dağıtımları kararlı tutmayı kolaylaştırır. Varsayılan kaynak boyutunda uç nokta boşta kaldığında sıfıra ölçeklenir; bu nedenle boşta geçen bir sürenin ardından gelen ilk isteğin işlenmesi, uç nokta başlatılırken yaklaşık bir dakika sürebilir. Özel kaynak boyutları etkin bir örneği hazır tutarak daha hızlı ve öngörülebilir çıkarım performansı sağlar.
Kısacası özel uç noktalar, güvenilir, ölçeklenebilir ve yüksek performanslı çıkarım gerektiren gerçek zamanlı görüntü işleme yapay zekâ uygulamaları için idealdir.
Paylaşımlı çıkarım ve özel uç noktalar: Temel farklar#
Paylaşımlı çıkarım ile özel uç noktaların karşılaştırmasına daha yakından bakalım:
- Gecikme: Kaynak paylaşımı nedeniyle paylaşımlı ortamlarda gecikme değişebilir; özel uç noktalar ise daha tutarlı ve düşük gecikmeli yanıtlar sunar.
- Bölgeler: Paylaşımlı çıkarım birkaç bölgede (ABD, AB, AP) kullanılabilirken özel uç noktalar dünya genelindeki 42 bölgede dağıtımı destekler.
- Ölçeklenebilirlik: Paylaşımlı çıkarımda ölçeklendirme yapılandırılamazken özel uç noktalarda CPU ve bellek kaynaklarını seçebilirsin.
- İstek sınırları: Paylaşımlı çıkarımda hız sınırı vardır (API anahtarı başına dakikada 20 istek veya API çağrısı); özel uç noktalarda ise platform düzeyinde hız sınırı yoktur.
- Fiyatlandırma: Paylaşımlı çıkarım test ve geliştirme için ek ücret olmadan sunulur; özel uç noktalar ise daha fazla kontrol ve ölçeklenebilirlik sağlar, kullanım maliyeti kaynak yapılandırmasına ve dağıtım ihtiyaçlarına bağlıdır.
Özel uç noktalar üretim iş yükleri için neden daha iyi?#
Yapay zekâ ve makine öğrenimi uygulamaları test aşamasından gerçek dünya kullanımına geçtikçe performans, ölçeklenebilirlik ve güvenilirlik vazgeçilmez hale gelir. Bu nedenle özel uç noktalar, paylaşımlı çıkarıma kıyasla belirgin avantajlar sunar.
Özel uç noktalarda önceden eğitilmiş veya özel modelin kendi işlem kaynaklarında çalışır; bu nedenle performans diğer kullanıcılardan etkilenmez. Bu, video analitiği ve izleme sistemleri gibi gerçek zamanlı uygulamalar için önemli olan düşük ve tutarlı gecikmeyi korumaya yardımcı olur.

Şekil 3. Özel bir çıkarım uç noktası kullanılarak dağıtıma bakış (Kaynak)
Örneğin, birden çok mağazadaki canlı kamera akışlarını işleyen bir perakende analitiği sistemini düşün. Uç noktalar dünya genelindeki 42 bölgeye dağıtıldığında çıkarım her mağazaya daha yakın çalışabilir; bu da gecikmeyi azaltıp yanıt sürelerini iyileştirir.
Kaynakların paylaşıldığı ve bölgelerin sınırlı olduğu paylaşımlı çıkarımda, yoğun dönemlerde performans değişebilir.
Özel uç noktalar daha yüksek trafiği de yönetebilir. Yerleşik izleme, günlükler ve sistem durumu kontrolleri sayesinde daha öngörülebilir performans sunarlar; bu da onları büyük ölçekli ve kesintisiz yapay zekâ iş yükleri için uygun hâle getirir.
Görüntü işleme yapay zekâ iş akışında paylaşımlı çıkarımın yeri#
Paylaşımlı çıkarım ile özel uç noktalar arasındaki farkları incelerken, paylaşımlı çıkarımın genel bilgisayarlı görü iş akışında nasıl bir yere sahip olduğunu merak ediyor olabilirsin.
Perakende analitiği örneğine yeniden bakalım. Görüntü işleme çözümünü birden fazla mağazada kullanıma sunmadan önce ekiplerin genellikle çözümün gerçek verilerle nasıl performans gösterdiğini test etmesi ve sonuçlara göre iyileştirmeler yapması gerekir.
Paylaşımlı çıkarım, altyapı kurmadan mağaza kameralarından örnek görüntüler veya video kareleri gönderip tahminleri hızlıca incelemene olanak tanıyarak bu süreci kolaylaştırır. Model davranışını test etmek, hatalı tahminlerde hata ayıklamak ve aydınlatma veya mağaza düzenindeki değişiklikler gibi farklı koşullardaki sonuçları doğrulamak için özellikle kullanışlıdır.
Ekipler bu şekilde yinelemeli çalışarak üretime geçmeden önce model doğruluğunu ve güvenilirliğini artırabilir. Model bu test senaryolarında iyi performans gösterdiğinde, birden fazla konumda gerçek zamanlı kullanım için özel uç noktalara dağıtılabilir.
Paylaşımlı çıkarım, düşük veya seyrek kullanımlı uygulamalarda da işe yarayabilir. Örneğin küçük bir perakende mağazası, tam ölçekli bir dağıtıma ihtiyaç duymadan yaya trafiğini ara sıra analiz etmek veya belirli zamanlarda müşteri hareketlerini incelemek için bu yöntemi kullanabilir. Bu gibi durumlarda talep üzerine çıkarım yapmak için basit ve uygun maliyetli bir yol sunar.
Özel uç noktaların gerçek dünyadaki kullanım senaryoları#
Yapay zekâ uygulamaları test aşamasını aştıkça dağıtım tercihi performansı, ölçeklenebilirliği ve kullanıcı deneyimini doğrudan etkilemeye başlar. Kararlı performans, düşük gecikme ve büyük ölçekli iş yüklerini işleme olanağı sunduklarından özel uç noktalar pek çok sektörde yaygın olarak kullanılabilir.
Özel uç noktaların gerçek dünya uygulamalarında nasıl kullanılabileceğini gösteren bazı yaygın kullanım senaryoları şunlardır:
- Perakende ve video analitiği: Bir perakende zinciri, müşteri hareketlerini izlemek, popüler ürünleri belirlemek ve mağaza etkinliğini gerçek zamanlı olarak takip etmek için bilgisayarlı görüden yararlanabilir. Özel uç noktalar, yoğun saatlerde bile birden fazla mağaza konumunda hızlı ve tutarlı çıkarım sağlar.
- Üretim ve kalite denetimi: Üretim hattında modeller, ürünler sistemden geçerken kusurları veya anormallikleri algılayabilir. Özel uç noktalar sürekli, gerçek zamanlı çıkarımı destekleyerek ekiplerin sorunları erkenden yakalamasına ve operasyonları yavaşlatmadan ürün kalitesini korumasına yardımcı olur.
- Sağlık ve tıbbi görüntüleme: Sağlık hizmeti sunucuları ve tanı laboratuvarları, röntgen veya tarama görüntüleri gibi tıbbi görüntüleri analiz etmek için görüntü işleme modellerinden yararlanabilir. Özel uç noktalar, hassas veriler ve zaman açısından kritik tanılar söz konusu olduğunda büyük önem taşıyan güvenilir ve tutarlı bir performans sunar.
- Depo ve lojistik otomasyonu: Büyük depolarda genellikle konveyör bantları ve ayıklama hatları gibi aynı düzenin kopyaları olan birden fazla özdeş sistem bulunur. Bilgisayarlı görü modelleri, tıkanıklık veya yanlış yönlendirilen paketler gibi sorunları algılamak için her kopyayı izleyebilir. Özel uç noktalar, tüm kopyalarda gerçek zamanlı ve tutarlı çıkarım sağlar.
Paylaşımlı çıkarımdan özel uç noktalara geçiş#
Ultralytics Platform'un en önemli avantajlarından biri, uygulaman büyüdükçe paylaşımlı çıkarımdan özel uç noktalara geçişin ne kadar kolay olduğudur. Araç değiştirmek veya kurulumunu baştan oluşturmak yerine aynı ortamda üretime hazır bir dağıtıma geçebilirsin.
Modelini paylaşımlı çıkarımla test ettikten sonra özel bir uç noktaya geçmek basit bir sonraki adımdır. Aynı modeli bir uç noktaya dağıtabilir, tercih ettiğin bölgeyi ve işlem kaynaklarını seçebilir, ardından uygulamandaki uç nokta URL'sini güncelleyebilirsin. Genel entegrasyon aynı kalır; dolayısıyla istek gönderme veya yanıtları işleme biçiminde çok az değişiklik olur ya da hiç değişiklik olmaz.

Şekil 4. Ultralytics Platform'da özel bir uç noktanın URL'sini görüntüleme (Kaynak)
Böylece birkaç tıklamayla test aşamasından üretime geçebilirsin. İş yükün arttıkça veya uygulaman daha tutarlı performans gerektirdikçe mevcut iş akışını aksatmadan özel uç noktalara geçebilirsin.
Ultralytics Platform'da özel uç noktalar kullanarak model dağıtımı hakkında daha fazla bilgi edinmek için resmi Ultralytics Platform belgelerine göz at.
Önemli çıkarımlar#
Paylaşımlı çıkarım test ve denemeler için harika bir başlangıç noktasıdır; ancak üretim iş yükleri daha fazla tutarlılık ve ölçek gerektirir. Uygulamalar büyüdükçe özel uç noktalar, gerçek dünyadaki kullanımı desteklemek için gereken performansı ve güvenilirliği sağlar. Bu da onları çoğu üretim dağıtımı için en iyi seçenek haline getirir.
Bilgisayarlı görü modelleri hakkında daha fazla bilgi edinmek için topluluğumuza katıl ve GitHub depomuzu incele. Çözüm sayfalarımızda tarımda yapay zekâ ve robotikte bilgisayarlı görü gibi uygulamaları oku. Lisans seçeneklerimize göz at ve görüntü işleme yapay zekâsını kullanmaya başla.
Yazan
Yorumlar
Soru sor, sonuçlarını paylaş veya başka birine yardım et.










