Yönetilen Bulut ve Kendi Sunucusunda Barındırılan Bilgisayarlı Görü Dağıtımı
Yönetilen bulut ve kendi sunucusunda barındırılan bilgisayarlı görü dağıtımını maliyet, gecikme, veri sınırları, ölçeklendirme ve çıkış riski açısından üç dağıtım modeliyle karşılaştırın.
Yönetilen bulut dağıtımı genellikle bir bilgisayarlı görü servisini başlatmanın en hızlı yoludur. Gecikme, veri sınırları veya altyapı kontrolü katı gereksinimler olduğunda kendi sunucusunda barındırma genellikle daha iyi bir seçenektir. Zor olan kısım, ekiplerin genellikle sistemin hangi kısmını kontrol etmek istediklerini tanımlamadan önce ikisini karşılaştırmasıdır.
Bir görü uygulamasının karar verilmesi gereken en az dört konumu vardır: görüntülerin depolandığı yer, modellerin eğitildiği yer, çıkarımın çalıştığı yer ve çevreleyen uygulamanın çalıştığı yer. Bu kararların eşleşmesi gerekmez. Bir ekip kaynak görüntüleri ve eğitimi kendi altyapısında tutabilir, çıkarımı edge cihazlarında çalıştırabilir ve yine de deney takibi ile model yönetimi için yönetilen bir platform kullanabilir.
Ultralytics YOLO modelleri bu tür taşınabilir iş akışını destekler. Ultralytics Platform veri ve eğitim yaşam döngüsünü yönetebilirken, export edilen modeller uygulamaya uygun altyapıda çalışabilir. Bu nedenle doğru seçim her zaman bulut veya kendi sunucusunda barındırma değildir. Çoğu zaman her bileşen için açık bir sınıra sahip hibrit bir çözümdür.
Bir bakışta yönetilen bulut ve kendi sunucusunda barındırma#
| Karar alanı | Yönetilen bulut | Kendi sunucunda barındırılan (Self-hosted) | Hibrit |
|---|---|---|---|
| İlk dağıtıma kadar geçen süre | Genellikle daha hızlı | Genellikle daha yavaş | Orta |
| Altyapı sahipliği | Sağlayıcı | Ekibiniz | Bileşene göre paylaşılan |
| Ölçeklendirme | Sağlayıcı tarafından yönetilen seçenekler | Siz tasarlar ve işletirsiniz | Değişkense yönetilen, sabitse yerel |
| Veri kontrolü | Servise ve bölgeye bağlıdır | En yüksek doğrudan kontrol | Hassas pikseller yerelde kalabilir |
| Edge gecikmesi | Bulut gidiş-dönüşü uygun olmayabilir | Yerel çıkarım gecikmeyi en aza indirebilir | Yönetilen kontrol düzlemine sahip edge çıkarımı |
| Ön yatırım mühendisliği | Daha düşük | Daha yüksek | Orta |
| Devam eden operasyonlar | Servis yapılandırması ve maliyet kontrolü | Donanım, düzenleme, güncellemeler ve izleme | Paylaşılan sahiplik belgelenmelidir |
| Taşınabilirlik | Servise ve model formatına bağlıdır | Yığın taşınabilir formatlar kullanıyorsa yüksek | Çıkış yolları test edildiğinde yüksek |
Hız, değişken talep ve küçük bir altyapı ekibi en önemli faktörler olduğunda yönetilen bulutu seç. İş yükünün kontrollü bir ortamda kalması gerektiğinde veya çıkarımın ağ bağlantısı olmadan devam etmesi gerektiğinde kendi sunucusunda barındırmayı seç. Veri, eğitim ve çıkarım farklı gereksinimlere sahip olduğunda hibrit seçeneğini seç.
Yönetilen bulutun bilgisayarlı görü açısından anlamı#
Yönetilen bir dağıtımda, bir sağlayıcı model sunucusunun arkasındaki altyapının bir kısmını veya tamamını işletir. Ekip bir model sağlar veya yönetilen bir model seçer, bir uç nokta yapılandırır ve tükettiği kaynaklar veya istekler için ödeme yapar.
Sağlayıcı uç nokta sağlama, sağlık kontrolleri, otomatik ölçeklendirme, sunucu katmanı güncellemeleri ve izleme yığınıyla entegrasyon işlemlerini yürütebilir. Bu durum büyük miktarda platform işini ortadan kaldırır ancak uygulama sorumluluğunu ortadan kaldırmaz. Ekip hala model kalitesinden, girdi doğrulamasından, iş mantığından, erişim politikalardan ve hangi görüntülerin servise ulaşmasına izin verileceği kararından sorumludur.
Yönetilen bulut; trafik zaman içinde önemli ölçüde değiştiğinde, organizasyon halihazırda bu bulutu kullandığında ve bir ağ gidiş-dönüşü gecikme bütçesine uyduğunda en güçlüsüdür. Ayrıca, iş yükü anlaşılmadan önce özel bir GPU filosu satın almanın ve işletmenin maliyeti baştan yükleyeceği pilot çalışma sırasında da kullanışlıdır.
Bunun dezavantajı bir sağlayıcının uç nokta modeline, bölgelerine, kotalarına ve fiyatlandırma yapısına olan bağımlılıktır. Pilot hacimde ucuz olan bir servis, her kamera buluta her kareyi gönderirse en büyük üretim maliyeti haline gelebilir.
Kendi sunucusunda barındırmanın bilgisayarlı görü açısından anlamı#
Kendi sunucusunda barındırılan dağıtım, kuruluşun sunucu altyapısını bizzat işletmesi anlamına gelir. Bu bir veri merkezindeki sunucu, bir Kubernetes kümesi, bir üretim hattının yanındaki endüstriyel bilgisayar veya bir kameraya bağlı gömülü bir cihaz olabilir.
Kuruluş verilerin nereye akacağını ve yazılımın ne zaman değişeceğini kontrol eder. Ayrıca kapasite planlaması, GPU sürücüleri, çalışma zamanı uyumluluğu, model sunumu, izlenebilirlik, güvenlik güncellemeleri, yedeklemeler ve kurtarma işlemlerinin de sahibidir. Bu işlerin her birinin bir sahibi olana kadar “donanımımızda çalışıyor” ifadesi bir operasyon modeli değildir.
Kendi sunucusunda barındırma; çıkarımın çevrimdışı devam etmesi gerektiğinde, görüntülerin bir siteden dışarı çıkamadığı durumlarda veya öngörülebilir yüksek hacimli bir iş yükünün özel işlem gücünü ekonomik hale getirdiği durumlarda en güçlüsüdür. Ayrıca bir bulut gidiş-dönüşünün karşılayamayacağı bir gecikme bütçesi içinde sonucun dönmesi gereken uygulamalar için doğal bir seçenektir.
Bunun dezavantajı operasyonel derinliktir. Tek bir GPU üzerindeki çalışan bir kapsayıcı, birçok sitede güvenilir bir üretim servisi ile aynı şey değildir.
Gerçek maliyeti karşılaştırın#
Bir bulut uç noktasının istek fiyatını bir sunucunun satın alma fiyatıyla karşılaştırmayın. Aynı süre ve iş yükü üzerinden toplam sistemi karşılaştırın.
Yönetilen bulut için şunları dahil edin:
- çıkarım hesaplaması ve sağlanan minimum kapasite;
- depolama ve veri aktarımı;
- izleme, günlük kaydı ve saklanan yapıtlar;
- geliştirme ve hazırlık (staging) uç noktaları;
- patlamalar arasında aktif kalan boşta duran kaynaklar ve
- servis entegrasyonu ve maliyet kontrolü için mühendislik süresi.
Kendi sunucusunda barındırma için şunları dahil edin:
- sunucular, edge cihazları, hızlandırıcılar ve yedek kapasite;
- kurulum, güç, soğutma ve site erişimi;
- düzenleme, izleme ve güncelleme altyapısı;
- sürücüler, çalışma zamanları, güvenlik ve olaylar için personel süresi;
- yedek donanım ve destek ve
- zirveler veya arızalar için tutulan kapasite.
İş yükünün şekli yanıtı değiştirir. Bulut, belirsiz veya ani talep artışları için caziptir çünkü donanım satın almadan kapasite eklenebilir. Kuruluşun bunu çalıştıracak insanlara sahip olması koşuluyla, kullanım yüksek ve öngörülebilir olduğunda özel altyapı daha cazip hale gelir.
Gecikmeyi ve bant genişliğini karşılaştırın#
Bilgisayarlı görü iş yükleri veri hareketine karşı alışılmadık derecede hassastır. Görüntüler ve videolar normal API yüklerinden çok daha büyüktür ve bir kamera, bir uygulamanın analiz etmesi gerekenden daha fazla kare üretebilir.
Uygulamanın uçtan uca gecikme bütçesiyle başlayın. Yakalama, kodlama, ağ aktarımı, kuyruğa alma, çıkarım ve kararı makinaya veya kullanıcıya geri iletme süresini dahil edin. Sonuç bir robotu, üretim hattını veya güvenlik uyarısını kontrol ediyorsa, model yönetimi bulutta kalmaya devam etse bile yerel çıkarım gerekebilir.
Bant genişliği ayrı bir kısıtlamadır. Uzak bir uç noktaya sürekli video göndermek maliyete baskın çıkabilir ve bağlantı kararsız olduğunda başarısız olabilir. Bir edge sistemi yerel olarak çıkarım çalıştırabilir ve yukarı akışa yalnızca olayları, meta verileri veya seçilen kareleri gönderebilir.
Gizliliği ve veri sınırlarını karşılaştırın#
“Şirket içi” ve “özel” eş anlamlı değildir. Kendi sunucusunda barındırılan bir sistem hala zayıf bir şekilde korunuyor olabilir ve yönetilen bir servis güçlü kontroller sağlayabilir. Karar bir veri haritasıyla başlar:
- kaynak görüntülerin yakalandığı ve depolandığı yer;
- türetilmiş görüntülerin veya kırpıntıların siteden ayrılıp ayrılmadığı;
- etiketlerin ve açıklamaların depolandığı yer;
- hangi model yapıtlarının verilerden öğrenilen bilgileri kodladığı;
- hangi personelin ve sistemlerin her katmana erişebileceği ve
- günlüklerin, isteklerin ve çıktıların ne kadar süreyle saklandığı.
Ultralytics Platform'un On Premise entegrasyonu, sınırın neden spesifik olması gerektiğini gösterir. Kaynak ve türetilmiş veri seti pikselleri; veri alımı, önizleme ve eğitim için bağlı bilgisayarda kalır. Sınıflar, etiketler ve açıklamalar Platform meta verileri olarak depolanır, eğitim metrikleri Platform'a akar ve en iyi kontrol noktası (checkpoint) daha sonraki iş akışları için yüklenir. Bu tasarım, her yapıtın yerelde kaldığını iddia etmeden veri seti piksellerini yerelde tutar.
Bir uyumluluk kontrolü olarak ele almadan önce mevcut Ultralytics Platform On Premise documentation dokümantasyonunu kuruluşun gereksinimlerine göre inceleyin.
Ölçeklendirmeyi ve güvenilirliği karşılaştırın#
Yönetilen platformlar uç nokta kapasitesi eklemek için gereken işi azaltabilir, ancak otomatik ölçeklendirme anlık değildir ve her servisin sınırları vardır. Soğuk başlangıçları, kuyruk davranışını ve gerekli bölgede mevcut kapasiteyi ölçün.
Kendi sunucusunda barındırılan ölçeklendirme, bilinçli bir mühendislik gerektirir. Ekip modellerin nasıl paketleneceğine, isteklerin nasıl dengeleneceğine, GPU'ların nasıl planlanacağına ve bir düğüm arızalandığında ne olacağına karar verir. Kubernetes bu altyapıyı koordine etmeye yardımcı olabilir ancak doğru kopya sayısını, sunum politikasını veya gecikme hedefini belirlemez.
Edge filoları için güvenilirlik, uç nokta çalışma süresinden daha fazlasını içerir. Cihazlar bağlantıyı kaybedebilir, farklı donanım sürümlerinde çalışabilir ve güncellemeleri kaçırabilir. Bir üretim planı; model sürümlemeyi, kademeli sunumu, geri almayı ve her siteyi ziyaret etmeden arızaları teşhis etmenin bir yolunu gerektirir.
Üç pratik dağıtım modeli#
Yönetilen eğitim ve yönetilen çıkarım#
Ekip bir veri setinden bir uç noktaya giden en kısa yolu istediğinde ve bulut gecikmesi kabul edilebilir olduğunda bu modeli kullanın. Altyapı sahipliğini en aza indirir ve pilotları, dahili araçları ve değişken talebe sahip servisleri uygun şekilde destekler.
Ana kontroller maliyet limitleri, bölgesel veri işleme, uç nokta erişimi ve servisin daha sonra taşınması gerekiyorsa bir çıkış yoludur.
Yönetilen eğitim ve kendi sunucusunda barındırılan çıkarım#
Bulut bilişim model geliştirmeyi basitleştirdiğinde ancak çıkarımın yerel olarak çalışması gerektiğinde bu modeli kullanın. Yönetilen ortamda eğitin ve değerlendirin, test edilmiş bir model dışarı aktarın (export edin) ve bunu edge'e veya veri merkezine dağıtın.
Bu model üretim ve robotik alanında yaygındır çünkü model iterasyonu yönetilen bilişimden fayda görürken üretim kararları bir ağ gidiş-dönüşüne bağımlı olamaz.
Yönetilen yaşam döngüsü araçlarıyla yerel veri ve eğitim#
Kaynak verilerin kontrollü altyapıda kalması gerekiyorsa ancak ekip yine de açıklama, metrikler ve model yönetimi için paylaşılan bir arayüz istiyorsa bu modeli kullanın. Ultralytics Platform On Premise bu bölünme için tasarlanmıştır: veri seti pikselleri ve eğitim bilişimi bağlı bilgisayarda kalırken seçilen meta veriler, metrikler ve tamamlanan kontrol noktası Platform'a bağlanır.
Sınırı operasyonel dilde belgeleyin. Nelerin yerelde kaldığını, nelerin yüklendiğini ve ayrı olarak gönderilen görüntüleri hangi bulut iş akışlarının işlediğini belirtin.
Yaygın iş yükleri için bir karar yolu#
Fabrika denetimi. Sonucun hat hızında bir parçayı durdurması veya yönlendirmesi gerektiğinde yerel veya edge çıkarımı tercih edin. Yönetilen eğitim yine de mantıklı olabilir.
Perakende veya tesis analitiği. Sürekli video bant genişliğini veya gizliliği zorlaştıracaksa edge ön işlemesi kullanın. Uygun durumlarda buluta olaylar veya seçilen kareler gönderin.
Toplu görüntü analizi. Gecikme interaktif olmadığında ve işler ani patlamalar halinde geldiğinde yönetilen bulut genellikle iyi bir uyum sağlar.
Ağdan izole (air-gapped) veya aralıklı olarak bağlanan siteler. Çıkarım ve operasyonlar için gereken tüm çalışma zamanını kendi sunucunuzda barındırın. Bulut kontrol düzlemini kritik yolun bir parçası haline getirmeyin.
Geliştirici odaklı görü API'si. Yönetilen uç noktalar, özellikle trafik belirsizken lansman süresini kısaltabilir. Hacim büyümeden önce istek limitlerini, izlenebilirliği ve bir çıkış yolu tasarlayın.
Dağıtımdan önce çıkışı planlayın#
Taşınabilirlik bir model dosyası indirerek kanıtlanmaz. Eksiksiz yolu test et:
- Modeli hedef donanım tarafından desteklenen bir çalışma zamanına dışarı aktar.
- Ön işlemeyi ve son işlemeyi orijinal hizmetin dışında yeniden üret.
- Sabit bir test kümesinde çıktı eşitliğini doğrula.
- İzlemeyi, erişim kontrolünü ve sunum prosedürlerini yeniden oluştur.
- Hedef ortamda gecikmeyi ve kaynak kullanımını ölç.
- Verilerin, etiketlerin, model sürümlerinin ve denetim kayıtlarının nasıl taşındığını belgele.
Bu egzersiz aynı zamanda mevcut dağıtımı iyileştirir. Bir kesinti, fiyatlandırma değişikliği veya yeni bir veri gereksinimi acele bir taşımayı zorlamadan önce gizli bağımlılıkları ortaya çıkarır.
Sıkça sorulan sorular
Yönetilen bulut genellikle altyapı işini azaltır ve ilk lansmanı hızlandırır. Kendi sunucusunda barındırma genellikle veri konumu, gecikme ve çalışma zamanı üzerinde daha doğrudan kontrol sağlar. Ödünleşim bir tarafta sağlayıcı bağımlılığı ve değişken maliyet iken diğer tarafta mühendislik sahipliği ve kapasite planlamasıdır.
Kararlı, yüksek oranda kullanılan bir iş yükü için bu mümkün olabilir, ancak yalnızca donanım, operasyonlar, yedek kapasite ve personel süresi hesaba katıldıktan sonra. Bulut; pilot projeler, ani artış gösteren iş yükleri ve aksi takdirde sıfırdan bir platform oluşturacak ekipler için daha ucuz olabilir.
Uygulama bir bulut gidiş dönüşünü kaldıramadığında, bağlantı güvenilmez olduğunda, sürekli video çok fazla bant genişliği tüketeceğinde veya görüntülerin sahada kalması gerektiğinde çıkarımı uç cihazda çalıştır.
Evet. Bu hibrit model, ekibin model geliştirme sırasında yönetilen işlem gücünü ve iş birliğini kullanmasına, ardından modeli kendi sunucularında veya uç cihazlarında çıkarım yapmak üzere dışarı aktarmasına olanak tanır.
Otomatik olarak hayır. Ürünün veri sınırını oku. Ultralytics Platform On Premise içinde kaynak veri kümesi pikselleri yerel kalırken; etiketler, ek açıklamalar, metrikler ve en iyi kontrol noktası belgelendiği şekilde Platform ile etkileşime girer.
Uçtan uca gecikmeyi, iş hacmini, hata kurtarmayı, veri hareketini, model sunumunu, geri almayı, izlemeyi ve beklenen üretim hacmindeki toplam maliyeti test et. Testi yalnızca bir geliştirme dizüstü bilgisayarında değil, hedeflenen donanım ve ağ üzerinde çalıştır.
