Yönetilen Bulut ve Kendi Sunucunda Barındırılan Bilgisayarlı Görü Dağıtımı
Yönetilen bulut ve kendi sunucunda barındırılan bilgisayarlı görü dağıtımını maliyet, gecikme, veri sınırları, ölçeklendirme ve geçiş riski açısından üç dağıtım modeliyle karşılaştır.
Yönetilen bulut dağıtımı genellikle bilgisayarlı görü hizmetini kullanıma sunmanın daha hızlı yoludur. Gecikme, veri sınırları veya altyapı denetimi katı gereksinimler olduğunda kendi altyapında barındırma genellikle daha iyi bir seçimdir. Zor olan, ekiplerin çoğu zaman sistemin hangi bölümünü denetlemek istediklerini belirlemeden bu ikisini karşılaştırmasıdır.
Bir görü uygulamasında en az dört konum için karar vermen gerekir: görsellerin depolandığı yer, modellerin eğitildiği yer, çıkarımın çalıştığı yer ve uygulamanın geri kalanının çalıştığı yer. Bu konumların aynı olması gerekmez. Bir ekip kaynak görselleri ve eğitimi kendi altyapısında tutabilir, uç cihazlarda çıkarım çalıştırabilir ve deney takibi ile model yönetimi için yine de yönetilen bir platform kullanabilir.
Ultralytics YOLO modelleri bu tür taşınabilir iş akışlarını destekler. Ultralytics Platform veri ve eğitim yaşam döngüsünü yönetebilirken, dışa aktarılan modeller uygulamaya en uygun altyapıda çalışabilir. Dolayısıyla doğru seçim her zaman bulut veya kendi altyapında barındırma arasında değildir. Çoğu zaman her bileşen için sınırların açıkça belirlendiği hibrit bir çözümdür.
Yönetilen bulut ve kendi altyapında barındırma: genel bakış#
| Karar alanı | Yönetilen bulut | Kendi altyapında barındırma | Hibrit |
|---|---|---|---|
| İlk dağıtıma kadar geçen süre | Genellikle daha hızlı | Genellikle daha yavaş | Orta |
| Altyapının sahibi | Sağlayıcı | Ekibin | Bileşenler arasında paylaşılır |
| Ölçeklendirme | Sağlayıcının yönettiği seçenekler | Tasarlayan ve işleten sensin | Değişken iş yüklerinde yönetilen, sabit iş yüklerinde yerel |
| Veri denetimi | Hizmete ve bölgeye bağlı | Doğrudan denetim en üst düzeyde | Hassas pikseller yerel ortamda kalabilir |
| Uç gecikmesi | Buluta gidiş-dönüş uygun olmayabilir | Yerel çıkarım gecikmeyi en aza indirebilir | Yönetilen kontrol düzlemiyle uç çıkarımı |
| Peşin mühendislik çalışması | Daha az | Daha fazla | Orta |
| Süregelen operasyonlar | Hizmet yapılandırması ve maliyet denetimi | Donanım, orkestrasyon, güncellemeler ve izleme | Paylaşılan sorumluluklar belgelenmeli |
| Taşınabilirlik | Hizmete ve model biçimine bağlı | Yığın taşınabilir biçimler kullanıyorsa yüksek | Çıkış yolları test edilmişse yüksek |
Hız, değişken talep ve küçük bir altyapı ekibi en önemli unsurlarsa yönetilen bulutu seç. İş yükünün denetimli bir ortamda kalması gerekiyorsa veya çıkarım ağ bağlantısı olmadan sürmeliyse kendi altyapında barındırmayı seç. Veri, eğitim ve çıkarım için farklı gereksinimler varsa hibrit çözümü seç.
Bilgisayarlı görüde yönetilen bulut ne anlama gelir?#
Yönetilen dağıtımda sağlayıcı, model sunumunun arkasındaki altyapının bir kısmını veya tamamını işletir. Ekip bir model sağlar ya da yönetilen bir model seçer, uç nokta yapılandırır ve kullandığı kaynaklar veya istekler için ödeme yapar.
Sağlayıcı; uç nokta oluşturmayı, sağlık kontrollerini, otomatik ölçeklendirmeyi, sunum katmanındaki güncellemeleri ve izleme yığınıyla entegrasyonu üstlenebilir. Bu, platform çalışmalarının büyük bölümünü ortadan kaldırır ancak uygulama sorumluluğunu ortadan kaldırmaz. Model kalitesi, girdi doğrulama, iş mantığı, erişim ilkeleri ve hangi görsellerin hizmete ulaşmasına izin verileceği konusundaki kararlar yine ekibin sorumluluğundadır.
Trafik zaman içinde önemli ölçüde değiştiğinde, kuruluş hâlihazırda bu bulutu kullanıyorsa ve ağ gidiş-dönüşü gecikme bütçesine uygunsa yönetilen bulut en iyi seçenektir. Özel GPU filosu satın almak ve işletmek, iş yükü anlaşılmadan önce maliyet yaratacağından pilot aşamasında da yararlıdır.
Bunun karşılığında sağlayıcının uç nokta modeline, bölgelerine, kotalarına ve fiyatlandırma yapısına bağımlı olursun. Pilot hacminde ucuz olan bir hizmet, her kamera her kareyi buluta gönderirse en büyük üretim maliyetine dönüşebilir.
Bilgisayarlı görüde kendi altyapında barındırma ne anlama gelir?#
Kendi altyapında barındırılan dağıtımda sunum altyapısını kuruluş işletir. Bu altyapı bir veri merkezindeki sunucu, Kubernetes kümesi, üretim hattının yanındaki endüstriyel bilgisayar veya kameraya bağlı gömülü bir cihaz olabilir.
Kuruluş, verilerin nereye aktığını ve yazılımın ne zaman değiştiğini denetler. Ayrıca kapasite planlamasından, GPU sürücülerinden, çalışma zamanı uyumluluğundan, modelin kullanıma alınmasından, gözlemlenebilirlikten, güvenlik güncellemelerinden, yedeklemeden ve kurtarmadan da sorumludur. Bu görevlerin her biri için bir sorumlu belirlenmedikçe “kendi donanımımızda çalışıyor” bir işletim modeli sayılmaz.
Çıkarımın çevrimdışıyken sürmesi gerekiyorsa, görseller sahadan çıkarılamıyorsa veya öngörülebilir ve yüksek hacimli bir iş yükü özel işlem gücünü ekonomik kılıyorsa kendi altyapında barındırma en iyi seçenektir. Sonucun buluta gidiş-dönüşün karşılayamayacağı bir gecikme bütçesi içinde dönmesi gereken uygulamalar için de doğal tercihtir.
Bunun karşılığında operasyonel iş yükü artar. Tek bir GPU'da çalışan bir kapsayıcı, birçok sahada güvenilir bir üretim hizmetiyle aynı şey değildir.
Gerçek maliyeti karşılaştır#
Bulut uç noktasının istek başına fiyatını sunucunun satın alma fiyatıyla karşılaştırma. Aynı süre ve iş yükü için toplam sistem maliyetini karşılaştır.
Yönetilen bulut için şunları hesaba kat:
- çıkarım işlem gücü ve önceden ayrılmış asgari kapasite;
- depolama ve veri aktarımı;
- izleme, günlük kaydı ve saklanan yapıtlar;
- geliştirme ve hazırlık uç noktaları;
- yoğunluklar arasındaki dönemde etkin kalan boş kaynaklar; ve
- hizmet entegrasyonu ve maliyet denetimi için harcanan mühendislik zamanı.
Kendi altyapında barındırma için şunları hesaba kat:
- sunucular, uç cihazlar, hızlandırıcılar ve yedek kapasite;
- kurulum, güç, soğutma ve tesise erişim;
- orkestrasyon, izleme ve güncelleme altyapısı;
- sürücüler, çalışma zamanları, güvenlik ve olaylar için personel zamanı;
- yedek donanım ve destek; ve
- yoğunluk veya arızalar için ayrılan kapasite.
İş yükünün yapısı yanıtı değiştirir. Kapasite donanım satın almadan artırılabildiği için talebin belirsiz veya ani değişkenlik gösterdiği durumlarda bulut caziptir. Kuruluşta altyapıyı işletecek kişiler zaten varsa, kullanım oranı yüksek ve öngörülebilir olduğunda özel altyapı daha cazip hâle gelir.
Gecikme süresini ve bant genişliğini karşılaştır#
Bilgisayarlı görü iş yükleri, veri aktarımına karşı alışılmadık ölçüde hassastır. Görüntüler ve videolar, sıradan API yüklerinden çok daha büyüktür ve bir kamera, uygulamanın analiz etmesi gerekenden daha fazla kare üretebilir.
Uygulamanın uçtan uca gecikme süresi bütçesiyle başla. Görüntü yakalamayı, kodlamayı, ağ üzerinden aktarımı, kuyrukta beklemeyi, çıkarımı ve kararı makineye veya kullanıcıya iletme süresini hesaba kat. Sonuç bir robotu, üretim hattını veya güvenlik uyarısını kontrol ediyorsa, model yönetimi bulutta kalsa bile yerel çıkarım gerekebilir.
Bant genişliği ayrı bir kısıttır. Sürekli videoyu uzak bir uç noktaya göndermek maliyetleri artırabilir ve bağlantı kararsız olduğunda başarısız olabilir. Bir uç sistem, çıkarımı yerel olarak çalıştırıp yalnızca olayları, meta verileri veya seçilmiş kareleri üst sisteme gönderebilir.
Gizliliği ve veri sınırlarını karşılaştır#
“Yerinde” ve “özel” eş anlamlı değildir. Kendi barındırdığın bir sistemin güvenliği yine de yetersiz olabilir; yönetilen bir hizmet ise güçlü kontroller sağlayabilir. Karar, bir veri haritasıyla başlar:
- kaynak görüntülerin nerede yakalanıp depolandığı;
- türetilmiş görüntülerin veya kırpımların tesis dışına çıkıp çıkmadığı;
- etiketlerin ve açıklamaların nerede depolandığı;
- hangi model yapıtlarının verilerden öğrenilen bilgileri kodladığı;
- her katmana hangi personelin ve sistemlerin erişebildiği; ve
- günlüklerin, isteklerin ve çıktıların ne kadar süre saklandığı.
Ultralytics Platform On Premise entegrasyonu, sınırın neden açıkça belirlenmesi gerektiğini gösterir. Veri alımı, önizleme ve eğitim sırasında kaynak ve türetilmiş veri kümesi pikselleri bağlı bilgisayarda kalır. Sınıflar, etiketler ve açıklamalar Platform meta verileri olarak depolanır, eğitim metrikleri Platform'a aktarılır ve en iyi kontrol noktası daha sonraki iş akışlarında kullanılmak üzere yüklenir. Bu tasarım, tüm yapıtların yerel kaldığını iddia etmeden veri kümesi piksellerini yerel tutar.
Uyumluluk kontrolü olarak değerlendirmeden önce güncel Ultralytics Platform On Premise belgelerini kuruluşun gereksinimlerine göre incele.
Ölçeklenebilirliği ve güvenilirliği karşılaştır#
Yönetilen platformlar, uç nokta kapasitesini artırmak için gereken işi azaltabilir; ancak otomatik ölçeklendirme anında gerçekleşmez ve her hizmetin sınırları vardır. Soğuk başlatmaları, kuyruk davranışını ve gerekli bölgede kullanılabilir kapasiteyi ölç.
Kendi barındırdığın sistemin ölçeklendirilmesi bilinçli mühendislik gerektirir. Modellerin nasıl paketleneceğine, isteklerin nasıl dengeleneceğine, GPU'ların nasıl zamanlanacağına ve bir düğüm arızalandığında ne olacağına ekip karar verir. Kubernetes bu altyapının koordinasyonuna yardımcı olabilir; ancak doğru çoğaltma sayısına, dağıtım politikasına veya gecikme hedeflerine karar vermez.
Uç cihaz filolarında güvenilirlik, uç noktanın çalışma süresinden fazlasını kapsar. Cihazlar bağlantıyı kaybedebilir, farklı donanım sürümlerinde çalışabilir ve güncellemeleri kaçırabilir. Üretim planında model sürümleme, aşamalı dağıtım, geri alma ve her tesise gitmeden arızaları teşhis etmenin bir yolu bulunmalıdır.
Uygulanabilir üç dağıtım modeli#
Yönetilen eğitim ve yönetilen çıkarım#
Ekip, veri kümesinden uç noktaya en kısa yolu istediğinde ve bulut gecikmesi kabul edilebilir olduğunda bu modeli kullan. Altyapı sahipliği ihtiyacını en aza indirir; pilot uygulamalara, dahili araçlara ve değişken talebe sahip hizmetlere uygundur.
Başlıca kontroller maliyet sınırları, bölgesel veri işleme, uç nokta erişimi ve hizmetin daha sonra taşınması gerekirse kullanılacak dışa aktarma yoludur.
Yönetilen eğitim ve kendi barındırdığın çıkarım#
Bulut bilişim model geliştirmeyi kolaylaştırırken çıkarımın yerel olarak çalışması gerektiğinde bu modeli kullan. Yönetilen ortamda eğitim yapıp değerlendirme gerçekleştir, test edilmiş bir modeli dışa aktar ve uç sisteme veya veri merkezine dağıt.
Bu model, model yinelemesinin yönetilen bilişimden yararlandığı; ancak üretim kararlarının ağ üzerinden gidiş dönüşe bağlı olamayacağı imalat ve robotik alanlarında yaygındır.
Yerel veriler ve eğitim, yönetilen yaşam döngüsü araçlarıyla#
Kaynak verilerin kontrollü altyapıda kalması gerekirken ekibin açıklama, metrik ve model yönetimi için ortak bir arayüz istediği durumlarda bu modeli kullan. Ultralytics Platform On Premise bu ayrım için tasarlanmıştır: veri kümesi pikselleri ve eğitim bilişimi bağlı bilgisayarda kalırken seçilen meta veriler, metrikler ve tamamlanan kontrol noktası Platform'a bağlanır.
Sınırı operasyonel bir dille belgele. Nelerin yerel kaldığını, nelerin yüklendiğini ve ayrı gönderilen görüntüleri hangi bulut iş akışlarının işlediğini belirt.
Yaygın iş yükleri için karar yolu#
Fabrika denetimi. Sonucun bir parçayı hat hızında durdurması veya başka yöne yönlendirmesi gerekiyorsa yerel ya da uç çıkarımı tercih et. Yönetilen eğitim yine de uygun olabilir.
Perakende veya tesis analitiği. Sürekli videonun bant genişliği veya gizlilik açısından sorun yaratacağı durumlarda uçta ön işleme kullan. Uygun olduğunda olayları veya seçilmiş kareleri buluta gönder.
Toplu görüntü analizi. Gecikmenin etkileşimli olması gerekmediğinde ve işler ani yoğunluklarla geldiğinde yönetilen bulut genellikle uygundur.
İnternete kapalı veya bağlantısı kesintili tesisler. Çıkarım ve operasyonlar için gereken çalışma zamanının tamamını kendi altyapında barındır. Bulut kontrol düzlemini kritik yolun bir parçası hâline getirme.
Geliştiricilere yönelik görü API'si. Özellikle trafik belirsizken yönetilen uç noktalar kullanıma sunma süresini kısaltabilir. Hacim artmadan önce istek sınırlarını, gözlemlenebilirliği ve çıkış yolunu tasarla.
Dağıtımdan önce çıkış planını yap#
Bir model dosyasını indirerek taşınabilirliği kanıtlamış olmazsın. Sürecin tamamını test et:
- Modeli, hedef donanımın desteklediği bir çalışma zamanına aktar.
- Ön işleme ve son işlem adımlarını özgün hizmetin dışında yeniden oluştur.
- Çıktı eşleşmesini sabit bir test kümesinde doğrula.
- İzleme, erişim denetimi ve dağıtım prosedürlerini yeniden oluştur.
- Hedef ortamda gecikme süresini ve kaynak kullanımını ölç.
- Verilerin, etiketlerin, model sürümlerinin ve denetim kayıtlarının nasıl taşındığını belgele.
Bu çalışma mevcut dağıtımı da iyileştirir. Kesinti, fiyat değişikliği veya yeni bir veri gereksinimi aceleyle geçiş yapmaya zorlamadan önce gizli bağımlılıkları ortaya çıkarır.
Sık sorulan sorular
Yönetilen bulut genellikle altyapı işlerini azaltır ve ilk kullanıma sunma sürecini hızlandırır. Kendi barındırdığın sistem ise genellikle veri konumu, gecikme ve çalışma zamanı üzerinde daha doğrudan denetim sağlar. Bir tarafta sağlayıcıya bağımlılık ve değişken maliyet; diğer tarafta mühendislik sorumluluğu ve kapasite planlaması vardır.
Kullanımı yüksek ve istikrarlı bir iş yükünde daha ucuz olabilir; ancak donanım, operasyonlar, yedek kapasite ve personel zamanı hesaba katıldıktan sonra. Pilot uygulamalarda, ani değişkenlik gösteren iş yüklerinde ve sıfırdan platform kuracak ekipler için bulut daha ucuz olabilir.
Uygulama buluta gidip gelme gecikmesine tahammül edemiyorsa, bağlantı güvenilir değilse, sürekli video çok fazla bant genişliği tüketecekse veya görüntülerin tesiste kalması gerekiyorsa çıkarımı uçta çalıştır.
Evet. Bu hibrit model, ekibin model geliştirme sırasında yönetilen bilişim ve iş birliğinden yararlanmasına, ardından modeli kendi sunucularında veya uç cihazlarında çıkarım için dışa aktarmasına olanak tanır.
Kendiliğinden böyle bir anlam taşımaz. Ürünün veri sınırını oku. Ultralytics Platform On Premise'te kaynak veri kümesi pikselleri yerel kalırken, belgelerde açıklandığı üzere etiketler, açıklamalar, metrikler ve en iyi kontrol noktası Platform ile etkileşim kurar.
Uçtan uca gecikme süresini, iş hacmini, arıza kurtarmayı, veri aktarımını, model dağıtımını, geri almayı, izlemeyi ve beklenen üretim hacmindeki toplam maliyeti test et. Testi yalnızca bir geliştirme dizüstü bilgisayarında değil, kullanılması planlanan donanım ve ağ üzerinde gerçekleştir.
