Model sunumunun (model serving) temellerini öğrenin: gerçek zamanlı tahminler, ölçeklenebilirlik ve uygulamalara sorunsuz entegrasyon için yapay zeka modellerini dağıtın.
Model sunumu, makine öğrenimi yaşam döngüsünde eğitilmiş bir modelin bir sunucuda barındırıldığı kritik aşamadır. gerçek zamanlı çıkarım taleplerini karşılamak için cihaz. Bir makine öğrenimi (ML) modeli oluşturulduktan sonra eğitilmiş ve onaylanmışsa, değer sağlamak için bir üretim ortamına entegre edilmelidir. Hizmet vermek Statik model dosyası ile son kullanıcı uygulamaları arasında köprü kurar, gelen verileri dinler - örneğin görüntüler veya metin-bir API aracılığıyla ve modelin tahminlerini döndürerek. Bu süreç yazılım sistemlerinin aşağıdakilerden yararlanmasını sağlar Tahmine dayalı modelleme yetenekleri anında ve ölçekte.
Etkili model sunumu, modeli belleğe yükleyebilen, modeli yönetebilen ve modelin GPU'lar gibi donanım kaynakları ve istekleri verimli bir şekilde işleme. Basit komut dosyaları çıkarım yapabilirken, üretim sınıfı hizmet genellikle gibi özel çerçeveler NVIDIA Triton Çıkarım Sunucusu veya TorchServe. Bu araçlar yüksek verim ve düşük maliyetle çalışacak şekilde optimize edilmiştir. çıkarım gecikmesi, uygulamaların ağır kullanıcı yükleri altında bile duyarlı kalır.
Kapsamlı bir servis kurulumu, tahminleri güvenilir bir şekilde sunmak için birlikte çalışan birkaç farklı katmanı içerir.
Bir modeli etkili bir şekilde sunmak için, onu aşağıdaki gibi standartlaştırılmış bir formata aktarmak genellikle faydalıdır ONNXteşvik eden Farklı eğitim çerçeveleri ve hizmet motorları arasında birlikte çalışabilirlik. Aşağıdaki örnek nasıl yapılacağını göstermektedir yükleyin a YOLO11 model ve çıkarım çalıştırmak, mantık simülasyonu hizmet veren bir uç noktanın içinde var olacak.
from ultralytics import YOLO
# Load the YOLO11 model (this would happen once when the server starts)
model = YOLO("yolo11n.pt")
# Simulate an incoming request with an image source
image_source = "https://ultralytics.com/images/bus.jpg"
# Run inference to generate predictions
results = model.predict(source=image_source)
# Process and return the results (e.g., bounding boxes)
for box in results[0].boxes:
print(f"Class: {box.cls}, Confidence: {box.conf}")
Model sunumu, çeşitli sektörlerde her yerde bulunan yapay zeka özelliklerine güç vererek, aşağıdakilere dayalı olarak anında karar vermeyi sağlar veri.
Genellikle birbirinin yerine kullanılmakla birlikte, model sunumu ile model dağıtımı. Dağıtım, daha geniş anlamda Bir modelin test edilmesi, paketlenmesi ve ayarlanması gibi adımları içeren bir üretim ortamında piyasaya sürülmesi süreci altyapıya kadar. Model sunumu, dağıtımın özel çalışma zamanı yönüdür - modeli gerçekten çalıştırma eylemi ve taleplerin ele alınması.
Etkili hizmet aynı zamanda sürekli hizmet gerektirir detect etmek için model izleme veri sürüklenmesi, gelen verilerin dağılımının eğitim verilerinden ayrışır, potansiyel olarak azalan doğruluk. Yakında çıkacak olan gibi modern platformlar Ultralytics Platformu, bu aşamaları birleştirmeyi amaçlayarak kesintisiz Eğitimden hizmet vermeye ve izlemeye geçişler.
Sunum stratejisinin seçimi büyük ölçüde kullanım durumuna bağlıdır. Çevrimiçi Sunum anında hizmet sağlar Kullanıcıya yönelik uygulamalar için yanıtlar ancak düşük gecikme süresi gerektirir. Tersine, Toplu Sunum süreçleri Çevrimdışı büyük hacimli veriler, anında geri bildirimin gerekli olduğu gece raporu oluşturma gibi görevler için uygundur. kritik değildir. Dronlar veya cep telefonları gibi uzak donanımlara yerleştirilen uygulamalar için, Edge AI, servis sürecini doğrudan cihaza taşır, Bulut bağlantısına olan bağımlılığı ortadan kaldırır ve bant genişliği maliyetlerini azaltır.
Metrik toplama için Prometheus gibi araçların kullanılması ve Görselleştirme için Grafana, mühendislik ekiplerinin hizmetlerinin sağlığını track yardımcı oluyor altyapı, modellerin güvenilir bir şekilde sunulmaya devam etmesini sağlamak bilgisayarla görme yetenekleri uzun süre sonra ilk lansman.
