Model Dağıtımı

Model dağıtımı, makine öğrenimi yaşam döngüsünde eğitilmiş bir modelin kullanıldığı en önemli aşamayı temsil eder. makine öğrenimi (ML) modeli aşağıdakilere entegre edilmiştir Canlı veriler üzerinde hareket etmek için bir üretim ortamı. Modellerin eğitildiği ve geliştirildiği geliştirme arasındaki boşluğu doldurur. kontrollü ortamlarda ve gerçek dünya uygulamalarında doğrulanmış, eyleme geçirilebilir veriler sağlayarak değer yarattıkları içgörüler. Etkili bir dağıtım olmadan, en sofistike sistemler bile sinir ağı (NN) statik bir dosya olarak kalır ve Son kullanıcılarla veya harici yazılım sistemleriyle etkileşim kurmak için. Öncelikli amaç, modelin öngörücü özelliğini Mobil uygulamalardan kurumsal buluta kadar çeşitli uygulamalar için erişilebilir, güvenilir ve ölçeklenebilir yetenekler hizmetler.

Dağıtım Boru Hattı

Bir modelin araştırma ortamından üretime geçirilmesi tipik olarak aşağıdakiler için tasarlanmış yapılandırılmış bir boru hattını içerir performans ve kararlılık sağlar.

1. Model Optimizasyonu: Bir model eğitim ortamından ayrılmadan önce, genellikle için model optimizasyonu yürütme hızını artırır ve bellek kullanımını azaltır. Aşağıdaki gibi teknikler kuantizasyonun hassasiyetini azaltması modelin ağırlıkları (örneğin, 32 bit kayan noktadan 8 bit tamsayıya), hesaplama gereksinimlerini büyük ölçüde azaltır doğruluk üzerinde minimum etki ile.
2. Model Dışa Aktarımı: Optimize edilmiş model, aşağıdakilerden bağımsız olan standart bir formata dönüştürülür eğitim çerçevesi. Gibi formatlar ONNX (Açık Sinir Ağı Borsası) PyTorch 'ta eğitilen modellerin çeşitli çıkarım motorlarında çalışmasına izin verir. Donanıma özel hızlandırma için geliştiriciler 'ye ihraç edebilir TensorRT için OpenVINO veya NVIDIA GPU'ları için Intel CPU'lar.
3. Konteynerleştirme: Modelin farklı bilgisayar ortamlarında tutarlı bir şekilde çalışmasını sağlamak için konteynerleştirmeyi kullanmak yaygın bir uygulamadır. Docker gibi araçlar modeli paketler, onun bağımlılıkları ve çalışma zamanı ortamını tek bir hafif birime dönüştürerek "benim makine" sorunları.
4. Orkestrasyon ve Ölçeklendirme: Yüksek talep senaryolarında, dağıtılan konteynerler aşağıdakiler tarafından yönetilir Kubernetes gibi orkestrasyon sistemleri. Bu platformlar ölçeklenebilirlik, yeni modeli otomatik olarak döndürme Trafikteki ani artışların üstesinden gelmek ve yüksek kullanılabilirlik sağlamak için örnekler.

Dağıtım Ortamları

Ortam seçimi büyük ölçüde uygulamanın aşağıdakilerle ilgili gereksinimlerine bağlıdır çıkarım gecikmesi, veri gizliliği ve bağlanabilirlik.

• Bulut Dağıtımı: gibi bulut platformlarında barındırma modelleri AWS SageMaker veya Google Vertex AI neredeyse sınırsız hesaplama gücü ve kolay ölçeklenebilirlik. Bu, karmaşık işlemler için idealdir büyük dil modelleri (LLM'ler) veya toplu Gerçek zamanlı yanıtın daha az kritik olduğu işleme görevleri.
• Edge Yapay Zeka: Aşağıdakileri gerektiren uygulamalar için internet olmadan gerçek zamanlı çıkarım bağımlılık, modeller doğrudan yerel cihazlara dağıtılır. Edge AI, aşağıdaki gibi kompakt donanımlar kullanır NVIDIA Jetson veya Raspberry Pi, verileri kaynağında işlemek için. Bu yaklaşım en aza indirir gecikme ve veri gizliliğini artırarak cihazdaki hassas bilgiler.
• Tarayıcı Tabanlı: TensorFlow.js gibi çerçeveler aşağıdakilere izin verir modellerinin müşterinin donanımını kullanarak tamamen bir web tarayıcısı içinde çalışmasını sağlar. Bu sıfır kurulum yaklaşımı aşağıdakiler için mükemmeldir etkileşimli web uygulamaları ve hafif bilgisayarla görme (CV) görevleri.

Gerçek Dünya Uygulamaları

• Otomatik Üretim Kalite Kontrolü: Fabrika ayarlarında, bir YOLO11 nesne algılama modeli bir kenara konuşlandırılır bir konveyör bandı üzerinde bir kameraya bağlı cihaz. Ürünler geçtikçe, model gerçek zamanlı olarak gibi kusurları belirlemek için anomali tespiti çatlaklar veya yanlış hizalanmış etiketler. Sistem, kusurlu ürünleri çıkarmak için mekanik bir kolu anında tetikleyerek önemli ölçüde manuel denetime kıyasla verimliliği artırır. Hakkında daha fazla bilgi edinin Üretimde yapay zeka.
• Akıllı Perakende Analitiği: Perakendeciler konuşlandırıyor müşteriyi analiz etmek için nesne izleme modelleri mağaza içindeki davranışlar. Yerel bir sunucudaki video akışlarını işleyen sistem, yüksek trafikli mağazaların ısı haritalarını oluşturur. alanları ve kuyruk uzunluklarını izler. Bu veriler, yöneticilerin mağaza düzenlerini ve personel seviyelerini optimize etmelerine yardımcı olur. Nasıl olduğunu görün Perakendede yapay zeka alışverişi dönüştürüyor deneyim.

İlgili Kavramlar: Dağıtım vs. Hizmet vs. MLOps

"Model Dağıtımı "nı ekosistemdeki ilgili terimlerden ayırmak önemlidir:

• Model Dağıtımı ve Model Sunumu: Dağıtım, bir modelin üretime alınmasına ilişkin kapsamlı süreci ifade eder. Model sunumu belirli bir mekanizması veya yazılımı (örneğin NVIDIA Triton Çıkarım Sunucusu veya API isteklerini dinleyen ve modeli çalıştıran TorchServe) tahminler üretir. Servis, dağıtımın bir bileşenidir.
• Model Dağıtımı vs. MLOps: Dağıtım, daha geniş MLOps çerçevesi içinde tek bir aşamadır. MLOps (Makine Öğrenimi Operasyonları) kapsar veri toplama, eğitim, değerlendirme, dağıtım ve sürekli eğitim de dahil olmak üzere tüm yaşam döngüsü gibi sorunları detect etmek için model izleme veri kayması.

Dağıtım için Modeli Dışa Aktarma

Dağıtımda yaygın bir ilk adım, eğitilmiş bir modeli son derece uyumlu bir formata aktarmaktır. Aşağıdaki örnek kullanarak bir YOLO11 modelinin ONNX formatına nasıl aktarılacağını göstermektedir. ultralytics paketi hazır hale getirerek çeşitli platformlarda dağıtım için.

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to ONNX format for broad compatibility
# This creates 'yolo11n.onnx' which can be used in deployment environments
model.export(format="onnx")