Model Deployment

Model dağıtımı, eğitilmiş bir makine öğrenimi modelinin, yeni verilere dayalı pratik kararlar veya tahminler yapması için bir üretim ortamına entegre edildiği kritik aşamadır. Bu aşama, genellikle izole edilmiş not defterlerinde gerçekleştirilen araştırma veya deneysel ortamdan, modelin gerçek dünya kullanıcıları ve sistemleriyle etkileşime girdiği canlı bir uygulamaya geçişi temsil eder. Bu süreç, statik bir ağırlık ve mimari dosyasını, video akışındaki nesneleri tanımlamak veya bir web sitesinde ürün önerisinde bulunmak gibi değer üretebilen aktif bir AI agent haline getirir.

Etkili bir dağıtım, gecikme süresi, ölçeklenebilirlik ve donanım uyumluluğu dahil olmak üzere model training süreçlerinden farklı zorlukların ele alınmasını gerektirir. Kuruluşlar, bulutta eğitilen modellerin güçlü sunuculardan kaynakları kısıtlı uç cihazlara kadar uzanan çeşitli ortamlara sorunsuz bir şekilde teslim edilmesini sağlamak için genellikle Ultralytics Platform kullanır.

Link to this sectionDağıtım Ortamı#

Dağıtım stratejileri genel olarak iki kategoriye ayrılır: bulut dağıtımı ve uç dağıtımı. Seçim, hız, gizlilik ve bağlantı ile ilgili özel gereksinimlere büyük ölçüde bağlıdır.

• Bulut Dağıtımı: Model, genellikle AWS SageMaker veya Google Vertex AI gibi hizmetler tarafından yönetilen merkezi sunucularda barındırılır. Uygulamalar, isteği işleyip sonucu döndüren bir REST API aracılığıyla verileri internet üzerinden modele gönderir. Bu yöntem neredeyse sınırsız bir bilgi işlem gücü sunar ve bu da onu büyük, karmaşık modeller için ideal kılar ancak kararlı bir internet bağlantısına dayanır.
• Uç Dağıtımı: Model, akıllı telefon, drone veya fabrika kamerası gibi verinin üretildiği cihazda yerel olarak çalışır. edge computing olarak bilinen bu yaklaşım, veriler cihazdan ayrılmadığı için gecikmeyi en aza indirir ve veri gizliliğini artırır. TensorRT gibi araçlar, modelleri bu ortamlar için optimize etmek amacıyla sıklıkla kullanılır.

Link to this sectionModelleri Üretime Hazırlama#

Before a model can be deployed, it typically undergoes optimization to ensure it runs efficiently on the target hardware. This process involves model export, where the training format (like PyTorch) is converted into a deployment-friendly format such as ONNX (Open Neural Network Exchange) or OpenVINO.

quantization gibi optimizasyon teknikleri, doğruluktan önemli ölçüde ödün vermeden modelin boyutunu ve bellek ayak izini azaltır. Geliştiriciler, farklı bilgi işlem ortamlarında tutarlılık sağlamak için genellikle modeli gerekli tüm yazılım bağımlılıklarıyla birlikte paketleyen Docker gibi containerization araçlarını kullanırlar.

Below is an example of how to export a YOLO26 model to the ONNX format, a common step in preparing for deployment:

from ultralytics import YOLO

# Load the YOLO26 nano model
model = YOLO("yolo26n.pt")

# Export the model to ONNX format for broad compatibility
# This creates a file suitable for various inference engines
path = model.export(format="onnx")

print(f"Model successfully exported to: {path}")

Link to this sectionGerçek Dünya Uygulamaları#

Model dağıtımı, çeşitli endüstrilerde yaygın olarak kullanılan computer vision sistemlerine güç sağlar.

• Üretimde Kalite Kontrol: smart manufacturing alanında, dağıtılan modeller konveyör bantlarını gerçek zamanlı olarak izler. NVIDIA Jetson cihazları için optimize edilmiş bir modeli çalıştıran kamera sistemi, ürünlerdeki kusurları anında tespit edebilir ve hatalı ürünleri ayıklaması için bir robot kolunu tetikleyebilir. Bu, yalnızca edge AI dağıtımının sağlayabileceği ultra düşük gecikme süresi gerektirir.
• Perakende Analitiği: Mağazalar, yaya trafiğini ve müşteri davranışlarını analiz etmek için dağıtılan modelleri kullanır. Perakendeciler, object tracking modellerini güvenlik kamerası beslemelerine entegre ederek popüler koridorların ısı haritalarını oluşturabilirler. Bu içgörüler, mağaza düzenlerini optimize etmeye ve birden fazla lokasyondan veri toplamak için genellikle bulut tabanlı dağıtımdan yararlanan inventory management süreçlerini iyileştirmeye yardımcı olur.

Link to this sectionDağıtım vs. Çıkarım vs. Eğitim#

Model Dağıtımı terimini makine öğrenimi yaşam döngüsündeki ilgili terimlerden ayırmak önemlidir:

• Model Eğitimi, algoritmanın bir veri kümesinden kalıpları öğrendiği eğitim aşamasıdır.
• Model Dağıtımı, eğitilmiş modelin bir üretim altyapısına (sunucular, uygulamalar veya cihazlar) kurulduğu entegrasyon aşamasıdır.
• Çıkarım (Inference), operasyonel aşamadır; yani dağıtılan modelin bir tahmin üretmek için canlı verileri işlemesi eylemidir. Örneğin, inference engine dağıtılan model tarafından tanımlanan hesaplamaları yürütür.

Link to this sectionİzleme ve Bakım#

Deployment is not the end of the road. Once live, models require continuous model monitoring to detect issues like data drift, where the real-world data starts to diverge from the training data. Tools like Prometheus or Grafana are often integrated to track performance metrics, ensuring the system remains reliable over time. When performance drops, the model may need to be retrained and redeployed, completing the cycle of MLOps.