Model Dağıtımı

Model dağıtımı, eğitimli bir makine öğrenimi (ML) modelinin girdi alabileceği ve tahminler sağlayabileceği canlı bir üretim ortamına entegre edilmesine yönelik kritik bir süreçtir. Makine öğrenimi yaşam döngüsünün son aşamasıdır ve statik bir model dosyasını işlevsel, değer üreten bir uygulamaya dönüştürür. Etkili bir dağıtım olmadan, en doğru model bile sadece akademik bir egzersizdir. Amaç, modelin tahmin gücünü son kullanıcılar, yazılım uygulamaları veya diğer otomatik sistemler için güvenilir ve ölçeklenebilir bir şekilde erişilebilir kılmaktır.

Dağıtım Süreci Nedir?

Bir modeli dağıtmak, eğitilmiş model ağırlıklarını kaydetmekten daha fazlasını içerir. Bu, modelin hedef ortamında verimli ve güvenilir bir şekilde çalışmasını sağlayan çok adımlı bir süreçtir.

1. Model Optimizasyonu: Dağıtımdan önce, modeller genellikle hız ve boyut için optimize edilir. Model niceleme ve model budama gibi teknikler, doğrulukta önemli bir düşüş olmadan gerçek zamanlı çıkarım için gereken hesaplama kaynaklarını azaltır.
2. Model Dışa Aktarımı: Optimize edilmiş model daha sonra hedef platform için uygun bir formata dönüştürülür. Örneğin Ultralytics modelleri ONNX, TensorRT ve CoreML gibi çeşitli formatlara aktarılabilir, bu da onları çok yönlü hale getirir.
3. Paketleme: Model ve tüm bağımlılıkları (belirli kütüphaneler ve çerçeveler gibi) bir araya getirilir. Docker gibi araçlar kullanarak konteynerleştirme yaygın bir uygulamadır, çünkü modelin her yerde tutarlı bir şekilde çalışmasını sağlayan bağımsız, taşınabilir bir ortam oluşturur.
4. Sunum: Paketlenmiş model, bir API aracılığıyla istekleri kabul edebileceği bir sunucuya veya cihaza dağıtılır. Model sunumu olarak bilinen bu bileşen, gelen verilerin işlenmesinden ve tahminlerin döndürülmesinden sorumludur.
5. İzleme: Dağıtımdan sonra, sürekli model izleme esastır. Bu, modelin beklendiği gibi çalışmasını sağlamak ve veri kayması gibi sorunları tespit etmek için performans metriklerini, gecikmeyi ve kaynak kullanımını izlemeyi içerir.

Dağıtım Ortamları

Modeller, her birinin kendine özgü avantajları ve zorlukları olan çeşitli ortamlarda kullanılabilir.

• Bulut Platformları: Amazon Web Services (AWS), Google Cloud Platform (GCP) ve Microsoft Azure gibi hizmetler karmaşık modelleri barındırmak için güçlü, ölçeklenebilir bir altyapı sunar.
• Şirket İçi Sunucular: Katı veri gizliliği gereksinimleri olan veya altyapıları üzerinde tam kontrole ihtiyaç duyan kuruluşlar, modelleri kendi sunucularına dağıtabilir.
• Uç Yapay Zeka Cihazları: Edge AI, modellerin doğrudan akıllı telefonlar, dronlar, endüstriyel sensörler veya NVIDIA Jetson gibi özel cihazlar gibi yerel donanımlara dağıtılmasını içerir. Bu yaklaşım, düşük çıkarım gecikmesi ve çevrimdışı yetenekler gerektiren uygulamalar için idealdir.
• Web Tarayıcıları: Modeller, TensorFlow.js gibi çerçeveler kullanılarak doğrudan bir web tarayıcısında çalıştırılabilir ve sunucu tarafı işleme olmadan etkileşimli yapay zeka deneyimlerine olanak tanır.

Gerçek Dünya Uygulamaları

• Üretim Kalite Kontrolü: Kusur tespiti için eğitilmiş bir Ultralytics YOLO modeli, fabrika zeminindeki bir uç cihaza yerleştirilebilir. Yüksek verim için TensorRT ile optimize edilen model, bir konveyör bandına bakan bir kamera ile entegre edilmiştir. Hatalı ürünleri tanımlamak için gerçek zamanlı nesne algılama gerçekleştirir ve bunları kaldırmak için anında bir robotik kola sinyal gönderir. Tüm bu süreç yerel olarak gerçekleşerek ağ gecikmesini en aza indiriyor ve anında harekete geçilmesini sağlıyor. Daha fazla bilgi için yapay zekanın üretimde nasıl uygulandığına bakın.
• Akıllı Perakende Analitiği: İnsan sayımı ve takibi için bir bilgisayarla görme modeli bulut sunuculara yerleştirilmiştir. Bir perakende mağazasındaki kameralar buluta video akışı sağlar ve model, müşteri akışı ısı haritaları oluşturmak ve alışveriş modellerini analiz etmek için akışları işler. Uygulama, birden fazla mağazadan gelen farklı yükleri idare etmek için Kubernetes ile yönetilir ve envanter yönetimi ve mağaza düzeni optimizasyonu için değerli içgörüler sağlar.

Model Dağıtımı, Model Sunumu ve MLOps

Birbirleriyle yakından ilişkili olsalar da bu terimler birbirinden farklıdır.

• Model Dağıtımı ve Model Sunumu: Dağıtım, eğitilmiş bir modeli alıp çalışır hale getirmeye yönelik uçtan uca sürecin tamamıdır. Model Hizmeti, modelin çalıştırılmasından ve genellikle bir API aracılığıyla tahmin taleplerine yanıt verilmesinden sorumlu olan altyapıyı ifade eden dağıtımın belirli bir bileşenidir.
• Model Dağıtımı ve MLOps: Makine Öğrenimi Operasyonları (MLOps), tüm yapay zeka yaşam döngüsünü kapsayan geniş bir uygulama kümesidir. Dağıtım, MLOps çerçevesinde veri yönetimi, model eğitimi, sürüm oluşturma ve sürekli izleme ve yeniden eğitimi de içeren kritik bir aşamadır. Ultralytics HUB gibi platformlar, özel modellerin eğitiminden sorunsuz dağıtım ve izlemeye kadar tüm bu iş akışını yönetmek için entegre bir ortam sağlar.