Model Dağıtımı

Model dağıtımı, eğitilmiş bir makine öğrenimi (ML) modelini, girdi alabileceği ve tahminler sağlayabileceği canlı bir üretim ortamına entegre etme sürecidir. Makine öğrenimi yaşam döngüsünün son aşamasıdır ve statik bir model dosyasını işlevsel, değer üreten bir uygulamaya dönüştürür. Etkili dağıtım olmadan, en doğru model bile sadece akademik bir egzersizdir. Amaç, modelin tahmin gücünü son kullanıcılara, yazılım uygulamalarına veya diğer otomatik sistemlere güvenilir ve ölçeklenebilir bir şekilde erişilebilir kılmaktır.

Dağıtım Süreci Nedir?

Bir modeli dağıtmak, eğitilmiş model ağırlıklarını kaydetmekten daha fazlasını içerir. Modelin hedef ortamında verimli ve güvenilir bir şekilde performans göstermesini sağlayan çok adımlı bir süreçtir.

1. Model Optimizasyonu (Model Optimization): Dağıtımdan önce, modeller genellikle hız ve boyut için optimize edilir. Model nicemlemesi (model quantization) ve model budaması (model pruning) gibi teknikler, doğrulukta (accuracy) önemli bir düşüş olmadan gerçek zamanlı çıkarım (real-time inference) için gereken hesaplama kaynaklarını azaltır.
2. Model Dışa Aktarma (Model Export): Optimize edilmiş model daha sonra hedef platform için uygun bir formata dönüştürülür. Örneğin, Ultralytics modelleri çeşitli formatlara aktarılabilir, örneğin ONNX, TensorRT ve CoreML, bu da onları oldukça çok yönlü hale getirir.
3. Paketleme: Model ve tüm bağımlılıkları (belirli kütüphaneler ve çerçeveler gibi) bir araya getirilir. Docker gibi araçlar kullanılarak Konteynerleştirme, modelin her yerde tutarlı bir şekilde çalışmasını sağlayan bağımsız, taşınabilir bir ortam oluşturduğu için yaygın bir uygulamadır.
4. Sunma: Paketlenmiş model, bir API aracılığıyla istekleri kabul edebileceği bir sunucuya veya cihaza dağıtılır. Model sunma olarak bilinen bu bileşen, gelen verileri işlemden geçirmek ve tahminler döndürmekten sorumludur.
5. İzleme: Dağıtımdan sonra, sürekli model izleme esastır. Bu, modelin beklendiği gibi çalıştığından emin olmak ve veri kayması gibi sorunları tespit etmek için performans metriklerini, gecikmeyi ve kaynak kullanımını izlemeyi içerir.

Dağıtım Ortamları

Modeller, her birinin kendine özgü avantajları ve zorlukları olan çeşitli ortamlarda dağıtılabilir.

• Bulut Platformları: Amazon Web Services (AWS), Google Cloud Platform (GCP) ve Microsoft Azure gibi hizmetler, karmaşık modelleri barındırmak için güçlü, ölçeklenebilir altyapı sunar.
• Şirket İçi Sunucular: Katı veri gizliliği gereksinimleri olan veya altyapıları üzerinde tam kontrol sahibi olmak isteyen kuruluşlar, modelleri kendi sunucularında dağıtabilir.
• Uç Yapay Zeka Cihazları: Uç Yapay Zeka, modellerin doğrudan akıllı telefonlar, dronlar, endüstriyel sensörler veya NVIDIA Jetson gibi özel cihazlar gibi yerel donanımlara dağıtılmasını içerir. Bu yaklaşım, düşük çıkarım gecikmesi ve çevrimdışı yetenekler gerektiren uygulamalar için idealdir.
• Web Tarayıcıları: Modeller, sunucu tarafı işlemeye gerek kalmadan etkileşimli AI deneyimleri sağlayarak TensorFlow.js gibi çerçeveler kullanılarak doğrudan bir web tarayıcısında çalıştırılabilir.

Gerçek Dünya Uygulamaları

• Üretim Kalite Kontrolü: Kusur tespiti için eğitilmiş bir Ultralytics YOLO modeli, bir fabrika zeminindeki bir uç cihazda konuşlandırılabilir. Yüksek verim için TensorRT ile optimize edilmiş model, bir taşıma bandını gören bir kamerayla entegre edilmiştir. Hatalı ürünleri belirlemek için gerçek zamanlı nesne tespiti gerçekleştirir ve bunları kaldırmak için anında bir robot koluna sinyal gönderir. Tüm bu süreç yerel olarak gerçekleşir, ağ gecikmesini en aza indirir ve anında eylem sağlar. Daha fazla bilgi için YZ'nin üretimde nasıl uygulandığına bakın.
• Akıllı Perakende Analitiği: İnsan sayımı ve takibi için bir bilgisayarlı görü modeli bulut sunucularına dağıtılır. Bir perakende mağazasındaki kameralar, müşteri akışı ısı haritaları oluşturmak ve alışveriş düzenlerini analiz etmek için modelin akışları işlediği buluta video aktarır. Uygulama, Kubernetes ile yönetilerek birden fazla mağazadan gelen değişen yükleri kaldırır ve envanter yönetimi ve mağaza düzeni optimizasyonu için değerli bilgiler sağlar.

Model Dağıtımı, Model Sunumu ve MLOps

Yakından ilişkili olsalar da, bu terimler birbirinden farklıdır.

• Model Dağıtımı - Model Sunumu Karşılaştırması: Dağıtım, eğitilmiş bir modeli alıp operasyonel hale getirme sürecinin tamamıdır. Model Sunumu, genellikle bir API aracılığıyla modeli çalıştırmak ve tahmin isteklerine yanıt vermekle sorumlu altyapıya atıfta bulunan dağıtımın belirli bir bileşenidir .
• Model Dağıtımı - MLOps Karşılaştırması: Makine Öğrenimi Operasyonları (MLOps), tüm yapay zeka yaşam döngüsünü kapsayan geniş bir uygulama kümesidir. Dağıtım, veri yönetimi, model eğitimi, sürümleme ve sürekli izleme ve yeniden eğitimi de içeren MLOps framework'ü içindeki kritik bir aşamadır. Ultralytics HUB gibi platformlar, özel modelleri eğitmekten sorunsuz dağıtım ve izlemeye kadar bu tüm iş akışını yönetmek için entegre bir ortam sağlar.