Machine Learning Operations (MLOps)

Makine öğrenimi operasyonları (MLOps), makine öğrenimi (ML) modellerini üretimde güvenilir ve tekrarlanabilir biçimde oluşturmak, dağıtmak ve sürdürmek için kullanılan uygulamalar ve araçlar bütünüdür. Yazılımın nasıl test edilip yayımlandığını otomatikleştiren DevOps'u, davranışları kodun yanı sıra verilere de bağlı sistemlere genişletir: gözlemlediği dünya değiştiği için, tek bir satır değişmeden bile bir modelin performansı düşebilir. Böyle bir sistemde modelin kendisi küçük bir parçadır. Google'ın MLOps mimarisi kılavuzu, gerçek dünyadaki bir ML sisteminin yalnızca küçük bir bölümünün ML kodu olduğunu; geri kalanını veri toplama ve doğrulama, sunum altyapısı ve izlemenin oluşturduğunu belirtir. NeurIPS makalesi Makine Öğrenimi Sistemlerinde Gizli Teknik Borç ise çevresindeki sistemin zaman içinde biriktirdiği bakım maliyetlerini açıklamıştır.

Temel Uygulamalar#

MLOps, birkaç uygulamayla veri mühendisliğini, model geliştirmeyi ve operasyonları birbirine bağlar; her uygulama kodun yanı sıra eğitim verilerine de uygulanır:

• Veri sürümleme: Her veri kümesi anlık görüntüsüne değiştirilemez bir sürüm atanır; böylece her model, kendisini oluşturan tam veri kümesine kadar izlenebilir.
• Deney takibi: Her eğitim çalıştırması kod sürümünü, veri sürümünü, hiperparametreleri, metrikleri ve yapıtları kaydeder; böylece sonuçlar karşılaştırılabilir ve yeniden üretilebilir.
• Sürekli entegrasyon ve teslimat: Otomatik işlem hatları kodu test eder, gelen verileri doğrular, modelleri yeniden eğitir ve kalite eşiğini geçemeyen adayları engeller.
• Model kayıt defteri: Onaylanmış model sürümleri, hazırlık veya üretim gibi aşamalarının yanı sıra meta verileri ve soy bilgileriyle birlikte saklanır; böylece dağıtım ve geri alma işlemlerinde tam sürüm belirtilir.
• Model sunumu: Modeller, genellikle kapsayıcılarda paketlenir ve API'ler aracılığıyla kullanıma sunulur ya da uç cihazlara dağıtılır.
• Model izleme: Kayma olup olmadığını yakalamak ve ne zaman yeniden eğitim yapılacağına karar vermek için üretim girdileri, tahminler, gecikme ve doğruluk izlenir.

Google'ın kılavuzu olgunluğu üç düzeyde açıklar. 0. düzeyde veri bilimcileri modelleri elle eğitir ve teslim eder. 1. düzeyde eğitim hattının kendisi otomatikleştirilir; yeni veri geldiğinde veya veri kayması saptandığında modellerin otomatik yeniden eğitilip sunulmasını sağlayan sürekli eğitim (CT) eklenir. 2. düzeyde ayrıca CI/CD ile hat kodunun derlenmesi, test edilmesi ve dağıtılması otomatikleştirilir; böylece hattın yeni sürümleri, yeni modeller kadar güvenli biçimde üretime ulaşır. Bu uygulamalar birlikte bir döngü oluşturur:

Uygulamada MLOps#

• Üretim denetimi: Bir fabrika ürün hattı eklediğinde yeni kusur görüntüleri etiketlenip sürümlenir, bir işlem hattı algılama modelini yeniden eğitir ve onaylanan sürüm, kesinti olmadan her üretim hattındaki uç kameralara dağıtılır.
• Perakende rafı izleme: Ambalaj tasarımlarındaki değişiklikler ve mağaza aydınlatması kameraların gördüklerini değiştirir. İzleme, düşen güven puanlarını işaretler; güveni düşük görüntüler etiketlemeye gönderilir ve yeniden eğitilen model değerlendirmeyi geçince mağazalara dağıtılır.

Kalite eşiği, sürüm yükseltme kararını otomatikleştirir. Aşağıdaki betik bir nesne algılama modeli adayını eğitir, adayı ve mevcut üretim modelini aynı doğrulama verilerinde puanlar ve adayın mAP_50-95 değeri daha yüksekse adayı ONNX biçimine aktarır:

from ultralytics import YOLO

# Bir aday eğit; çalıştırma, ağırlıklarını, args.yaml dosyasını ve results.csv dosyasını project/name altına kaydeder
candidate = YOLO("yolo26n.pt")
candidate.train(data="coco8.yaml", epochs=10, project="mlops", name="candidate")

# Kalite eşiği: adayı ve üretim modelini aynı doğrulama verilerinde puanla
candidate_map = candidate.val(data="coco8.yaml").box.map
production_map = YOLO("yolo26n.pt").val(data="coco8.yaml").box.map

# Yalnızca daha iyi sonuç veren, sunum yığınının çalıştırabildiği bir biçime aktarılmış modeli kullanıma al
if candidate_map > production_map:
    candidate.export(format="onnx")

Üretim işlem hattında bir zamanlayıcı veya CI işi, yeni etiketlenmiş veriler geldiğinde buna benzer bir betik çalıştırır; dışa aktarılan model, veri sürümü ve metrikleriyle birlikte kaydedilir. Ultralytics Platform, değiştirilemez veri kümesi sürümleri, canlı metriklerle bulut eğitimi, TensorRT gibi biçimlere aktarım, özel çıkarım uç noktaları ve dağıtılmış modellerin izlenmesi ile görüntü modellerinin bu yaşam döngüsünü tek bir çalışma alanında yönetir.

MLOps ve İlişkili Terimler#

• DevOps: Kod değişikliğinin işlem hattını tetiklediği yazılım oluşturma, test etme ve yayımlama süreçlerini otomatikleştirir. MLOps, sürümlenmiş varlıklar olarak veri ve modelleri de ekler; böylece yeni veriler veya üretimdeki doğruluğun düşmesi de işlem hattını tetikleyebilir.
• LLMOps: İstemlere, bilgi getirmeye, üretilen metnin değerlendirilmesine ve token maliyetlerine odaklanan, büyük dil modeli uygulamalarına yönelik MLOps dalı.
• Otomatik makine öğrenimi (AutoML): Algoritma ve hiperparametre seçimi gibi model oluşturma süreçlerini otomatikleştirir. MLOps, veri sürümlemeden izlemeye kadar modelin çevresindeki yaşam döngüsünü yönetir ve çoğu zaman AutoML'i işlem hattının bir adımı olarak çağırır.
• MLflow ve Weights & Biases: İzleme ve model kayıt defterleri gibi yaşam döngüsünün bazı bölümlerini kapsayan araçlardır. MLOps, bu araçları işlem hatları, sunum ve izlemeyle birleştiren uygulamadır.