Model Serving

Model sunumu, eğitilmiş bir makine öğrenimi modelini barındırma ve işlevselliğini bir ağ arayüzü aracılığıyla yazılım uygulamalarına kullanılabilir hale getirme sürecidir. Diskte kaydedilmiş statik bir model dosyası ile gerçek dünya verilerini işleyen canlı bir sistem arasında köprü görevi görür. Bir model machine learning (ML) eğitim aşamasını tamamladıktan sonra; görsel, metin veya tablo verileri gibi girdileri alabileceği ve tahminler döndürebileceği bir prodüksiyon ortamına entegre edilmelidir. Bu durum tipik olarak, modelin bir Application Programming Interface (API) içine sarılmasıyla sağlanır; böylece web sunucuları, mobil uygulamalar veya IoT cihazlarıyla iletişim kurabilmesi mümkün olur.

Yapay Zekada Model Serving'in Rolü#

Model sunumunun birincil amacı, predictive modeling yeteneklerini etkili bir şekilde operasyonel hale getirmektir. Eğitim doğruluğa ve kayıp minimizasyonuna odaklanırken, sunum; latency (bir tahminin ne kadar hızlı döndürüldüğü) ve throughput (saniyede kaç isteğin işlenebileceği) gibi performans metriklerine odaklanır. Sağlam bir sunum altyapısı, computer vision (CV) sistemlerinin yoğun yükler altında güvenilir kalmasını sağlar. Bu süreç genellikle, farklı bilişim ortamlarında tutarlı davranış sağlamak için modeli bağımlılıklarıyla birlikte paketleyen Docker gibi araçlar kullanan containerization teknolojilerini içerir.

Gerçek Dünya Uygulamaları#

Model serving, veriye dayalı anlık karar vermeyi mümkün kılarak çeşitli endüstrilerdeki yaygın yapay zeka özelliklerine güç sağlar.

• Akıllı Üretim: Endüstriyel ortamlarda, AI in manufacturing sistemleri montaj hatlarını incelemek için sunulan modelleri kullanır. Bileşenlerin yüksek çözünürlüklü görüntüleri yerel bir sunucuya gönderilir; burada bir YOLO26 modeli çizik veya hizalama bozukluğu gibi kusurları tespit ederek hatalı ürünlerin kaldırılması için anında uyarılar tetikler.
• Perakende Otomasyonu: Perakendeciler müşteri deneyimlerini geliştirmek için AI in retail kullanır. object detection modelleri tarafından desteklenen kameralar, bir ödeme bölgesindeki ürünleri tanımlayarak manuel barkod taramasına gerek kalmadan toplam maliyeti otomatik olarak hesaplar.

Pratik Uygulama#

Bir modeli etkili bir şekilde sunmak için, farklı eğitim çerçeveleri ile sunum motorları arasında birlikte çalışabilirliği destekleyen ONNX gibi standartlaştırılmış bir biçime export models yapmak genellikle faydalıdır. Aşağıdaki örnek, bir modelin nasıl yükleneceğini ve Python kullanarak bir sunum uç noktasının içinde yer alacak mantığı simüle ederek çıkarımın nasıl çalıştırılacağını göstermektedir.

from ultralytics import YOLO

# Load the YOLO26 model (this typically happens once when the server starts)
model = YOLO("yolo26n.pt")

# Simulate an incoming API request with an image source URL
image_source = "https://ultralytics.com/images/bus.jpg"

# Run inference to generate predictions for the user
results = model.predict(source=image_source)

# Process results (e.g., simulating a JSON response to a client)
print(f"Detected {len(results[0].boxes)} objects in the image.")

Doğru Stratejiyi Seçmek#

Sunum stratejisi seçimi büyük ölçüde belirli kullanım senaryosuna bağlıdır. Çevrimiçi Sunum (Online Serving), kullanıcı odaklı web uygulamaları için hayati önem taşıyan REST veya gRPC gibi protokoller aracılığıyla anında yanıtlar sağlar. Buna karşılık Toplu Sunum (Batch Serving), gece raporu oluşturma gibi görevler için uygun olan, büyük hacimli verileri çevrimdışı olarak işler. Gizlilik veya internet bağımlılığı olmadan düşük gecikme süresi gerektiren uygulamalar için Edge AI, kısıtlı donanımda performansı en üst düzeye çıkarmak üzere TensorRT gibi optimize edilmiş biçimleri kullanarak sunum sürecini doğrudan cihaza taşır. Birçok kuruluş, bu modellerin bulut API'leri ve uç cihazlar dahil olmak üzere çeşitli uç noktalara dağıtımını basitleştirmek için Ultralytics Platform kullanır.

İlgili Terimlerden Farkı#

Birbiriyle yakından ilişkili olsalar da, "Model Serving", Model Deployment ve Inference'dan farklıdır.

• Model Dağıtımı (Model Deployment): Bu, bir modelin bir prodüksiyon ortamına bırakılmasının daha geniş yaşam döngüsü aşamasını ifade eder. Sunum, dağıtılan modeli yürütmek için kullanılan özel mekanizma veya yazılımdır (örn. NVIDIA Triton Inference Server veya TorchServe).
• Çıkarım (Inference): Bu, bir girdiden bir tahmin hesaplamanın matematiksel eylemidir. Model sunumu, son kullanıcılar için inference işleminin güvenilir bir şekilde gerçekleşmesini sağlayan altyapıyı (ağ oluşturma, scalability ve güvenlik) sağlar.
• Mikro hizmetler (Microservices): Sunum genellikle modelin, uygulamanın diğer bölümlerinin sorgulayabileceği bağımsız bir hizmet olarak çalıştığı bir microservices seti olarak mimarilendirilir ve genellikle JSON gibi hafif biçimlerde veri alışverişi yapar.