Model Serving

Model sunumu, eğitilmiş bir makine öğrenimi modelini barındırma ve işlevlerini bir ağ arayüzü üzerinden yazılım uygulamalarının kullanımına sunma sürecidir. Diskte kayıtlı statik bir model dosyası ile gerçek dünya verilerini işleyen canlı bir sistem arasında köprü görevi görür. Bir model makine öğrenimi (ML) eğitim aşamasını tamamladıktan sonra görüntüler, metin veya tablo verileri gibi girdileri alıp tahminler döndürebileceği bir üretim ortamına entegre edilmelidir. Bu genellikle modelin bir Uygulama Programlama Arayüzü (API) içine sarılmasıyla gerçekleştirilir; böylece model web sunucuları, mobil uygulamalar veya IoT cihazlarıyla iletişim kurabilir.

Yapay Zekâda Model Sunumunun Rolü#

Model sunumunun temel amacı, [tahmine dayalı modelleme](https://ultralytics-translation-0.invalid özelliklerini etkili bir şekilde operasyonel hâle getirmektir. Eğitim doğruluğa ve kaybın en aza indirilmesine odaklanırken sunum, gecikme (bir tahminin ne kadar hızlı döndürüldüğü) ve iş hacmi (saniyede kaç isteğin işlenebildiği) gibi performans ölçütlerine odaklanır. Sağlam sunum altyapısı, bilgisayarlı görü (CV) sistemlerinin yoğun yükler altında güvenilir kalmasını sağlar. Bu süreç genellikle modelin farklı bilgi işlem ortamlarında tutarlı davranmasını sağlamak üzere bağımlılıklarıyla birlikte paketlenmesini sağlayan Docker gibi araçlarla konteynerleştirme teknolojilerinin kullanılmasını içerir.

Gerçek Dünya Uygulamaları#

Model sunumu, veriler temelinde anında karar almayı mümkün kılarak çeşitli sektörlerde yaygın olarak kullanılan yapay zekâ özelliklerine güç verir.

• Akıllı Üretim: Endüstriyel ortamlarda üretimde yapay zekâ sistemleri, montaj hatlarını denetlemek için sunulan modelleri kullanır. Bileşenlerin yüksek çözünürlüklü görüntüleri yerel bir sunucuya gönderilir; burada bir YOLO26 modeli çizik veya hizalama hatası gibi kusurları tespit ederek hatalı ürünlerin ayrılması için anında uyarılar başlatır.
• Perakende Otomasyonu: Perakendeciler, müşteri deneyimlerini geliştirmek için perakendede yapay zekâ kullanır. Nesne tespiti modelleri tarafından sunulan görüntüler, ödeme alanındaki ürünleri belirler ve manuel barkod taramasına gerek kalmadan toplam maliyeti otomatik olarak hesaplar.

Pratik Uygulama#

Bir modeli etkili şekilde sunmak için modelleri, farklı eğitim çerçeveleri ve sunum motorları arasında birlikte çalışabilirliği destekleyen ONNX gibi standartlaştırılmış bir biçime dışa aktarmak çoğu zaman yararlıdır. Aşağıdaki örnek, Python kullanarak bir modelin nasıl yükleneceğini ve sunum uç noktası içinde bulunacak mantığı simüle ederek çıkarımın nasıl çalıştırılacağını gösterir.

from ultralytics import YOLO

# Load the YOLO26 model (this typically happens once when the server starts)
model = YOLO("yolo26n.pt")

# Simulate an incoming API request with an image source URL
image_source = "https://ultralytics.com/images/bus.jpg"

# Run inference to generate predictions for the user
results = model.predict(source=image_source)

# Process results (e.g., simulating a JSON response to a client)
print(f"Detected {len(results[0].boxes)} objects in the image.")

Doğru Stratejiyi Seçme#

Sunum stratejisi seçimi büyük ölçüde özel kullanım senaryosuna bağlıdır. Çevrim içi Sunum, kullanıcıya yönelik web uygulamaları için gerekli olan REST veya gRPC gibi protokoller aracılığıyla anında yanıtlar sağlar. Buna karşılık Toplu Sunum, büyük miktarlardaki verileri çevrim dışı işler ve gece raporu oluşturma gibi görevler için uygundur. Gizlilik veya internet bağlantısına ihtiyaç duymadan düşük gecikme gerektiren uygulamalarda Uç Yapay Zekâ, sunum sürecini doğrudan cihaza taşır ve kısıtlı donanımlarda performansı en üst düzeye çıkarmak için TensorRT gibi optimize edilmiş biçimlerden yararlanır. Birçok kuruluş, bu modellerin bulut API'leri ve uç cihazlar dâhil olmak üzere çeşitli uç noktalara dağıtımını kolaylaştırmak için Ultralytics Platform kullanır.

İlişkili Terimlerden Ayrımı#

Yakından ilişkili olsalar da "Model Sunumu", Model Dağıtımı ve Çıkarım kavramlarından farklıdır.

• Model Dağıtımı: Bu ifade, bir modelin üretim ortamına sunulmasının daha geniş yaşam döngüsü aşamasını belirtir. Sunum ise dağıtılan modeli çalıştırmak için kullanılan belirli mekanizma veya yazılımdır (örneğin NVIDIA Triton Inference Server veya TorchServe).
• Çıkarım: Bu, bir girdiden tahmin hesaplamaya yönelik matematiksel işlemdir. Model sunumu, son kullanıcılar için çıkarımın güvenilir şekilde gerçekleşmesini sağlayan altyapıyı (ağ iletişimi, ölçeklenebilirlik ve güvenlik) sunar.
• Mikro hizmetler: Sunum çoğunlukla bir dizi mikro hizmet olarak tasarlanır; bu yapıda model, bir uygulamanın diğer bölümlerinin sorgulayabildiği bağımsız bir hizmet olarak çalışır ve genellikle JSON gibi hafif biçimlerde veri alışverişi yapar.