Continuous Batching

Sürekli gruplama, donanım kullanımını ve iş hacmini en üst düzeye çıkarmak için makine öğrenimi (ML) süreçlerinde kullanılan gelişmiş bir zamanlama ve çıkarım optimizasyon tekniğidir. Geleneksel statik gruplamada, bir çıkarım motoru, istekleri aynı anda işlemeden önce önceden belirlenmiş bir sayının birikmesini bekler. Bu durum genellikle verimsizliklere yol açar, çünkü sistem kaynakları serbest bırakmadan önce gruptaki en uzun süren isteğin tamamlanmasını beklemek zorundadır. Dinamik veya yineleme seviyesinde gruplama olarak da bilinen sürekli gruplama, aktif bir istek tamamlanır tamamlanmaz işlem grubuna yeni istekler ekleyerek bunu çözer; böylece GPU'lardaki boşta kalma süresini önemli ölçüde azaltır ve genel verimliliği artırır.

Link to this sectionİlgili Kavramları Ayırt Etme#

Verilerin model dağıtımı sırasında nasıl işlendiğini daha iyi anlamak için, sürekli gruplamayı sözlükteki diğer ilgili terimlerden ayırmak faydalıdır:

• Grup Boyutu: Bu, eğitim veya çıkarım sırasında aynı anda işlenen sabit örnek sayısını ifade eder. Geleneksel grup işleme iş akışları statik boyutlara dayanırken, sürekli gruplama, etkili grup boyutunun gelen trafiğe bağlı olarak dinamik bir şekilde dalgalanmasına olanak tanır.
• Gerçek Zamanlı Çıkarım: Bu kavram, tekil girdiler geldikçe işlenerek anlık tahminler için çıkarım gecikmesini en aza indirmeye odaklanır. Sürekli gruplama, hızlı istekleri yavaş olanları beklemeye zorlamadan yüksek iş hacmini koruyarak, yüksek hacimli statik gruplama ile düşük gecikmeli gerçek zamanlı çıkarım arasındaki boşluğu doldurur.

Link to this sectionGerçek Dünya Uygulamaları#

Sürekli gruplama, tahmin edilemeyen yüksek hacimli istekleri yöneten üretim sistemleri için kritiktir. İşte uygulamasına dair iki somut örnek:

1. Yüksek Hacimli Metin Oluşturma: Büyük Dil Modellerine (LLM'ler) hizmet sunarken, farklı kullanıcılar için yanıt oluşturma süresi, çıktı uzunluğuna bağlı olarak değişir. Ray Serve üzerinde vLLM gibi sürekli gruplamadan yararlanan çerçeveler, yeni oluşturulan token'ları sürekli olarak yayınlayabilir ve tamamlanan görüşmeleri yeni istemlerle anında değiştirebilir. Yineleme seviyesinde zamanlama üzerine yapılan araştırmalarla popülerleşen bu yöntem, metin oluşturma iş hacmini önemli ölçüde artırır.

2. Eşzamansız Video Analitiği: Bir şehrin trafik kamerası ağındaki araçları izlemek gibi video anlama görevlerinde, kareler farklı aralıklarla gelir. Sürekli gruplama, nesne izleme modellerinin gelen video karelerini kaynaklar boşaldığı anda dinamik olarak işlemesine olanak tanır ve akıllı şehir panoları için donanım hızlandırma boru hatlarını optimize eder.

Link to this sectionGörüntü İşleme Görevlerinde Sürekli İşleme#

Yüksek trafikli model dağıtım uygulamalarını yönetirken, çıkarımları yinelemeli olarak yayınlamak, belleğin engellenmek yerine aşamalı olarak serbest bırakılmasını sağlayarak dinamik gruplamanın avantajlarını simüle edebilir. Aşağıdaki Python örneği, görüntülerin sürekli bir akışını verimli bir şekilde işlemek için model tahmin API'si ile üreteç (generator) kalıbının nasıl kullanılacağını gösterir.

from ultralytics import YOLO

# Load the latest Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Using stream=True acts as a generator, iteratively processing inputs
# to keep memory usage low and throughput high
results = model.predict(source=["img1.jpg", "img2.jpg", "img3.jpg"], stream=True)

# Process each result as soon as it completes
for result in results:
    print(f"Detected {len(result.boxes)} objects in this frame.")

Sistem düzeyinde kaynak zamanlamayı yönetmek, ham hız ile operasyonel maliyet arasında bir denge gerektirir. Devasa bilgisayarlı görü (CV) ve dil modelleri dağıtan ekipler, bu dinamik grupları yönetmek için giderek daha fazla gelişmiş sunum çerçevelerine güveniyor. Altyapılarını modernize etmek isteyen kurumsal ekipler için Ultralytics Platform, modelleri eğitmek, izlemek ve yüksek düzeyde optimize edilmiş üretim ortamlarına aktarmak için güçlü araçlar sunar.