Continuous Batching

Sürekli gruplama, donanım kullanımını ve verimi en üst düzeye çıkarmak için makine öğrenmesinde (ML) kullanılan gelişmiş bir zamanlama ve çıkarım optimizasyon tekniğidir. Geleneksel statik gruplamada bir çıkarım motoru, istekleri eşzamanlı olarak işlemeden önce belirli sayıda isteğin birikmesini bekler. Sistem kaynakları serbest bırakmadan önce gruptaki en uzun süren isteğin tamamlanmasını beklemek zorunda olduğundan bu durum genellikle verimsizliklere yol açar. Uçuş hâlinde gruplama veya yineleme düzeyinde gruplama olarak da bilinen sürekli gruplama, etkin bir istek tamamlanır tamamlanmaz yeni istekleri hesaplama grubuna ekleyerek bu sorunu çözer; böylece GPU'larda boşta geçen süreyi önemli ölçüde azaltır ve genel verimliliği artırır.

İlgili Kavramları Ayırt Etme#

Model dağıtımı sırasında verilerin nasıl işlendiğini daha iyi anlamak için sürekli gruplamayı sözlükteki diğer ilişkili terimlerden ayırmak faydalıdır:

• Toplu İş Boyutu: Eğitim veya çıkarım sırasında eş zamanlı olarak işlenen sabit örnek sayısını ifade eder. Geleneksel toplu işleme iş akışları sabit boyutlara dayanırken sürekli toplu işleme, gelen trafiğe göre etkin toplu iş boyutunun dinamik olarak değişmesine olanak tanır.
• Gerçek Zamanlı Çıkarım: Bu kavram, anında tahminler için çıkarım gecikmesini en aza indirmeye ve tekil girdileri geldikleri anda işlemeye odaklanır. Sürekli toplu işleme, hızlı istekleri yavaş olanları beklemeye zorlamadan yüksek verimi koruyarak yüksek verimli statik toplu işleme ile düşük gecikmeli gerçek zamanlı çıkarım arasındaki boşluğu kapatır.

Gerçek Dünya Uygulamaları#

Sürekli toplu işleme, öngörülemeyen ve yüksek hacimli istekleri işleyen üretim sistemleri için kritik öneme sahiptir. İşte iki somut kullanım örneği:

1. Yüksek Verimli Metin Üretimi: Büyük Dil Modelleri (LLMs) sunulurken farklı kullanıcılar için yanıt oluşturma süresi, çıktının uzunluğuna göre değişir. Ray Serve üzerinde çalışan vLLM gibi sürekli gruplamadan yararlanan çerçeveler, yeni oluşturulan belirteçleri sürekli akış hâlinde iletebilir ve tamamlanan konuşmaları yeni istemlerle hemen değiştirebilir. İlk olarak yineleme düzeyinde zamanlama araştırmalarıyla popülerleşen bu yöntem, metin üretim verimini büyük ölçüde artırır.

2. Eşzamansız Video Analizi: Şehirdeki trafik kameraları ağı boyunca araçları izleme gibi video anlama görevlerinde kareler farklı aralıklarla gelir. Sürekli toplu işleme, kaynaklar serbest kalır kalmaz nesne izleme modellerinin gelen video karelerini dinamik olarak işlemesine olanak tanır ve akıllı şehir panoları için donanım hızlandırma işlem hatlarını optimize eder.

Görü Görevlerinde Sürekli İşleme#

Yüksek trafikli model dağıtım uygulamalarını yönetirken çıkarımları akış hâlinde yinelemeli olarak yürütmek, belleğin engellenmek yerine aşamalı biçimde boşaltılmasını sağlayarak dinamik toplu işlemenin faydalarını taklit edebilir. Aşağıdaki Python örneği, sürekli bir görüntü akışını verimli biçimde işlemek için model tahmin API'si ile üreteç kalıbının nasıl kullanılacağını gösterir.

from ultralytics import YOLO

# Load the latest Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Using stream=True acts as a generator, iteratively processing inputs
# to keep memory usage low and throughput high
results = model.predict(source=["img1.jpg", "img2.jpg", "img3.jpg"], stream=True)

# Process each result as soon as it completes
for result in results:
    print(f"Detected {len(result.boxes)} objects in this frame.")

Sistem düzeyinde kaynak zamanlamasını yönetmek, ham hız ile operasyonel maliyet arasında denge kurmayı gerektirir. Büyük ölçekli bilgisayarlı görü (CV) ve dil modellerini dağıtan ekipler, bu dinamik toplu işlemleri yönetmek için giderek daha fazla gelişmiş sunum çerçevelerinden yararlanıyor. Altyapılarını kolaylaştırmak isteyen kurumsal ekipler için Ultralytics Platform, modelleri yüksek düzeyde optimize edilmiş üretim ortamlarında eğitmek, izlemek ve dışa aktarmak üzere güçlü araçlar sunar.