Sürekli Toplu İşleme

Sürekli toplama, donanım kullanımını ve verimi en üst düzeye çıkarmak için makine öğreniminde (ML) kullanılan gelişmiş bir zamanlama ve çıkarım optimizasyon tekniğidir. Geleneksel statik toplama yönteminde, çıkarım motoru önceden belirlenmiş sayıda isteğin birikmesini bekler ve ardından bunları aynı anda işler. Bu durum, sistemin kaynakları serbest bırakmak için toplamadaki en uzun süren isteğin bitmesini beklemesi gerektiğinden genellikle verimsizliğe yol açar. Dinamik veya yineleme düzeyinde toplama olarak da bilinen sürekli toplama, aktif bir istek tamamlanır tamamlanmaz yeni istekleri hesaplama toplama işlemine ekleyerek bu sorunu çözer, böylece GPU'larda bekleme süresini önemli ölçüde azaltır ve genel verimliliği artırır. .

İlgili Kavramları Ayırt Etme

Model dağıtımı sırasında verilerin nasıl işlendiğini daha iyi anlamak için, sürekli toplama işlemini sözlükteki diğer ilgili terimlerden ayırmak yararlıdır:

• Toplu İşlem Boyutu: Bu, eğitim veya çıkarım sırasında aynı anda işlenen sabit sayıda örneği ifade eder. Geleneksel toplu işleme iş akışları statik boyutlara dayanırken, sürekli toplu işleme, gelen trafiğe göre etkili toplu iş boyutunun dinamik olarak dalgalanmasına izin verir .
• Gerçek Zamanlı Çıkarım: Bu kavram, anlık tahminler için çıkarım gecikmesini en aza indirmeye, tekli girdileri geldikçe işlemeye odaklanır. Sürekli toplama, yüksek verimli statik toplama ile düşük gecikmeli gerçek zamanlı çıkarım arasındaki boşluğu, hızlı isteklerin daha yavaş olanları beklemesine gerek kalmadan yüksek verimi koruyarak doldurur .

Gerçek Dünya Uygulamaları

Sürekli gruplama, yüksek hacimli öngörülemeyen talepleri işleyen üretim sistemleri için çok önemlidir. İşte uygulamasının iki somut örneği:

1. Yüksek Verimli Metin Üretimi: Büyük Dil Modellerini (LLM) kullanırken, farklı kullanıcılar için yanıtlar oluşturmak, çıktı uzunluğuna bağlı olarak değişen süreler alır. Ray Serve'deki vLLMgibi sürekli toplu işlemeyi kullanan çerçeveler, yeni oluşturulan belirteçleri sürekli olarak akışa alabilir ve bitmiş konuşmaları yeni istemlerle hemen değiştirebilir. Bu yöntem, başlangıçta yineleme düzeyinde zamanlama üzerine yapılan araştırmalarla popüler hale gelmiştir ve metin oluşturma verimini önemli ölçüde artırır.
2. Asenkron Video Analizi: Bir şehrin trafik kamera ağında araçları takip etmek gibi video anlama görevlerinde, kareler farklı aralıklarla gelir. Sürekli toplama, nesne takip modellerinin gelen video karelerini milisaniye kaynakları serbest kaldığında dinamik olarak işlemesine olanak tanır ve akıllı şehir panoları için donanım hızlandırma boru hatlarını optimize eder.

Görme Görevlerinde Sürekli İşleme

Yüksek trafikli model dağıtım uygulamalarını yönetirken, akış çıkarımlarını yinelemeli olarak simüle etmek, belleğin engellenmek yerine aşamalı olarak boşaltılmasını sağlayarak dinamik toplu işleme avantajlarını simüle edebilir. Aşağıdaki Python , sürekli bir görüntü akışını verimli bir şekilde işlemek için model tahmin API'si ile jeneratör desenini nasıl kullanacağınızı gösterir .

from ultralytics import YOLO

# Load the latest Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Using stream=True acts as a generator, iteratively processing inputs
# to keep memory usage low and throughput high
results = model.predict(source=["img1.jpg", "img2.jpg", "img3.jpg"], stream=True)

# Process each result as soon as it completes
for result in results:
    print(f"Detected {len(result.boxes)} objects in this frame.")

Sistem düzeyinde kaynak planlamasını yönetmek, ham hız ile işletme maliyeti arasında bir denge gerektirir. Büyük ölçekli bilgisayar görme (CV) ve dil modelleri uygulayan ekipler, bu dinamik grupları yönetmek için giderek daha fazla gelişmiş hizmet çerçevelerine güvenmektedir. Altyapılarını kolaylaştırmak isteyen kurumsal ekipler için Ultralytics , modelleri son derece optimize edilmiş üretim ortamlarına eğitmek, izlemek ve aktarmak için sağlam araçlar sunar.