Continuous Batching

Continuous batching é uma técnica avançada de agendamento e otimização de inferência usada em machine learning (ML) para maximizar a utilização de hardware e o throughput. No batching estático tradicional, um inference engine aguarda que um número predeterminado de solicitações se acumule antes de processá-las simultaneamente. Isso frequentemente leva a ineficiências, pois o sistema precisa esperar que a solicitação de execução mais longa no lote seja concluída antes de liberar recursos. O continuous batching, também conhecido como batching dinâmico ou em nível de iteração, resolve isso inserindo novas solicitações no lote de computação assim que uma solicitação ativa é concluída, reduzindo significativamente o tempo ocioso em GPUs e melhorando a eficiência geral.

Link to this sectionDistinguindo Conceitos Relacionados#

Para entender melhor como os dados são processados durante a implantação de modelos, é útil diferenciar o continuous batching de outros termos relacionados no glossário:

• Batch Size: Refere-se ao número fixo de amostras processadas simultaneamente durante o treinamento ou inferência. Fluxos de trabalho de processamento em lote tradicionais dependem de tamanhos estáticos, enquanto o continuous batching permite que o tamanho efetivo do lote flutue dinamicamente com base no tráfego recebido.
• Real-Time Inference: Este conceito foca na minimização da inference latency para previsões imediatas, processando entradas únicas à medida que chegam. O continuous batching preenche a lacuna entre o batching estático de alto throughput e a inferência em tempo real de baixa latência, mantendo um alto throughput sem forçar solicitações rápidas a esperar por solicitações mais lentas.

Link to this sectionAplicações no Mundo Real#

O continuous batching é crítico para sistemas de produção que lidam com grandes volumes de solicitações imprevisíveis. Aqui estão dois exemplos concretos de sua aplicação:

1. Geração de Texto de Alto Throughput: Ao servir Large Language Models (LLMs), gerar respostas para diferentes usuários leva tempos variados dependendo do tamanho da saída. Frameworks que aproveitam o continuous batching — como o vLLM no Ray Serve — podem transmitir continuamente tokens recém-gerados e substituir imediatamente conversas finalizadas por novos prompts. Esse método, originalmente popularizado por pesquisas sobre agendamento em nível de iteração, melhora drasticamente o throughput de geração de texto.

2. Análise de Vídeo Assíncrona: Em tarefas de video understanding, como rastrear veículos em uma rede de câmeras de tráfego de uma cidade, os quadros chegam em intervalos diferentes. O continuous batching permite que modelos de object tracking processem dinamicamente os quadros de vídeo recebidos no milissegundo em que os recursos são liberados, otimizando pipelines de hardware acceleration para painéis de smart cities.

Link to this sectionProcessamento Contínuo em Tarefas de Visão#

Ao gerenciar práticas de implantação de modelos com alto tráfego, transmitir inferências iterativamente pode simular os benefícios do batching dinâmico, garantindo que a memória seja liberada progressivamente em vez de bloqueada. O exemplo em Python a seguir demonstra como usar o padrão de gerador com a model prediction API para lidar eficientemente com um fluxo contínuo de imagens.

from ultralytics import YOLO

# Load the latest Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Using stream=True acts as a generator, iteratively processing inputs
# to keep memory usage low and throughput high
results = model.predict(source=["img1.jpg", "img2.jpg", "img3.jpg"], stream=True)

# Process each result as soon as it completes
for result in results:
    print(f"Detected {len(result.boxes)} objects in this frame.")

Gerenciar resource scheduling em nível de sistema exige um equilíbrio entre velocidade bruta e custo operacional. Equipes que implantam modelos massivos de computer vision (CV) e linguagem dependem cada vez mais de frameworks de serviço avançados para gerenciar esses lotes dinâmicos. Para equipes empresariais que buscam otimizar sua infraestrutura, a Ultralytics Platform oferece ferramentas robustas para treinar, monitorar e exportar modelos para ambientes de produção altamente otimizados.