Continuous Batching

El procesamiento por lotes continuo es una técnica avanzada de optimización de inferencia y programación utilizada en machine learning (ML) para maximizar la utilización del hardware y el rendimiento. En el procesamiento por lotes estático tradicional, un motor de inferencia espera a que se acumule un número predeterminado de solicitudes antes de procesarlas simultáneamente. Esto a menudo genera ineficiencias porque el sistema debe esperar a que finalice la solicitud más larga del lote antes de liberar los recursos. El procesamiento por lotes continuo, también conocido como procesamiento dinámico o a nivel de iteración, resuelve esto inyectando nuevas solicitudes en el lote de computación tan pronto como se completa una solicitud activa, lo que reduce significativamente el tiempo de inactividad en GPUs y mejora la eficiencia general.

Link to this sectionDistinguir conceptos relacionados#

Para entender mejor cómo se procesan los datos durante el despliegue de un modelo, resulta útil diferenciar el procesamiento por lotes continuo de otros términos relacionados en el glosario:

• Batch Size: Se refiere al número fijo de muestras procesadas simultáneamente durante el entrenamiento o la inferencia. Los flujos de trabajo de procesamiento por lotes tradicionales dependen de tamaños estáticos, mientras que el procesamiento por lotes continuo permite que el tamaño del lote efectivo fluctúe dinámicamente según el tráfico entrante.
• Real-Time Inference: Este concepto se centra en minimizar la latencia de inferencia para obtener predicciones inmediatas, procesando entradas individuales a medida que llegan. El procesamiento por lotes continuo cierra la brecha entre el procesamiento por lotes estático de alto rendimiento y la inferencia en tiempo real de baja latencia al mantener un alto rendimiento sin obligar a que las solicitudes rápidas esperen a las más lentas.

Link to this sectionAplicaciones en el mundo real#

El procesamiento por lotes continuo es fundamental para los sistemas de producción que manejan grandes volúmenes de solicitudes impredecibles. Aquí tienes dos ejemplos concretos de su aplicación:

1. Generación de texto de alto rendimiento: Al servir Large Language Models (LLMs), la generación de respuestas para diferentes usuarios requiere cantidades variables de tiempo según la longitud de la salida. Los frameworks que aprovechan el procesamiento por lotes continuo, como vLLM en Ray Serve, pueden transmitir continuamente tokens recién generados e intercambiar inmediatamente conversaciones terminadas por nuevas instrucciones. Este método, popularizado originalmente por investigaciones sobre programación a nivel de iteración, mejora drásticamente el rendimiento de la generación de texto.

2. Análisis de vídeo asíncrono: En tareas de video understanding, como el seguimiento de vehículos en una red de cámaras de tráfico de una ciudad, los fotogramas llegan a diferentes intervalos. El procesamiento por lotes continuo permite a los modelos de object tracking procesar dinámicamente los fotogramas de vídeo entrantes en el milisegundo en que los recursos quedan libres, optimizando los conductos de aceleración de hardware para paneles de control de ciudades inteligentes.

Link to this sectionProcesamiento continuo en tareas de visión#

Al gestionar prácticas de despliegue de modelos de alto tráfico, transmitir inferencias de forma iterativa puede simular los beneficios del procesamiento por lotes dinámico, asegurando que la memoria se libere progresivamente en lugar de quedar bloqueada. El siguiente ejemplo en Python demuestra cómo usar el patrón generador con la API de predicción de modelos para manejar un flujo continuo de imágenes de manera eficiente.

from ultralytics import YOLO

# Load the latest Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Using stream=True acts as a generator, iteratively processing inputs
# to keep memory usage low and throughput high
results = model.predict(source=["img1.jpg", "img2.jpg", "img3.jpg"], stream=True)

# Process each result as soon as it completes
for result in results:
    print(f"Detected {len(result.boxes)} objects in this frame.")

La gestión de la programación de recursos a nivel de sistema requiere un equilibrio entre velocidad bruta y coste operativo. Los equipos que despliegan modelos masivos de computer vision (CV) y lenguaje dependen cada vez más de frameworks de servicio avanzados para gestionar estos lotes dinámicos. Para los equipos empresariales que buscan optimizar su infraestructura, la Ultralytics Platform ofrece herramientas robustas para entrenar, monitorizar y exportar modelos a entornos de producción altamente optimizados.