Batch Size

En el ámbito del machine learning y particularmente del deep learning, el Batch Size se refiere al número de ejemplos de entrenamiento utilizados en una iteración del entrenamiento del modelo. En lugar de introducir todos los datos de entrenamiento en la red neuronal de una sola vez —lo que a menudo es computacionalmente imposible debido a limitaciones de memoria—, el conjunto de datos se divide en subconjuntos más pequeños llamados lotes. El modelo procesa un lote, calcula el error y actualiza los pesos del modelo internos mediante backpropagation antes de pasar al siguiente lote. Este hiperparámetro desempeña un papel fundamental a la hora de determinar tanto la velocidad del entrenamiento como la estabilidad del proceso de aprendizaje.

La dinámica del entrenamiento con lotes#

La elección del batch size altera fundamentalmente cómo el algoritmo de optimización, típicamente una variante del stochastic gradient descent, navega por el paisaje de pérdidas.

• Tamaños de lote pequeños: utilizar un número pequeño (por ejemplo, 8 o 16) da lugar a actualizaciones "ruidosas". Aunque la estimación del gradiente es menos precisa para el conjunto de datos en su conjunto, este ruido a veces puede ayudar al modelo a escapar de los mínimos locales, lo que potencialmente conduce a una mejor generalización. Sin embargo, los lotes más pequeños requieren más actualizaciones por época, lo que puede ralentizar el entrenamiento en términos de tiempo real debido a la sobrecarga.
• Batch Sizes Grandes: Un lote más grande (por ejemplo, 128 o 256) proporciona una estimación más precisa del gradiente, lo que conduce a una convergencia más fluida de la loss function. Permite una paralización masiva en hardware moderno, acelerando significativamente el cálculo. Sin embargo, si el lote es demasiado grande, el modelo podría establecerse en mínimos agudos y subóptimos, lo que provocaría overfitting y una menor capacidad de generalización a nuevos datos.

Implicaciones de hardware y memoria#

Los profesionales a menudo deben seleccionar un batch size basándose en las limitaciones de hardware en lugar de en una preferencia puramente teórica. Los modelos de deep learning, especialmente las arquitecturas grandes como los Transformers o las redes convolucionales avanzadas, se almacenan en la VRAM de una GPU.

Al utilizar NVIDIA CUDA para la aceleración, la VRAM debe contener los parámetros del modelo, el lote de datos de entrada y las salidas de activación intermedias necesarias para el cálculo del gradiente. Si el batch size supera la memoria disponible, el entrenamiento fallará con un error de "Out of Memory" (OOM). A menudo se emplean técnicas como el entrenamiento con mixed precision para reducir el uso de memoria, permitiendo batch sizes más grandes en el mismo hardware.

Distinguir conceptos relacionados#

Para configurar el entrenamiento de manera efectiva, es esencial distinguir el tamaño del lote de otros términos temporales en el bucle de entrenamiento.

• Batch Size vs. Epoch: Una época representa una pasada completa por todo el conjunto de datos de entrenamiento. El batch size determina en cuántos fragmentos se divide el dato dentro de esa época. Por ejemplo, si tienes 1000 imágenes y un batch size de 100, se necesitarán 10 iteraciones para completar una época.
• Batch Size vs. Iteration: Una iteración (o paso) es el acto de procesar un lote y actualizar los pesos. El número total de iteraciones en el entrenamiento es el número de lotes por época multiplicado por el número total de épocas.
• Batch Size vs. Batch Normalization: Aunque comparten nombre, Batch Normalization es un tipo de capa específica que normaliza las entradas de las capas en función de la media y la varianza del lote actual. Esta técnica depende en gran medida del batch size; si el batch size es demasiado pequeño (por ejemplo, 2), las estimaciones estadísticas se vuelven poco fiables, lo que puede degradar el rendimiento.

Aplicaciones en el mundo real#

Ajustar el tamaño del lote es una necesidad rutinaria al desplegar soluciones de visión artificial en diversas industrias.

1. Imagen médica de alta fidelidad: En el campo de la AI in healthcare, los profesionales suelen trabajar con datos volumétricos en 3D, como resonancias magnéticas o escáneres CT. Estos archivos son increíblemente densos y consumen mucha memoria. Para realizar tareas como el medical image analysis o la compleja image segmentation sin colapsar el sistema, los ingenieros a menudo reducen el batch size a un número muy pequeño, a veces incluso a un lote de 1. Aquí, la prioridad es procesar detalles de alta resolución en lugar de la velocidad de entrenamiento en bruto.

2. Control de calidad industrial: Por el contrario, en la AI in manufacturing, la velocidad es primordial. Los sistemas automatizados que inspeccionan productos en una cinta transportadora necesitan procesar miles de imágenes por hora. Durante la inference, los ingenieros pueden agrupar los flujos de cámaras entrantes en lotes más grandes para maximizar la utilización de los dispositivos de edge AI, asegurando un alto rendimiento para la detección de defectos en tiempo real.

Configuración del tamaño del lote en Python#

Al utilizar el paquete Ultralytics Python package, configurar el batch size es sencillo. Puedes especificar un entero fijo o utilizar el ajuste dinámico batch=-1, que utiliza la función AutoBatch feature para calcular automáticamente el batch size máximo que tu hardware puede manejar de forma segura.

El siguiente ejemplo demuestra cómo entrenar un modelo YOLO26 model —el estándar más reciente en velocidad y precisión— utilizando una configuración de lote específica.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train on the COCO8 dataset
# batch=16 is manually set.
# Alternatively, use batch=-1 for auto-tuning based on available GPU memory.
results = model.train(data="coco8.yaml", epochs=5, batch=16)

Para gestionar experimentos a gran escala y visualizar cómo los diferentes batch sizes afectan a tus métricas de entrenamiento, herramientas como la Ultralytics Platform proporcionan un entorno completo para registrar y comparar ejecuciones. Una adecuada hyperparameter tuning del batch size es a menudo el paso final para exprimir el mejor rendimiento de tu modelo.