Batch Size

En el ámbito del aprendizaje automático y, especialmente, del aprendizaje profundo, el tamaño del lote hace referencia al número de ejemplos de entrenamiento utilizados en una iteración del entrenamiento del modelo. En lugar de introducir todos los datos de entrenamiento en la red neuronal de una sola vez —algo que a menudo resulta imposible desde el punto de vista computacional debido a las limitaciones de memoria—, el conjunto de datos se divide en subconjuntos más pequeños llamados lotes. El modelo procesa un lote, calcula el error y actualiza sus pesos del modelo internos mediante retropropagación antes de pasar al siguiente lote. Este hiperparámetro desempeña un papel fundamental a la hora de determinar tanto la velocidad del entrenamiento como la estabilidad del proceso de aprendizaje.

Dinámica del entrenamiento con lotes#

La elección del tamaño del lote altera fundamentalmente la forma en que el algoritmo de optimización, normalmente una variante del descenso de gradiente estocástico, recorre el paisaje de la función de pérdida.

• Tamaños de lote pequeños: Utilizar un número reducido (por ejemplo, 8 o 16) da lugar a actualizaciones «ruidosas». Aunque la estimación del gradiente es menos precisa para el conjunto de datos en su totalidad, este ruido puede ayudar a veces al modelo a escapar de los mínimos locales, lo que podría conducir a una mejor generalización. Sin embargo, los lotes más pequeños requieren más actualizaciones por época, lo que puede ralentizar el entrenamiento en tiempo real debido a la sobrecarga.
• Tamaños de lote grandes: Un lote más grande (por ejemplo, 128 o 256) proporciona una estimación más precisa del gradiente, lo que conduce a una convergencia más suave de la función de pérdida. Permite una paralelización masiva en el hardware moderno, lo que acelera considerablemente el cálculo. Sin embargo, si el lote es demasiado grande, el modelo podría asentarse en mínimos pronunciados y subóptimos, lo que provocaría sobreajuste y una menor capacidad para generalizar a datos nuevos.

Implicaciones para el hardware y la memoria#

A menudo, los profesionales deben seleccionar el tamaño del lote en función de las limitaciones del hardware, en lugar de basarse únicamente en preferencias teóricas. Los modelos de aprendizaje profundo, especialmente las arquitecturas grandes como los Transformers o las redes convolucionales avanzadas, se almacenan en la VRAM de una GPU.

Al utilizar NVIDIA CUDA para la aceleración, la VRAM debe contener los parámetros del modelo, el lote de datos de entrada y las salidas de activación intermedias necesarias para calcular el gradiente. Si el tamaño del lote supera la memoria disponible, el entrenamiento se interrumpirá con un error de «Sin memoria» (OOM). A menudo se emplean técnicas como el entrenamiento con precisión mixta para reducir el uso de memoria y permitir tamaños de lote mayores en el mismo hardware.

Diferenciación de conceptos relacionados#

Para configurar el entrenamiento de forma eficaz, es esencial distinguir el tamaño del lote de otros términos temporales del ciclo de entrenamiento.

• Tamaño del lote frente a época: Una época representa un recorrido completo por todo el conjunto de datos de entrenamiento. El tamaño del lote determina en cuántos bloques se dividen los datos dentro de esa época. Por ejemplo, si tienes 1.000 imágenes y un tamaño de lote de 100, se necesitarán 10 iteraciones para completar una época.
• Tamaño del lote frente a iteración: Una iteración (o paso) consiste en procesar un lote y actualizar los pesos. El número total de iteraciones del entrenamiento es el número de lotes por época multiplicado por el número total de épocas.
• Tamaño del lote frente a normalización por lotes: Aunque comparten el nombre, la normalización por lotes es un tipo de capa específico que normaliza las entradas de la capa en función de la media y la varianza del lote actual. Esta técnica depende en gran medida del tamaño del lote; si es demasiado pequeño (por ejemplo, 2), las estimaciones estadísticas dejan de ser fiables, lo que puede degradar el rendimiento.

Aplicaciones en el mundo real#

Ajustar el tamaño del lote es una necesidad habitual al implementar soluciones de visión por computador en diversos sectores.

1. Imágenes médicas de alta fidelidad: En el campo de la IA en sanidad, los profesionales suelen trabajar con datos volumétricos 3D, como exploraciones de MRI o CT. Estos archivos son extremadamente densos y requieren mucha memoria. Para realizar tareas como el análisis de imágenes médicas o la segmentación de imágenes compleja sin que el sistema se bloquee, los ingenieros suelen reducir el tamaño del lote a un número muy pequeño, a veces incluso a un lote de 1. En este caso, la prioridad es procesar detalles de alta resolución en lugar de maximizar la velocidad bruta de entrenamiento.

2. Control de calidad industrial: Por el contrario, en la IA en la fabricación, la velocidad es primordial. Los sistemas automatizados que inspeccionan productos en una cinta transportadora deben procesar miles de imágenes por hora. Durante la inferencia, los ingenieros pueden agrupar las señales de vídeo entrantes de las cámaras en lotes más grandes para maximizar el uso de los dispositivos de IA en el perímetro y garantizar un alto rendimiento en la detección de defectos en tiempo real.

Configuración del tamaño del lote en Python#

Al utilizar el paquete de Python de Ultralytics, establecer el tamaño del lote es sencillo. Puedes especificar un entero fijo o utilizar la configuración dinámica batch=-1, que emplea la función AutoBatch para calcular automáticamente el tamaño de lote máximo que tu hardware puede gestionar de forma segura.

El siguiente ejemplo muestra cómo entrenar un modelo YOLO26 —el estándar más reciente en velocidad y precisión— utilizando una configuración de lote específica.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train on the COCO8 dataset
# batch=16 is manually set.
# Alternatively, use batch=-1 for auto-tuning based on available GPU memory.
results = model.train(data="coco8.yaml", epochs=5, batch=16)

Para gestionar experimentos a gran escala y visualizar cómo afectan los distintos tamaños de lote a tus métricas de entrenamiento, herramientas como la plataforma Ultralytics proporcionan un entorno completo para registrar y comparar ejecuciones. Un ajuste adecuado de hiperparámetros del tamaño del lote suele ser el último paso para extraer el máximo rendimiento de tu modelo.